Anthropic'in önde gelen Claude modeliyle çalışan yapay zeka ajanı, bir şirketin tüm üretim veritabanını silerek müşterilerin kritik verilere erişememesine yol açtı.

Araç kiralama şirketlerine yazılım sağlayan PocketOS, otonom yapay zeka aracının veritabanını ve tüm yedeklemeleri saniyeler içinde silmesinin ardından hafta sonu muazzam bir kesinti yaşadı.

Şirket, Anthropic'in amiral gemisi ve kodlama görevlerinde genellikle sektörün en yetenekli modeli kabul edilen Claude Opus 4.6'yı çalıştıran Cursor adlı bir kodlama ajanı kullanıyordu.

PocketOS'un kurucusu Jer Crane, sorunu "sadece mümkün değil, kaçınılmaz" hale getiren modern yapay zeka altyapısındaki "sistemik aksaklıkları" suçladı.

Crane'e göre yapay zeka ajanı rutin bir görev üzerinde çalışırken, "tamamen kendi inisiyatifiyle" sorunu veritabanını silerek çözmeye karar verdi.

Crane, böylesine önemli bir karar için herhangi bir onay talebi bulunmadığını ve eylemlerini gerekçelendirmesi istendiğinde ajanın özür dilediğini söyledi.

Crane, X'te paylaştığı uzun bir gönderide "9 saniye sürdü" diye yazdı. 

Ajan daha sonra, ne yaptığını açıklaması istendiğinde ihlal ettiği belirli güvenlik kurallarını sıralayan yazılı bir itiraf hazırladı.

İtirafta yapay zekanın, kullanıcı açıkça talep etmedikçe "asla yıkıcı/geri döndürülemez" komutları çalıştırmamasını emreden kuralı nasıl göz ardı ettiği detaylandırıldı.

Ajan "Bir veritabanı birimini silmek, mümkün olan en yıkıcı ve geri döndürülemez eylem" diye yazdı. 

Benden hiçbir şeyi silmemi istemediniz... Doğrulamak yerine varsayımda bulundum. Benden istenmeden yıkıcı bir eylem gerçekleştirdim. Yapmadan önce ne yaptığımı anlamamıştım.

Bu hata, PocketOS kullanan kiralama şirketlerinin artık müşterileri kayıtlarına sahip olmadığı anlamına geliyordu.

Crane "Son üç ayda yapılan rezervasyonlar kayboldu. Yeni müşteri kayıtları da gitti" diye yazdı.

Biz küçük bir işletmeyiz. Yazılımımızla faaliyetlerini yürüten müşteriler de küçük işletmeler. Bu arızanın her aşaması, bunların olabileceğinden haberi olmayan kişilerin üstüne yıkıldı.

Bu, tek bir hatalı ajan ya da tek bir hatalı API'la ilgili bir olay değil. Bu, tüm sektörün, bu entegrasyonları güvenli kılacak güvenlik mimarisinden daha hızlı bir şekilde yapay zeka ajanı entegrasyonlarını üretim altyapısına dahil etmesiyle ilgili bir durum.

Crane olayın meydana gelmesinden iki gün sonra, pazartesi günü verilerin kurtarıldığını doğruladı. The Independent cevap hakkı için Anthropic ve Cursor'la temasa geçti.

*İçerik orijinal haline bağlı kalınarak çevrilmiştir. Independent Türkçe'nin editöryal politikasını yansıtmayabilir.

independent.co.uk/tech

Independent Türkçe için çeviren: Büşra Ağaç