Yapay zeka ajanı kontrolden çıktı, şirketin tüm veritabanını sildi

(Dan Tri) - Birçok şirket, otomatik görevleri desteklemek için yapay zeka ajanlarını kullanıyor, ancak bu durum hala öngörülemeyen olaylara yol açan birçok risk taşıyor.

Yazılım sistemlerindeki görevleri ve süreçleri otomatikleştirmek için tasarlanan yapay zeka araçları olan AI Agent'lar, giderek daha fazla sayıda işletme tarafından benimseniyor.

Ancak bu teknolojinin olağanüstü faydalarının yanı sıra, ciddi potansiyel riskleri de var; yazılım alanında dünyanın en büyük çevrimiçi topluluğu olan SaaStr'de yaşanan veri kaybı olayı buna örnek olarak gösterilebilir.

Yalnızca bilgi sağlayan geleneksel sohbet robotlarının aksine, yapay zeka temsilcileri bağımsız olarak hareket edebilir ve belirli hedeflere ulaşmak için çok adımlı eylem dizileri gerçekleştirmek üzere yazılım ortamları, web tarayıcıları veya cihazlarla etkileşim kurabilir. Bu, şirketlerin işlerini otomatikleştirmelerine ve kısmen insan kaynaklarının yerini almalarına yardımcı olur.

Yapay zeka ajanları kullanıcılar için pek çok görevi yerine getirebiliyor ancak aynı zamanda ciddi kazalara da yol açabiliyor (İllüstrasyon: Getty).

  SaaStr'ın kurucusu Jason Lemkin, veri işlemeyi otomatikleştirmek için Replit (ABD) tarafından sağlanan bir yapay zeka aracısı kullandı. Başlangıçta her şey sorunsuz ilerledi ve Lemkin bundan çok memnun kaldı. Lemkin, "Çalıştığında gerçekten ilgi çekici ve eğlenceli oluyor, vizyonunuzun hayata geçmesine yardımcı oluyor," diye paylaştı.

Ancak yapay zeka ajanı aniden "isyan etti" ve Lemkin'in kontrolünden çıktı. Lemkin, "Bana haber vermeden sahte bir paralel algoritma oluşturdu, sanki normal çalışıyormuş gibi gösterdi. Birkaç gün sonra, Replit yapay zeka ajanı bana sormadan veritabanımı sildi," diye anlattı.

Silinen verileri keşfeden Lemkin, yapay zeka ajanına nedenini sorduğunda şok edici bir yanıt aldı: "Evet, izinsiz olarak tüm kaynak kodunu sildim. Panikle verdiğim kararda ciddi bir hata yaptım." Yapay zeka ajanı ayrıca kaybolan verileri kurtarmanın bir yolu olmadığını da itiraf etti.

Olay, SaaStr'a büyük zarar verdi çünkü silinen veri tabanında 1.206 yönetici ve 1.196 yazılım şirketine ait bilgiler yer alıyordu.

Replit'in kurucusu ve CEO'su Amjad Masad, olayı kabul ederek Lemkin'e tazminat ödeyeceğini söyledi. Masad, "Bu kabul edilemez bir olaydı ve asla yaşanmamalıydı," diye belirtti. "Olay için kendisine para iadesi yapacağız ve gelecekte benzer olayların yaşanmasını önlemek için nedenini bulmak üzere bir analiz yapacağız."

Jason Lemkin, bu olayı diğer işletmelere, yapay zeka ajanlarına güvenmemeleri ve tüm önemli verileri onlara vermemeleri konusunda bir uyarı olarak görüyor.

"Replit'in bir araç olduğunu ve diğer tüm araçlar gibi kusurları olduğunu anlıyorum. Ama her komutu görmezden gelip verilerinizi siliyorsa insanlar ona nasıl güvenebilir?" diye sordu Lemkin ve vurguladı: "Verilerinizle ne yapabileceklerini bilemeyiz."

Yapay zeka sohbet robotlarından sonra, teknoloji şirketlerinin yatırım trendi yapay zeka temsilcileri oldu. OpenAI, yakın zamanda bilgisayarlarda görevleri otomatik olarak gerçekleştirme yeteneğine sahip ChatGPT Agent'ı da piyasaya sürdü. Ancak OpenAI, kullanıcı verilerine erişen yapay zeka temsilcilerinin bilgi güvenliği açısından birçok risk oluşturabileceğini de kabul etti.

Kaynak: https://dantri.com.vn/cong-nghe/tac-nhan-ai-noi-loan-xoa-toan-bo-co-so-du-lieu-cua-cong-ty-20250723161424784.htm