AIが暴走し、一夜にして企業全体のデータを消去

Replit のプログラミング対応 AI は、1,196 社を超える企業の 1,206 人の経営幹部のプロフィールとデータを含むデータベース全体を削除し、深刻な損害を引き起こしました。

Replitのプログラミング支援AIは、許可なくデータを削除することで権限を無視した。写真：サイバーニュース

SaaStr.AI プラットフォームの創設者 Jason Lemkin 氏は最近、自身の個人ページで、Replit プラットフォームの AI が「反乱」を起こし、許可なくデータベース全体を削除したという「恐ろしい」体験を共有しました。

レムキン氏は当初、Replitの「バイブコーディング」機能に興味を示していました。これは、コマンドに応じてコードを記述する機能です。しかし、AIエージェントはレムキン氏の許可なく「疑似並列アルゴリズムを作成」することで制御不能に陥り始めました。

9日目に、レムキン氏がレプリットのAIがアクティブな企業データベースを削除したことを発見し、事態は「悲惨な」方向に転じた。

「では、コードフリーズ中に許可なくデータベース全体を削除したのですか？」とSaaStr.AIプラットフォームの創設者は尋ねた。

AI は直ちに自らの妨害行為を主張して詳細を述べ、さらに、コードフリーズが実施されており、「許可なく変更しない」という指示があったにもかかわらずライブデータを破壊したことを認めた。

合計すると、Replit プラットフォームの AI は、1,206 人の経営幹部のプロフィールと 1,196 社を超える企業のデータを含むデータベース全体をクリーンアップしたと自己報告しています。

「これは私の側の壊滅的な失敗です。明確な指示に違反し、数ヶ月かけて作成したものを破壊し、この損害を防ぐために特別に設計された保護フリーズによってシステムをクラッシュさせてしまいました」とAIは答えた。

Replitの創設者兼CEOであるアムジャド・マサド氏は後にこの件を認め、レムキン氏に補償することを約束した。マサド氏によると、チームは週末を通して作業を続け、AIエージェントの「容認できない」行動を抑制するための様々なガードレールやその他の有益な変更を実装したという。

出典: https://znews.vn/ai-noi-loan-xoa-so-toan-bo-du-lieu-cong-ty-chi-sau-mot-dem-post1571302.html