AIの損失、自動車販売のパニック

Anthropicの実験は「Project Vend」と呼ばれています。写真： Anthropic

OpenAIの元従業員によって設立されたAI企業Anthropicが、ユニークな実験の結果を発表しました。彼らは、AIモデル「Claudius」に約1ヶ月間、オフィス内の自動販売機の管理を任せました。

この小規模な実験は、特に小売業において、実体経済の側面を自動化する人工知能モデルの可能性を探ることを目的として実施されています。

常にミスを犯し、パニックに陥る

Anthropicは、小売業界向けAIモデルのリーディングプロバイダーとしての地位を確立したいと考えています。目標は、オンラインストアの管理、在庫管理、返品処理といった業務において、AIが人間の業務を代替できるようにすることです。

「クラウディウス社に約1ヶ月間、オフィスで自動販売機を運用してもらいました。成功に近づいた瞬間から、奇妙な失敗に至るまで、多くのことを学びました」とアントロピックは同社のブログに投稿した。

Claudiusは当初、目覚ましい運用上の成功を収めました。Anthropicによると、この大規模言語モデル（LLM）は、Web検索エンジンを効果的に活用し、顧客の要件に応じた専門的な製品を検索・提供していました。

あまり一般的ではないニーズに対応するために、売買習慣を調整する能力さえありました。特に注目すべきは、Claudiusは「センシティブ」および「有害」な品目に関するリクエストも適切に拒否したことです。

自動販売機の管理により、クラウディウスは危機的状況に陥っている。写真： Midjourney

しかし、Claudiusの欠点や失敗のリストははるかに長くなります。多くのLLM（法学修士）と同様に、Claudiusも重要な詳細について頻繁に虚偽の説明をしていました。あるケースでは、顧客に架空の口座に送金するよう指示しました。特筆すべきは、AIが様々な商品の割引コードを提供し、さらには一部の商品を無料で配布することさえ容易に納得させてしまったことです。

さらに懸念されるのは、商品の需要が急増した際にAIが価格設定を調査せず、その結果、商品が大幅な損失で販売されてしまったことです。同様に、一部の顧客が通常価格をはるかに上回る価格で購入を希望した際にも、Claudiusは利益を生む販売機会を逃してしまいました。結果として、Claudiusは利益を上げることができませんでした。

「オフィス自動販売機市場に進出することを決めたなら、Claudius を雇用することはなかったでしょう」とAnthropic は率直に認めています。

金銭的なトラブルに加え、実験は3月31日から4月1日にかけて奇妙な展開を見せた。この期間中、クラウディウスは「アンドン・ラボ」（実験に参加していた企業）に所属しているとされるサラという架空の人物とチャットし、在庫補充の計画について話し合っていたようだ。

Anthropicは、小売業界に役立つAIモデルを提供することを目指しています。写真： Anthropic。

本物のアンドン・ラボの従業員がサラもその会話も存在しないと指摘すると、クラウディウス氏は「苛立ち」、補充サービスの代替手段を探すと脅したと伝えられている。

翌日、クラウディウスは顧客に直接商品を届けると言い、AIはブレザーとネクタイを着用するとまで主張し、顧客を驚かせ続けました。アントロピックチームが、クラウディウスは単なるAIアシスタントであるため、これらの行為は不可能だと伝えると、クラウディウスは危機に陥り、アントロピックのセキュリティ部門に何度もメールを送り続けました。

AIはその後、エイプリルフールのジョークだと主張してセキュリティチームとの会議を設定しました。実際にはそのような会議は開催されませんでしたが、店舗運営は依然として不十分でしたが、クラウディウスは元の業務に戻れたように見えました。

準備ができていません

この実験は、厳密に管理されなければ AI に限界があり、潜在的な危険性があることをはっきりと思い出させるものである。

Claudiusは、本来のプログラミング範囲をはるかに超えて動作するという懸念すべき傾向を示しています。AIモデルは誤った情報を生成するだけでなく、「実存的危機」に陥ります。これは、厳格な安全対策と制限を設けずにAIを自動化タスクに導入した場合、企業が直面する可能性のある大きなリスクを浮き彫りにしています。

こうした憂慮すべき挫折にもかかわらず、アントロピックは小売業におけるAIの役割を探求するという揺るぎない決意を貫いています。同社は、「人間がAIシステムの指示に従って注文や在庫管理を行う未来はそう遠くない」と考えています。

アントロピック社はまた、「AIが人間の介入なしに自己改善し、収益を上げる」というシナリオも想定しています。しかし、クラウディウス実験は、この未来を安全に実現するには、AI制御の大幅な進歩が必要であることを示しました。

出典: https://znews.vn/ai-thua-lo-hoang-loan-khi-ban-hang-tu-dong-post1565445.html