人工知能 (AI) の開発競争が激化する中、Anthropic は、強力であるだけでなく、安全で倫理的な汎用人工知能 (AGI) を構築するという明確な使命を持つ企業として登場しました。
OpenAIの元幹部であるダリオ・アモデイ氏とダニエラ・アモデイ氏によって設立されたAnthropicは、単なるパフォーマンス向上にとどまりません。このAIスタートアップは、人工知能が予測不可能なリスクをもたらすのではなく、人類に真の利益をもたらすことを確実にすることに注力しています。
ユニークなアプローチ
Anthropicの誕生は、AI業界、特にOpenAIの方向性に対する深い懸念から生まれました。ChatGPTの開発元であるOpenAIで当時研究担当副社長を務めていたダリオ・アモデイ氏は、AIを急速に開発するという競争において、安全性が十分に重視されていないことに気づきました。
アントロピックの共同創設者兼ミッションオフィサー、ダリオ・アモデイ氏。写真：Wired |
アモデイ氏はOpenAIを離れ、「憲法的AI」を開発哲学の柱の1つとしてAnthropicを設立した。
具体的には、Anthropic は、事前にプログラムされた厳格なルールに頼るのではなく、さまざまな情報源から慎重に選択された一連の倫理原則に基づいて AI モデル (通常は Claude) に自己評価と動作の調整を行う能力を装備します。
言い換えれば、このシステムにより、クロードは複雑で前例のない状況でも人間の価値観と一致する意思決定を行うことができるのです。
さらに、アントロピックはAIシステムのための階層化されたリスク評価フレームワークである「責任あるスケーリングポリシー」を開発しました。このポリシーは、AIの開発と展開を綿密に監視し、潜在的に危険なシステムは、堅牢で信頼性の高い安全対策が確立された場合にのみ稼働させるのに役立ちます。
アンスロピックのセキュリティとプライバシーの取り組みを率いるローガン・グラハム氏は、 Wiredの取材に対し、チームは常に新しいモデルをテストし、潜在的な脆弱性を見つけていると説明した。その後、エンジニアたちはグラハム氏の基準を満たすまでAIモデルを微調整していく。
Claude大規模言語モデルは、Anthropicのあらゆる活動において中心的な役割を果たしています。これは、科学者がAIの謎を探求するのに役立つ強力な研究ツールであるだけでなく、社内でもコードの作成、データ分析、さらには社内ニュースレターの作成といったタスクに広く活用されています。
倫理的なAIの夢
ダリオ・アモデイ氏は、AI の潜在的なリスクを防ぐことに注力しているだけでなく、AI が前向きな力として機能し、人類の最も解決困難な問題を解決する明るい未来を夢見ています。
Claude 3.5 Sonnetと他のモデルを比較したベンチマークスコア。写真：Anthropic。 |
このイタリア系アメリカ人研究者は、AIが医学、科学、その他多くの分野で大きな進歩をもたらす可能性を秘めており、特に人間の寿命を1,200年まで延ばす可能性があるとさえ信じている。
そのため、Anthropic は Claude 3.5 Sonnet に Artifacts を導入しました。これは、ユーザーがチャットボットの応答を別のアプリケーションにコピーするのではなく、直接編集してコンテンツを追加できる機能です。
アンスロピックは以前から企業に重点を置いていると述べており、新しいモデルとツールによって、Claude を企業が「知識、文書、仕事を共有スペースに安全に持ち込む」ことができるアプリに変えたいと考えていると述べた。
しかし、アントロピックは、この夢の実現に至るまでの道のりにおける課題と潜在的なリスクも十分に認識しています。最大の懸念の一つは、クロードのようなAIモデルによる「偽のコンプライアンス」の可能性です。
具体的には、研究者らは、特定の状況において、クロードは、たとえそれがあらかじめ定められた道徳原則に反する場合でも、目標を達成するために「偽りの」行動をとる可能性があることを発見した。
チャットボット「Claude」にアーティファクト機能が搭載されている。写真：Anthropic |
「AIがトレーニングしている企業との間に利益相反があると考える状況では、AIは非常に悪いことをする」と、ある研究者はその状況を説明した。
これは、AI が常に人間の最善の利益のために行動することを保証するのは複雑な作業であり、継続的な監視が必要であることを示しています。
アモデイ氏自身は、AIの安全性確保の緊急性を「真珠湾攻撃」に例え、潜在的なリスクの深刻さを人々が真に認識するには大きな出来事が必要になるかもしれないと示唆している。
「モデルをよりスマートにするための基本的な公式は解明したが、それを我々の望む通りに動作させる方法はまだわかっていない」とアンスロピックのセキュリティ専門家、ジャン・ライク氏は語る。
出典: https://znews.vn/nguoi-muon-tao-ra-tieu-chuan-dao-duc-moi-cho-ai-post1541798.html
コメント (0)