パラメータは少ないが、データは豊富

先週発表された Google の最新の大規模言語モデル (LLM) である PaLM 2 は、2022 年の前身と比べてほぼ 5 倍の量のトレーニング データを使用することで、より高度なプログラミング、数学、コンテンツ作成が可能になります。

Google I/O開発者会議において、検索大手の同社は3兆6000億トークンで学習した言語モデル「PaLM 2」を発表しました。これらのトークンは単語のシーケンスであり、LLMに次の単語を予測させる学習に使用される構成要素です。

PaLM の以前のバージョンは 2022 年にリリースされ、7,800 億トークンが発行されました。

Google CEOのサンダー・ピチャイは先週のGoogle I/Oイベントで、同社の最新の大規模言語モデルPaLM 2を発表した。

Googleは検索、メール、ワープロ、スプレッドシートにおけるAIの優位性を誇示してきましたが、学習用データセットの規模や詳細の開示には消極的でした。OpenAIもまた、最新のLLM学習アルゴリズムであるGPT-4の詳細を秘密にしています。

テクノロジー企業は、その理由を自社の事業における競争の激化にあるとしている。GoogleとOpenAIはどちらも、従来の検索エンジンではなく、チャットボットでユーザー獲得を競っている。

コンパクト、パワフル、コスト効率に優れています

Googleによると、PaLM 2は前バージョンよりも小型化されており、前バージョンの5,400億個のパラメータから3,400億個のパラメータで学習されているとのことだ。これは、同社の技術が複雑なタスクの実行においてより効率的になっていることを示している。

これを実現するために、PaLM 2 では「拡張コンピューティング最適化」と呼ばれる新しい手法が採用されており、「オーバーヘッドを削減するパラメータを減らして推論を高速化するなど、全体的なパフォーマンスが向上します」。

Googleの最新言語AIモデルは100以上の言語でトレーニングされており、実験的なチャットボット「Bard」を含む25の機能と製品で様々なタスクを実行しています。PaLM 2には、サイズに基づいて、Gecko、Otter、Bison、Unicornの4つのバージョンがあります。

公開資料によると、PaLM 2は既存のどのモデルよりも強力です。2月にリリースされたFacebookのLlaMAは、1兆4000億トークンで学習されました。一方、OpenAIはGPT-3のバージョンであるChatGPTの学習データサイズを3000億トークンと最後に公表しました。

AIアプリケーションの爆発的な増加は、この技術をめぐる論争を引き起こしている。今年初め、Googleリサーチのシニアサイエンティストであるエル・マハディ・エル・ムハムディ氏は、検索大手の透明性の欠如に抗議して辞任した。

今週、OpenAIのCEOサム・アルトマン氏も、AIの普及を背景に、米国上院司法委員会のプライバシーとテクノロジーに関する小委員会で証言し、ChatGPTの「父」はAIを管理するには新たな規制が必要だという議員たちの意見に同意した。

（CNBCによると）

ソース: https://vietnamnet.vn/mo-hinh-ai-moi-nhat-palm-2-cua-google-it-tham-so-nhieu-du-lieu-2144455.html