敵対的トレーニング手法を使用して AI に新しいデータを生成させるという、ホーチミン市工科大学の 2 人の学生による研究が、世界有数の AI カンファレンスである AAAI で発表されました。
23歳のファム・カイン・トリン氏とレ・ミン・コイ氏による、AIに同義語を作成させる訓練を行う多言語モデルの研究が、2月末にカナダのバンクーバーで開催された人工知能に関するAAAI-24会議の資料に掲載された。
ホーチミン市工科大学コンピュータサイエンス・工学部副学部長のクアン・タン・トー准教授は、この結果を称賛に値すると評価しました。トー准教授は、AAAIはコンピュータサイエンスと人工知能分野の科学会議において、研究者や専門家から最高水準の学会とみなされており、今年の論文採択率は23.75%と非常に低いと述べました。
ミン・コイさんとカン・トリンさん（中央）は2023年の卒業論文審査中。写真提供：
深層学習と自然言語処理への情熱を共有するTrinhとKhoiは、大規模言語モデル（LLM）の研究を選択しました。二人とも、LLMの限界を解明し、改善したいと考えていました。
カーン・トリン氏は、チャットGPTやLLMをユーザーに対して正確で多様な応答を生成するには、膨大な量のテキストデータで学習させる必要があると述べた。2人は、ヒンディー語、カザフ語、インドネシア語といったあまり人気のない言語では、チャットGPTやLLMが予期せぬ結果を出すことが多いことに気づいた。これは、これらの言語をあまり学習していないか、学習に必要なデータが不足しているためだ。
「これらの言語の『わずかなリソース』からもっと多くのテキストデータを作成して、AIをさらに訓練したらどうでしょうか？」と、二人の男子学生は問いかけました。そこから、Trinh氏とKhoi氏が研究した敵対的学習法を用いた多言語通訳モデル、LAMPATモデル（Low-rank Adaptation for Multilingual Paraphrasing using Adversarial Training）が誕生しました。
LAMPATは、与えられた入力文から同義語を生成し、より多くのテキストデータを生成することができます。「敵対的学習」説明文は、大規模言語モデルを学習するための比較的新しい手法です。従来の学習方法では、入力文が与えられた場合、アプリケーションは出力文を生成します。しかし、敵対的学習では、アプリケーションは出力文「adversarial」にコメントを付けたり編集したりすることで、より多くの文を生成することができます。
LAMPATの多言語対応性は、このモデルが60言語を同時に統合できる点にあります。チームは収集したデータセットに基づき、LAMPATを訓練し続け、同義語を生成しています。LAMPATから生成されるテキストデータは、引き続きLLMの訓練に活用されます。これにより、これらのモデルは同じコンテンツに対して様々な表現方法を学習し、より正確性の高い多様な応答を提供できるようになります。この機能により、チームの代表者は、LAMPATをChatGPTなどのアプリケーションに統合することで、このモデルをさらに完成させることができると考えています。
さらに、Chat GPTやLLMに関するデータが不足しているため、一部の企業は著作権の問題を考慮せずに、書籍、新聞、ブログなど、多くの外部ソースを探さざるを得ない状況にあります。Khanh Trinh氏によると、同義語を作成することも、盗作や著作権侵害を抑制する方法の一つです。
Nam Sinh 氏は、Chat GPT のようなアプリケーションの例を挙げました。ユーザーが既存のテキスト A の要約を要求すると、アプリケーションは要約テキスト B を生成します。グループの調査方法が統合されている場合、テキスト A を受信すると、アプリケーションは同義語を生成するメカニズムに基づいて、同じ内容のテキスト A1、A2、A3 を複数生成し、そこからテキストを要約して、ユーザーが選択できる多くの結果を生成します。
研究の初期段階では、60言語の評価データの準備に苦労しました。十分な量のデータにアクセスできなかったため、チームはモデルを客観的に評価するために、ベトナム語、英語、フランス語、ドイツ語、ロシア語、日本語、中国語、スペイン語、ハンガリー語、ポルトガル語、スウェーデン語、フィンランド語、チェコ語を含む13言語の多様かつ包括的なデータセットを作成しました。このデータセットは、最終的な人間による評価ステップにおいても信頼性の高いものとなります。
ミン・コイさん（左）とカン・トリンさん（右）は、2023年11月の卒業式当日にクアン・タン・トー先生と記念撮影をした。写真：キャラクター提供
英語、ベトナム語、ドイツ語、フランス語、日本語のそれぞれについて、出力文と正解ラベルを1組としてランダムに200組の文を抽出し、評価を行いました。各言語について、5人の言語専門家にそれぞれ独立して採点を依頼しました。採点は、意味の保持、語彙の選択と類似性、出力文の流暢性と一貫性の3つの基準に基づき、1から5までの点数で評価しました。その結果、これら5言語における言語専門家による平均評価点は、5点満点中4.2から4.6点となりました。
この例では、入力文が「彼は問題を詳しく説明しました」で、出力文が「彼は問題を詳しく説明しました」である、スコアが 4.4/5 であるベトナム語の文のペアが示されています。
しかし、「スープが熱いうちに食べる - 私たちが熱いうちにスープを食べる」という文のペアのように、品質が悪く意味上の誤りがある文のペアもあり、この場合は 2/5 ポイントしか獲得できません。
Khanh Trinh氏によると、このプロジェクトの研究と完成には8ヶ月かかったとのことです。これはTrinh氏とKhoi氏の卒業論文のテーマでもありました。この論文は、Computer Science Council 2で9.72/10ポイントを獲得し、1位を獲得しました。
Quan Thanh Tho 氏によると、LAMPAT は複数の言語にわたって人間のような同義語フレーズを生成する能力を実証しているものの、異なる言語の慣用句、民謡、ことわざを処理するにはまだ改善の余地があるとのことです。
さらに、チームの評価データセットには13言語しか含まれておらず、特に少数言語を含む多くの言語が未だに漏れています。そのため、チームは既存の多言語通訳モデルの機能を改善・拡張するための研究を行う必要があります。これにより、国や民族間の言語の壁を取り除くことができます。
2023年末、チンさんとコイさんはコンピュータサイエンス科を優等で卒業しました。成績平均点（GPA）はそれぞれ3.7と3.9です。二人とも修士号取得のために留学し、人工知能と機械学習の研究を進める予定です。
「私たちは、LAMPATを今後の科学プロジェクトにさらに適用し、ユーザーにとって信頼できる多言語製品を作成することを目標に、このテーマの研究を続けています」とTrinh氏は語った。
レ・グエン
[広告2]
ソースリンク
コメント (0)