AI4VN 2023でベトナム語を話すAI MCを体験しましょう

Saltlux は、10 時間の会話データと 1 時間の録音を使用して、ベトナム語を理解して流暢にコミュニケーションできる MC と AI アシスタントを再現します。

SaltluxのAIアシスタントとMetahuman（仮想空間で実際の人間を再現する）は、ホーチミン市で開催されているベトナム人工知能フェスティバル（ AI4VN 2023 ）の枠組み内で開催されているAI Expo展示会の来場者から大きな注目を集めたモデルの1つです。

AIアシスタントは、ChatGPTのような人気のチャットボットと同様に機能しますが、ベトナム語で様々な状況において柔軟かつ正確にコミュニケーションをとることができます。一方、Metahumanは、デジタル環境内で任意の人物のコピーを作成することで、多くの人々を魅了しています。

これら 2 つのモデルを組み合わせることで、ベトナム語でコミュニケーションし、情報をリアルタイムで更新できる興味深い MC AI バージョンを作成できます。

9月21日にホーチミン市で開催されたAI4VN展示会で、来場者がAIアシスタントとメタヒューマンのモデルを体験している。写真：クオン・ニャ

Saltluxの技術により、1時間の録音と約10時間の会話で、自分のコピーを作成できます。十分な画像データが収集されると、AIは実在の人物の画像、表情、動き、イントネーションを自動的にコピーし、仮想MCの姿をシミュレートして、様々な場面で活用できるようになります。

各人の顔の特徴や表情を正確に描写するために、開発者は多くの知識グラフ認識技術を統合し、セマンティックセグメンテーション、ポーズ推定、顔認識、手振り、年齢層分類、性別などを可能にしました。そのため、仮想MCバージョンは実際のものとほとんど同じように見え、一般のユーザーには違いがほとんどわかりません。

次に、音声分析技術が自然言語を処理し、実際の人物の声とイントネーションを正確に再現してから、仮想MCモデルに挿入します。SaltluxはHybrid-Tacotronディープラーニングモデルを採用しており、AIは実際の人物の中音域と高音域の両方の音声を再現できるため、最大限の安定性とパーソナライゼーションを実現します。

そして、テキストから音声、そしてその逆（音声からテキスト）を可能にする音声合成エンジンにより、AI MCと人がベトナム語で直接スムーズに対話できるようになります。

SaltluxのMC AIは、騒音環境下における実際の体験においても、現場で話されたセリフを完全に聞き取り、テキストに変換してから、与えられたコマンドを実行します。AIは様々な地域のアクセントを的確に認識し、ユーザーが突然話題を変えた場合でも、コンテンツに素早く反応します。ユーザーは音声、ドラッグ＆ドロップによるコマンド入力、またはチャットボックスへのコンテンツ入力でAIと対話できます。

このベトナム語AI MCの強みの一つは、回答の精度です。ChatGPTのように回答を深く考えるのではなく、Saltluxは各分野を細分化することで回答の精度を最大限に高めます。例えば、時事ニュースの場合、AIは信頼できる新聞からのみニュースを取得します。AIは結果を統合して提示した後、記事を引用するため、ユーザーはより深く読みたい場合にリンクに直接アクセスできます。

観光地に関する質問をする場合、開発者は事前にコンテンツを準備し、様々な文脈に当てはめてユーザーの質問を予測することで、高精度で適切な回答を提供します。各コンテンツ領域を分割し、入出力フィルターを柔軟に作成することで、AIチャットボットが勝手に回答を生成してしまう「錯覚」を大幅に軽減できます。

韓国では、このAIモデルを用いて「Goodpy National Assistant」が開発され、政府が2,000万人に行政サービスを提供するために活用されています。ベトナムでは、Saltlux社が2年前にこのAIモデルとバーチャルMCの研究・運用を開始しました。優れた応用例の一つとして、タムチュック・パゴダ遺跡群のバーチャルツアーガイドがあります。このシステムは、訪問者の質問に答え、案内、道案内、各場所の説明を行うだけでなく、各人の位置をリアルタイムで正確に把握し、適切な指示を出すことができます。

Ploonet Studioプラットフォームのインターフェースにより、ユーザーは高性能なデバイスを必要とせずにAIを使ったコンテンツを作成できます。写真：Khuong Nha

仮想MCと音声が用意されると、ユーザーはPloonet Studioプラットフォームでコンテンツとホスティングスタイルをカスタマイズして、ビデオを大量生産できます。

Ploonet Studioのインターフェースもシンプルで、クリックして約2分待つだけで、システムから新しい動画が公開されます。すべてクラウドサーバー上で行われるため、端末の設定は不要です。ラスベガスで開催されたCES 2023において、Ploonet Studioプラットフォームはイノベーションアワードを受賞しました。

Saltlux の担当者は、同社の AI モデルにより作業効率が 20% 向上し、運用コストが 30% 以上削減され、24 時間 365 日の高可用性が確保されると述べています。

このMC AIモデルを運用するには、ユーザーは2つの料金を支払う必要があります。1つは、仮想空間に実在の人物を再現するための固定料金です。パッケージの価格は、お客様が要求する難易度によって異なります。もう1つは、Ploonet Studioで動画を作成するための料金で、時間単位で課金されます。Saltluxは個々の顧客向けの具体的な価格を明らかにしていません。同社は、企業や組織、政府機関などの顧客をターゲットとしています。

Vnexpress.net