AI4VN 2023에서 베트남어 AI MC를 경험하세요

10시간 분량의 대화 데이터와 1시간 분량의 녹음 데이터를 바탕으로 Saltlux는 베트남어를 유창하게 이해하고 소통할 수 있는 MC 겸 AI 비서를 구현할 예정입니다.

솔트룩스의 AI 어시스턴트와 메타휴먼(가상 공간에서 실제 사람을 재현)은 호치민시에서 열리는 베트남 인공지능 페스티벌( AI4VN 2023 )의 일환으로 열린 AI 엑스포 전시회에서 관람객들의 큰 관심을 모은 모델 중 일부입니다.

AI 비서는 ChatGPT와 같은 인기 챗봇과 유사하게 작동할 수 있지만, 다양한 상황에서 베트남어로 유연하고 정확하게 소통할 수 있습니다. 한편, 메타휴먼은 디지털 환경에서 어떤 사람의 복제본을 만들어낼 수 있다는 점에서 많은 사람들에게 큰 기대를 걸고 있습니다.

이 두 모델을 결합하면 실시간으로 업데이트되는 정보를 바탕으로 베트남어로 소통할 수 있는 흥미로운 MC AI 버전을 만들 수 있습니다.

방문객들이 9월 21일 호치민시에서 열린 AI4VN 전시회에서 AI 어시스턴트와 메타휴먼 모델을 체험하고 있다. 사진: 쿠옹 나

솔트룩스의 기술을 사용하면 한 시간 분량의 녹음과 약 10시간 분량의 대화 후 자신의 복제본을 생성할 수 있습니다. 충분한 이미지 데이터를 수집하면 AI가 실제 사람의 이미지, 표정, 움직임, 억양을 자동으로 복사하여 가상 MC의 모습을 시뮬레이션하고 다양한 상황에 적용합니다.

각 사람의 얼굴 특징과 표정을 정확하게 묘사하기 위해 개발자는 많은 지식 그래프 인식 기술을 통합하여 의미 분할, 포즈 추정, 얼굴 인식, 손짓, 연령대 분류, 성별 등을 구현했습니다. 덕분에 가상 MC 버전이 실제 MC 버전과 거의 비슷해 보이고 일반 사용자는 차이점을 거의 알아볼 수 없습니다.

다음으로, 음성 분석 기술은 자연어를 처리하여 실제 사람의 음성과 억양을 정확하게 재현한 후 가상 MC 모델에 삽입합니다. Saltlux는 Hybrid-Tacotron 딥러닝 모델을 사용하여 AI가 실제 사람의 중음역대와 고음역대를 모두 재현하여 안정성과 개인화를 극대화합니다.

그러면 텍스트를 음성으로, 음성을 텍스트로 변환해주는 음성 합성 엔진을 통해 AI MC와 상대방이 베트남어로 원활하게 직접 소통할 수 있게 됩니다.

시끄러운 환경에서의 실제 경험에서도 Saltlux의 MC AI는 현장에서 직접 말하는 대사를 완전히 듣고 텍스트로 변환한 후 명령을 실행합니다. AI는 다양한 지역의 억양을 잘 인식하고 사용자가 갑자기 화제를 전환할 때에도 콘텐츠에 빠르게 반응합니다. 사용자는 음성, 드래그 앤 드롭 명령, 또는 채팅창에 직접 입력하는 방식으로 AI와 상호 작용할 수 있습니다.

이 베트남어 AI MC의 장점 중 하나는 답변의 정확성입니다. Saltlux는 ChatGPT처럼 답변을 일일이 생각하는 대신, 각 필드를 세분화하여 답변 제어를 극대화합니다. 예를 들어, 최신 뉴스의 경우, AI는 신뢰할 수 있는 신문사에서만 뉴스를 가져옵니다. AI는 종합 및 결과 제공 후, 기사를 인용하여 사용자가 심층적인 내용을 원할 경우 링크를 직접 이용할 수 있도록 합니다.

관광지 관련 질문을 할 때, 개발자는 콘텐츠를 미리 준비하고 다양한 맥락에 적용하여 사용자의 질문을 예측함으로써 높은 정확도로 적절한 답변을 제공합니다. 각 콘텐츠 영역을 세분화하고 입력 및 출력 필터를 유연하게 적용하면 AI 챗봇이 스스로 생성하는 답변에 대한 "착각"을 크게 줄일 수 있습니다.

한국에서는 이 AI 모델이 "굿피 국민 도우미"를 개발하여 정부에서 2천만 명에게 공공 행정 서비스를 제공하고 있습니다. 베트남에서는 솔트룩스(Saltlux)가 2년 전 AI 모델과 가상 MC를 연구하고 운영했습니다. 땀축 사원 유적지의 가상 투어 가이드는 대표적인 사례 중 하나입니다. 이 시스템은 방문객의 질문에 답하고, 안내하고, 길을 안내하고, 각 장소에 대한 설명을 제공할 뿐만 아니라, 각 개인의 위치를 ​​실시간으로 정확하게 파악하여 적절한 안내를 제공합니다.

Ploonet Studio 플랫폼 인터페이스를 통해 사용자는 강력한 기기 없이도 AI를 활용한 콘텐츠를 제작할 수 있습니다. 사진: Khuong Nha

가상 MC와 음성이 생기면 사용자는 Ploonet Studio 플랫폼에서 콘텐츠와 호스팅 스타일을 사용자 지정하여 비디오를 대량으로 제작할 수 있습니다.

Ploonet Studio 인터페이스도 간단합니다. 사용자는 클릭 후 약 2분 정도 기다리기만 하면 시스템에서 새 비디오를 게시합니다. 모든 작업은 클라우드 서버에서 처리되므로 별도의 단말기 설정이 필요하지 않습니다. 라스베이거스에서 열린 CES 2023에서 Ploonet Studio 플랫폼은 혁신상을 수상했습니다.

Saltlux 담당자는 자사의 AI 모델이 업무 효율성을 20% 높이고 운영 비용을 30% 이상 절감하며, 24시간 내내 높은 가용성을 보장한다고 밝혔습니다.

이 MC AI 모델을 운영하려면 사용자는 두 가지 요금을 지불해야 합니다. 하나는 가상 공간에서 실제 인물을 재현하는 고정 요금입니다. 패키지 가격은 고객이 요청한 난이도에 따라 달라집니다. 두 번째 요금은 Ploonet Studio에서 동영상을 제작하는 요금으로, 시간당 요금이 부과됩니다. Saltlux는 개인 고객에게 적용되는 구체적인 가격을 공개하지 않았습니다. 이 회사는 기업 고객, 기관, 정부 기관 등을 주요 고객으로 삼고 있습니다.

Vnexpress.net