각국은 자국어로 생성되는 AI를 개발해야 한다

[광고_1]

위의 메시지는 9월 22일 호치민시에서 개최된 베트남 인공지능의 날(AI4VN) 2023에서 네이버(한국) 클라우드 혁신부장 하정우 씨가 공유한 것입니다.

생성적 AI는 텍스트, 이미지, 비디오, 음악 등 다양한 형태로 새로운 콘텐츠와 아이디어를 생성할 수 있는 인공지능의 한 형태입니다. AI는 이를 통해 대규모 언어 모델(LLM)을 활용하여 새로운 노래, 약물, 영화, 게임 등을 창조할 수 있습니다.

최근 맥킨지의 추정에 따르면, 생성적 AI는 세계 경제 에 4조 4천억 달러를 기여할 수 있습니다. 이 연구는 다양한 산업 분야에서 6만 건의 생성적 AI 적용 사례를 기반으로 합니다.

하정우 씨에 따르면, 현재 생성 AI를 개발하는 주요 언어 모델은 영어를 사용하고 있어 다른 언어로 모델을 구동하면 불완전하고 오류가 발생할 수 있으며, 영어로 되어 있기 때문에 사용할 경우 불필요한 편향, 특히 문화적 편향이 발생한다고 합니다.

따라서 그는 데이터와 기술을 숙달하는 것이 앞으로 많은 국가가 고려해야 할 중요한 요소이며, 다른 국가에 대한 의존성을 극복하는 데 도움이 된다고 생각합니다. 예를 들어, 한국에서 네이버는 정부 와 국내 기업이 AI 애플리케이션을 구축할 때 활용할 수 있도록 대규모 한국어 모델을 구축했습니다.

같은 견해를 가진 VinBigdata의 대표이사인 다오 득 민 박사도 베트남 국민도 국내에서 AI 제품을 만들어 안전과 정보 정확성을 보장하고 정부와 사회에 가장 잘 봉사할 수 있다고 믿고 있습니다.

다오 득 민 씨에 따르면, chatGPT가 2022년 말에 출시되었을 때, 생성적 AI 모델과 대규모 언어 모델을 연구하고 출시하는 데 있어 국가와 대기업 간에 암묵적인 경쟁이 촉발되었습니다.

구체적으로 미국에는 OpenAI의 chatGPT 도구 외에도 구글의 Bard, 아마존의 Titan과 같은 다른 생성 AI 모델이 있습니다. 중국에는 바이두의 Earnie Bot, 센스타임의 SenseChat, 텐센트의 Hunyan이 있습니다. 한국에는 네이버의 HyperClova X가 있습니다.

다오 득 민 씨는 생성 AI에 적용할 대규모 언어 모델을 개발하는 것은 간단한 작업이 아니며 막대한 비용이 소요된다고 말했습니다. 전 세계적으로 이용 가능한 대규모 언어 모델 플랫폼을 기반으로 생성 AI를 적용할 경우, 베트남은 여러 위험에 직면할 수 있습니다. 예를 들어, 대규모 외국어 모델을 사용하는 경우 베트남 데이터는 대부분 영어를 포함한 매우 작은 비중만을 차지하기 때문에 정확성, 데이터 보안성, 비즈니스 요구 사항 적합성을 보장하기 어렵습니다.

예를 들어, 대규모 외국어 모델은 수천억 개의 매개변수를 가집니다. 실제 모델을 실행하려면 막대한 컴퓨팅 인프라가 필요하지만, AI 모델은 특히 역사적 지식, 문화, 그리고 각 국가 특유의 문제에 대해 잘못된 답변을 제공할 수 있기 때문에 품질이 그에 상응하지 않습니다.

이러한 이유로 VinBigdata는 데이터 보안 강화, 정확도 향상, 비용 절감, 그리고 국내 상황에 맞춘 적응을 목표로 베트남어로 대규모 언어 모델을 구축하기로 결정했습니다. 전문가 팀은 chatGPT보다 수백 배 적은 매개변수를 사용하지만, 베트남 사람들의 방대한 데이터를 기반으로 모델을 구축했습니다.

이 모델은 지역별 특정 질문에 높은 정확도로 답변할 수 있습니다. 특히, 두 가지 다른 위반 사항이 있는 법률에 대해 질문했을 때 chatGPT 모델은 동일한 답변과 일반적인 내용을 제공했습니다. 반면, 베트남 데이터를 사용하는 AI 모델은 법률, 법령, 벌금, 정보 출처 등을 매우 구체적으로 기반으로 정확한 답변을 제공할 수 있습니다.

이 정확성을 증명하기 위해 Dao Duc Minh 박사는 chatGPT와 VinBigdata가 개발한 베트남어 모델에서 베트남 문헌에 나오는 "거지의 아내"에 대한 작업에 대해 질문할 때 예를 들었습니다. VinBigdata 모델의 결과는 완전히 정확했지만 ChatGPT의 답변은 불분명했습니다.

VinBigdata의 대표는 국내에서 생성된 AI를 숙달하는 것이 중요하다고 말했습니다. 왜냐하면 이를 통해 정부가 콘텐츠를 숙달하고, 잘못된 정보를 피하고, 국가 데이터 보안을 보장하고, 베트남 기술을 세계에 알릴 수 있기 때문입니다.