Во Вьетнаме есть модель искусственного интеллекта, принадлежащая вьетнамцам.

Глобальный интерес к искусственному интеллекту растёт, причём основное внимание уделяется странам с передовыми моделями развития ИИ, таким как США и Китай. Юго-Восточная Азия, будучи одним из важнейших экономических регионов мира, постепенно становится новым центром развития ИИ, демонстрируя значительные достижения, способные привлечь внимание мировых политиков, инвесторов и технологических экспертов.

Во Вьетнаме уже есть собственная модель искусственного интеллекта — одна из немногих моделей искусственного интеллекта, разработанных с нуля в Юго-Восточной Азии. Фото: Zalo.

Во Вьетнаме партия и правительство также полны решимости формировать и продвигать эпоху технологического развития страны, что нашло отражение в Резолюции 57-NQ/TW «О прорыве в науке , технологиях, инновациях и национальной цифровой трансформации». Эта ориентация создала мощную движущую силу для отечественных технологических предприятий, побуждая их инвестировать и использовать потенциал передовых мировых технологий.

В настоящее время Вьетнам стал одной из немногих стран Юго-Восточной Азии, обладающих собственной моделью обучения на крупных языковых программах (LLM). В частности, с 2023 года Zalo успешно обучает и запускает модель LLM, ориентированную на вьетнамский язык, полностью разработанную командой вьетнамских инженеров.

Выбирайте обучение с самого начала и получайте неожиданные результаты

В настоящее время модели ИИ используют два метода обучения, включая тонкую настройку модели — оптимизацию ранее обученных LLM для создания новых LLM для определенной цели и модель с нуля — реализацию всех процессов от инициализации параметров и принятия решений об архитектуре модели до алгоритмов обучения на заданном наборе данных.

Среди них тонкая настройка, которую выбирают многие компании благодаря таким преимуществам, как простота внедрения, экономия ресурсов и повышение эффективности. Особенно в условиях, когда во Вьетнаме практически непреодолимой проблемой является наличие учебного оборудования и данных, методы тонкой настройки считаются оптимальным решением.

Однако Зало с самого начала выбрал именно эту методику обучения. Благодаря ей весь процесс обучения и модель полностью принадлежат вьетнамцам и контролируются ими, что помогло Вьетнаму стать одной из немногих стран Юго-Восточной Азии, где есть местные магистратуры права.

На момент запуска в 2023 году первая крупномасштабная языковая модель Zalo, ориентированная на вьетнамский язык, с 7 миллиардами параметров достигла производительности, превышающей на 150% производительность модели OpenAI GPT3.5 на вьетнамском LLM-тесте VMLU. Примечательно, что время обучения составило всего 6 месяцев, что значительно меньше изначально запланированных 18 месяцев. Столь быстрый процесс обучения удивил всю команду разработчиков Zalo.

Модель LLM от Zalo заняла 3-е место в конкурсе Kahoot, уступив реальному игроку и GPT 4 в своем дебютном проекте в 2023 году. Фото: Zalo.

В 2024 году модель Zalo с 13 миллиардами параметров официально превзошла такие крупные имена, как GPT-4 (OpenAI), gemma-2-9b-it (Google), microsoft/Phi-3-small-128k-instruct (Microsoft), уступив только Llama-3-70B (Meta) в рейтинге владения вьетнамскими программами LLM VMLU.

Рейтинг VMLU: 10 лучших моделей, созданных с нуля в 2024 году. Фото: Zalo.

Результаты показывают, что уровень подготовки больших языковых моделей не уступает мировым аналогам, что позволяет разрабатывать собственную модель ИИ во Вьетнаме, особенно в условиях сложностей начального этапа разработки.

Вьетнамские усилия по разработке моделей ИИ

При подготовке LLM существуют три основных проблемы: учебное оборудование, данные и технический уровень, но Вьетнам столкнулся с трудностями по всем трём. Если раньше крупные компании мира владели тысячами новейших высокопроизводительных графических процессоров Nvidia, то во Вьетнаме инженеры не были полностью оснащены необходимой серверной инфраструктурой. Кроме того, вьетнамский язык входит в группу стран с ресурсами данных, в десятки раз уступающими английскому или китайскому. Человеческие ресурсы и опыт обучения LLM во Вьетнаме также ограничены по сравнению с развитыми странами.

В то время команде Zalo приходилось проводить исследования и эксперименты на небольших гражданских графических процессорах, чтобы обеспечить себя знаниями и возможностями обучения LLM, готовыми к работе, как только появится крупная вычислительная инфраструктура. Чипы для обучения ИИ были в дефиците, поэтому, несмотря на заказ восьми серверов Nvidia DGX H100, Zalo не могла одновременно владеть всеми устройствами и ждала поставки каждой партии от производителя. Поэтому команде Zalo также предстояло решить задачу оптимизации неполной вычислительной инфраструктуры для экономии времени обучения.

В то же время инвестиции также направляются на разработку качественных данных по обучению, чтобы компенсировать нехватку вьетнамских источников данных.

Доктор Нгуен Труонг Сон, директор по науке Zalo AI. Фото: Зало.

«Несмотря на сложную стартовую ситуацию по сравнению с другими крупными компаниями мира, Zalo всё же решила выйти на рынок с самого начала, стремясь к успешной разработке собственной модели искусственного интеллекта для Вьетнама. Мы консультировались с исследователями и инженерами многих ведущих исследовательских институтов мира, чтобы разработать подходящую стратегию развития. Достигнутые на сегодняшний день успехи мотивируют инженеров Zalo продолжать оптимизировать модель, увеличивая её количество и повышая качество. В то же время, используя её возможности, мы создаём множество продуктов на основе искусственного интеллекта мирового класса для вьетнамских пользователей», — сказал доктор Нгуен Труонг Сон, директор по науке Zalo AI.

Сервер DGX H100, заказанный Zalo у Nvidia. Фото: Zalo.

Благодаря гибкой адаптации на сложных начальных этапах разработки Zalo постепенно достигла успешных результатов, продвигаясь к овладению глобальной технологией ИИ в ее нынешнем виде.

В настоящее время модель искусственного интеллекта Zalo не только успешна с точки зрения исследований в области обучения, но и применяется на практике, способствуя доступу и использованию преимуществ передовых новых технологий для вьетнамцев.

В начале 2025 года Zalo запустил Kiki Info Q&A Assistant, который работает как официальный аккаунт открытого доступа (OA) на платформе обмена сообщениями Zalo. Помощник поддерживает функцию вопросов и ответов на различные темы из жизни, создания контента и развлечений. Согласно статистике Zalo, менее чем за два месяца к аккаунту открытого доступа на Zalo обратились 1 миллион пользователей.

Модель LLM Zalo применяется для разработки помощника Kiki Info Assistant. Фото: Zalo.

Ещё одно применение модели LLM Zalo — это ИИ-открытки, которые также достигли отметки в 15 миллионов, созданных и отправленных всего за 2 месяца. Это приложение интересно многим пользователям Zalo, поскольку позволяет отправлять поздравления родным и друзьям с важными праздниками.

В настоящее время Zalo продолжает расширять и развивать приложения на основе крупных языковых моделей, обещая принести много полезной пользы отечественным пользователям.

Источник: https://znews.vn/viet-nam-da-co-mo-hinh-ai-do-nguoi-viet-lam-chu-post1560653.html