Интерес к искусственному интеллекту (ИИ) в мире растёт, причём основное внимание уделяется странам, где представлены многие из ведущих мировых моделей ИИ, таким как США и Китай. Юго-Восточная Азия — один из важнейших экономических регионов мира — постепенно становится новым центром развития ИИ, где значительные достижения могут заинтересовать мировых политиков, инвесторов и технологических экспертов.
Во Вьетнаме партия и правительство также полны решимости формировать и продвигать эпоху технологического развития страны, что нашло отражение в Резолюции 57-NQ/TW «Прорыв в развитии науки и технологий, инновациях и национальной цифровой трансформации». Эта ориентация создала мощный стимул для отечественных технологических предприятий инвестировать и использовать потенциал передовых мировых технологий.
В настоящее время Вьетнам стал одной из немногих стран Юго-Восточной Азии, обладающих собственной моделью обучения на крупных языковых программах (LLM). В частности, с 2023 года Zalo успешно обучает и запускает модель LLM, ориентированную на вьетнамский язык, полностью разработанную командой вьетнамских инженеров.
Выбирайте обучение с самого начала и получайте неожиданные результаты
В настоящее время модели ИИ используют 2 метода обучения, в том числе: метод тонкой настройки модели — это метод оптимизации ранее обученных LLM для создания новых LLM для специализированных целей; метод обучения модели с нуля — это процесс построения совершенно новой модели, от инициализации параметров, выбора архитектуры модели до алгоритма обучения на определенном наборе данных.
Многие компании выбирают методы тонкой настройки благодаря таким преимуществам, как простота внедрения, экономия ресурсов и повышение эффективности. В условиях Вьетнама, где учебное оборудование и данные ограничены, методы тонкой настройки являются оптимальным решением.
Однако Зало с самого начала выбрал именно эту методику обучения. Благодаря этому весь процесс обучения и модель полностью принадлежат вьетнамцам и контролируются ими. Благодаря этому Вьетнам стал одной из немногих стран Юго-Восточной Азии, обладающих собственной разработкой крупной языковой модели (LLM).
На момент запуска в 2023 году первая крупномасштабная языковая модель Zalo с 7 миллиардами параметров, ориентированная на вьетнамский язык, достигла производительности, превышающей на 150% производительность модели OpenAI GPT3.5 на вьетнамском LLM-тесте VMLU. Обучение заняло всего 6 месяцев, что значительно меньше изначально запланированных 18 месяцев. Такой быстрый процесс обучения удивил всю команду разработчиков Zalo.
Модель LLM от Zalo заняла 3-е место в конкурсе Kahoot при первом запуске в 2023 году (Фото: Zalo).
В 2024 году модель Zalo с 13 миллиардами параметров превзошла мировые имена и подтвердила свою позицию двух лучших вьетнамских моделей LLM, подготовленных с нуля, согласно рейтингу компетенций LLM во Вьетнаме VMLU.
Результаты показывают, что уровень подготовки больших языковых моделей не уступает мировым аналогам, что позволяет разрабатывать собственную модель ИИ во Вьетнаме, особенно в условиях сложностей начального этапа разработки.
Вьетнамские усилия по разработке моделей ИИ
Представитель Zalo заявил, что для обучения на степень магистра права (LLM) необходимы три основных элемента: учебное оборудование, данные и технический уровень. Ранее во Вьетнаме по-прежнему существовало множество ограничений по всем трём аспектам. В частности, несмотря на то, что крупные компании мира владели тысячами новейших высокопроизводительных графических процессоров Nvidia, инженеры во Вьетнаме не были полностью оснащены необходимой серверной инфраструктурой. Кроме того, вьетнамский язык входит в группу с более скудными информационными ресурсами, чем английский или китайский. Человеческие ресурсы и опыт обучения на степень магистра права (LLM) во Вьетнаме также ограничены по сравнению с развитыми странами.
В то время команде Zalo приходилось проводить исследования и эксперименты на небольших гражданских графических процессорах, чтобы получить знания и возможности обучения для LLM, которые были бы готовы, как только станет доступна крупная вычислительная инфраструктура.
Чипы для обучения ИИ дефицитны, поэтому, несмотря на то, что Zalo заказала 8 серверов Nvidia DGX H100, компания не может одновременно владеть всеми устройствами и вынуждена ждать поставки каждой партии от производителя. Поэтому оптимизация неполной вычислительной инфраструктуры для экономии времени на обучение также является задачей, которую предстоит решить команде Zalo.
В то же время инвестиции также направляются на разработку качественных данных по обучению, чтобы компенсировать нехватку вьетнамских источников данных.
Несмотря на то, что Zalo находилась в сложном положении по сравнению с крупными мировыми компаниями, компания всё же решила присоединиться к гонке с целью успешной разработки собственной модели искусственного интеллекта во Вьетнаме. Мы консультировались с исследователями и инженерами многих ведущих мировых исследовательских институтов, чтобы разработать подходящую стратегию развития.
«Текущие успехи мотивируют инженеров Zalo продолжать оптимизировать модель, чтобы увеличить её количество и улучшить качество. В то же время, используя её возможности, мы создаём множество ИИ-продуктов мирового класса для вьетнамских пользователей», — отметил доктор Нгуен Труонг Сон, директор по науке Zalo AI.
Сервер DGX H100, который Zalo заказал у Nvidia (Фото: Zalo).
Благодаря гибкой адаптации на сложных начальных этапах разработки Zalo постепенно достигла успешных результатов, продвигаясь к овладению глобальной технологией ИИ в ее нынешнем виде.
В настоящее время модель искусственного интеллекта Zalo не только успешна с точки зрения исследований в области обучения, но и применяется на практике, способствуя доступу и использованию преимуществ передовых новых технологий для вьетнамцев.
Ранее в этом году Zalo запустил Kiki Info Q&A Assistant, который работает в качестве официального аккаунта на платформе обмена сообщениями Zalo. Помощник поддерживает функцию вопросов и ответов на различные темы из жизни, создания контента и развлечений. Согласно статистике Zalo, менее чем за два месяца к аккаунту Kiki Info на Zalo обратились 1 миллион пользователей.
Модель LLM Zalo применяется для разработки Kiki Info Assistant (Фото: Zalo).
Ещё одно применение модели LLM Zalo — это ИИ-открытки, которые также достигли отметки в 15 миллионов, созданных и отправленных всего за 2 месяца. Это приложение интересно многим пользователям Zalo, поскольку позволяет отправлять поздравления родным и друзьям с важными праздниками.
В настоящее время Zalo продолжает расширять и развивать приложения на основе больших языковых моделей, обещая принести много полезной пользы отечественным пользователям.
Источник: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm
Комментарий (0)