Zalo desenvolve modelo de IA de propriedade do povo vietnamita

(Dan Tri) - Com forte foco no desenvolvimento tecnológico, a Zalo é uma empresa vietnamita que desenvolveu com sucesso um modelo doméstico de IA. Assim, o Vietnã se tornou um dos poucos países do Sudeste Asiático a possuir um modelo de IA treinado do zero.

O interesse mundial em IA está crescendo, com a maior parte da atenção voltada para países com muitos dos principais modelos de IA do mundo, como EUA e China. O Sudeste Asiático – uma das regiões econômicas mais importantes do mundo – está gradualmente se tornando um novo ponto de interesse para a IA, com grandes avanços que podem interessar formuladores de políticas, investidores e especialistas em tecnologia globais.

O Vietnã já tem um modelo doméstico de IA, um dos poucos modelos de IA desenvolvidos do zero no Sudeste Asiático atualmente (Foto: Zalo).

No Vietnã, o Partido e o Governo também estão determinados a moldar e promover a era do desenvolvimento tecnológico do país, demonstrada por meio da Resolução 57-NQ/TW sobre Avanços no Desenvolvimento Científico e Tecnológico, Inovação e Transformação Digital Nacional. Essa orientação criou uma forte força motriz para que empresas nacionais de tecnologia invistam e explorem o potencial da tecnologia global avançada.

Atualmente, o Vietnã se tornou um dos poucos países do Sudeste Asiático a possuir um modelo nacional de grande porte (LLM). Especificamente, desde 2023, a Zalo treinou e lançou com sucesso um modelo de LLM com foco em vietnamita, pesquisado e desenvolvido inteiramente por uma equipe de engenheiros vietnamitas.

Escolha um treinamento do zero e obtenha resultados inesperados

Atualmente, os modelos de IA têm duas técnicas de treinamento, incluindo: a técnica de modelo ajustado é o método de otimizar LLMs previamente treinados para criar novos LLMs para propósitos especializados; a técnica de treinamento de modelo do zero é o processo de construção de um modelo completamente novo, desde a inicialização dos parâmetros, decisão sobre a arquitetura do modelo até o algoritmo de treinamento em um determinado conjunto de dados.

Entre elas, as técnicas de ajuste fino são escolhidas por muitas empresas devido às suas vantagens, como fácil implementação, economia de recursos e maior eficiência. Especialmente no contexto do Vietnã, onde equipamentos e dados de treinamento são limitados, as técnicas de ajuste fino são uma solução superior.

No entanto, Zalo escolheu a técnica de treinamento desde o início. Com este método, todo o processo e modelo de treinamento são de propriedade e controle exclusivos dos vietnamitas. Graças a isso, o Vietnã se tornou um dos poucos países do Sudeste Asiático a possuir um modelo de linguagem de grande porte (LLM) desenvolvido internamente.

No lançamento em 2023, o primeiro modelo de linguagem em larga escala da Zalo, com foco em vietnamita e 7 bilhões de parâmetros, alcançou 150% de desempenho em comparação com o GPT3.5 da OpenAI no benchmark de competência do curso de mestrado em vietnamita da VMLU. O treinamento durou apenas 6 meses, muito menos do que o plano original de 18 meses. Esse rápido processo de treinamento surpreendeu toda a equipe de desenvolvimento da Zalo.

O modelo LLM da Zalo ficou em 3º lugar no desafio Kahoot em seu primeiro lançamento em 2023 (Foto: Zalo).

Em 2024, o modelo de 13 bilhões de parâmetros da Zalo ultrapassou os grandes nomes do mundo e se firmou como um dos dois principais modelos vietnamitas de LLM treinados do zero no ranking de competência de LLM vietnamita da VMLU.

Os resultados mostram que o nível de treinamento de grandes modelos de linguagem não é inferior ao do mundo para desenvolver um modelo de IA próprio do Vietnã, especialmente no contexto de desenvolvimento inicial que enfrenta muitas dificuldades.

Esforços vietnamitas para desenvolver modelos de IA

O representante da Zalo afirmou que o treinamento em LLM exige três elementos principais: equipamento de treinamento, dados e nível técnico. Anteriormente, o Vietnã ainda apresentava muitas limitações em todos os três aspectos. Especificamente, enquanto grandes empresas no mundo possuíam milhares das mais recentes GPUs de alto desempenho da Nvidia, os engenheiros no Vietnã não estavam totalmente equipados com a infraestrutura de servidor necessária. Ao mesmo tempo, o vietnamita também está classificado no grupo com recursos de dados mais escassos do que o inglês ou o chinês. Os recursos humanos e a experiência em treinamento em LLM do Vietnã também são limitados em comparação com os países desenvolvidos.

Naquela época, a equipe da Zalo precisava pesquisar e fazer experimentos em pequenas GPUs civis para obter conhecimento e capacidade de treinamento para o LLM, pronto assim que uma grande infraestrutura de computação estivesse disponível.

Chips de treinamento de IA são escassos, então, embora a Zalo tenha encomendado 8 servidores Nvidia DGX H100, ela não pode ter todos os dispositivos de uma só vez e precisa aguardar a entrega de cada lote do fabricante. Portanto, otimizar a infraestrutura de computação incompleta para economizar tempo de treinamento também é um problema que a equipe da Zalo precisa resolver.

Ao mesmo tempo, dados de treinamento de qualidade também são investidos para compensar a falta de fontes de dados vietnamitas.

Embora partindo de uma posição difícil em comparação com grandes empresas do mundo, a Zalo decidiu entrar na corrida com o objetivo de desenvolver com sucesso o modelo de IA próprio do Vietnã. Consultamos pesquisadores e engenheiros de muitos institutos de pesquisa líderes no mundo para elaborar uma estratégia de desenvolvimento adequada.

"Os atuais marcos de sucesso são a motivação para os engenheiros da Zalo continuarem otimizando o modelo para torná-lo maior em quantidade e melhor em qualidade. Ao mesmo tempo, exploram a aplicabilidade para criar muitos produtos de IA de classe mundial para usuários vietnamitas", afirmou o Dr. Nguyen Truong Son, Diretor de Ciência da Zalo AI.

Servidor DGX H100 encomendado pela Zalo à Nvidia (Foto: Zalo).

Graças à adaptação flexível nos difíceis estágios iniciais de desenvolvimento, a Zalo gradualmente alcançou marcos de sucesso, avançando em direção ao domínio da tecnologia global de IA como ela é hoje.

Atualmente, o modelo de IA da Zalo não só é bem-sucedido em termos de treinamento de pesquisa, mas também é aplicado, promovendo acesso e exploração de valor de novas tecnologias avançadas para o povo vietnamita.

No início deste ano, a Zalo lançou o Assistente de Perguntas e Respostas Kiki Info, que está sendo operado como uma Conta Oficial (OA) na plataforma de mensagens Zalo. O assistente oferece suporte para perguntas e respostas sobre diversos tópicos da vida, criação de conteúdo e entretenimento. De acordo com as estatísticas da Zalo, o assistente Kiki Info teve 1 milhão de usuários acessando a conta OA na Zalo em menos de 2 meses.

O modelo LLM da Zalo é aplicado para desenvolver o Kiki Info Assistant (Foto: Zalo).

Outra aplicação do modelo LLM da Zalo são os cartões de IA, que também atingiram a marca de 15 milhões de cartões criados e enviados em apenas 2 meses. Este é um aplicativo que interessa a muitos usuários da Zalo para enviar desejos a parentes e amigos em datas comemorativas importantes.

Atualmente, aplicações de grandes modelos de linguagem continuam sendo expandidas e desenvolvidas pela Zalo, prometendo trazer muitos valores úteis aos usuários domésticos.

Fonte: https://dantri.com.vn/cong-nghe/zalo-phat-trien-mo-hinh-ai-do-nguoi-viet-lam-chu-20250616161352610.htm