L'application du modèle d'IA vietnamien attire des millions de visites

Développé par l'équipe d'ingénierie vietnamienne de Zalo, ce vaste modèle linguistique, doté de 13 milliards de paramètres, offre une série d'applications pratiques qui attirent un grand nombre d'utilisateurs chaque mois. L'assistant de questions-réponses Kiki Info, notamment, est exploité comme un compte officiel OA sur Zalo et propose trois fonctionnalités : questions-réponses sur différents sujets tels que la science, l'histoire, le code de la route ; création de contenu (rédaction, rédaction d'e-mails, publication sur les réseaux sociaux ; et divertissement, avec des suggestions de destinations touristiques, de musique et de livres).

Les statistiques de l'équipe de développement montrent que cet assistant a eu jusqu'à 1 million d'utilisateurs accédant à son compte OA sur Zalo en un peu moins de 2 mois.

Kiki Info intégré sur la plateforme de messagerie Zalo.

Une autre application développée par le modèle linguistique de Zalo est l'application de cartes IA, qui compte désormais 15 millions de cartes créées et envoyées par les utilisateurs. Ces données, compilées en deux mois, permettent aux utilisateurs d'envoyer leurs vœux à leurs proches lors des fêtes importantes.

Ces applications sont très appréciées des utilisateurs pour leur expérience intelligente, qui contribue à réduire le temps consacré à la recherche et à la prise de décisions. Elles rendent également les relations plus intéressantes et engageantes.

Le modèle LLM de Zalo est développé à l'aide d'une technique de formation à partir de zéro - mettant en œuvre tous les processus depuis l'initialisation des paramètres, la décision sur l'architecture du modèle jusqu'à la formation des algorithmes sur un ensemble de données donné, aidant les Vietnamiens à maîtriser et contrôler pleinement le processus de formation ainsi que le modèle.

Fin 2024, le modèle LLM de Zalo s'est classé deuxième au classement VMLU (Vietnamian Multitask Language Understanding Benchmark Suite for Large Language Models - Suite de référence pour la compréhension multitâche du vietnamien pour les grands modèles linguistiques), une plateforme d'évaluation et de classement des compétences en vietnamien. Plus précisément, le grand modèle linguistique de Zalo s'est hissé à la deuxième place du classement des modèles formés de toutes pièces, juste derrière Llama-3-70B de Meta, surpassant officiellement des grands noms tels que GPT-4 (OpenAI), gemma-2-9b-it (Google) et microsoft/Phi-3-small-128k-instruct (Microsoft).

Classement 2024 des LLM créés à partir de zéro avec le modèle LLM de Zalo dans le Top 2.

Il s'agit d'une grande réussite pour un vaste modèle linguistique développé par les Vietnamiens, surtout lorsqu'il a rencontré de nombreuses limitations à ses débuts. Alors que les grandes entreprises mondiales possédaient des milliers de GPU Nvidia de dernière génération, au Vietnam, à l'époque, les ingénieurs ne disposaient pas de l'infrastructure serveur nécessaire.

Parallèlement, le vietnamien figure parmi les langues dont les ressources en données sont des dizaines de fois inférieures à celles de l'anglais ou du chinois. De plus, le Vietnam présente des limitations en termes de ressources humaines et d'expérience en matière de formation en master de droit (LLM) par rapport aux pays développés.

Zalo a mis en place une stratégie de développement visant à surmonter les limites de l'environnement de formation par rapport au reste du monde. En équipant l'infrastructure informatique de 8 serveurs DGX H100, le modèle LLM a été développé directement à l'aide de la gamme de GPU Nvidia la plus récente et la plus rare à l'époque, avec des performances atteignant 256 pétaflops (opérations en virgule flottante par seconde – un pétaflop équivaut à 10 millions de milliards de calculs/seconde).

Le système serveur de Zalo dispose d'une capacité de traitement supérieure.

Parallèlement, des données de formation de qualité sont également investies pour pallier le manque de sources de données vietnamiennes. Grâce à une série d'études menées sur de petits GPU civils, les ingénieurs de Zalo ont également saisi l'occasion de se doter des connaissances et des capacités nécessaires pour former des LLM afin de créer une plateforme prête à l'emploi dès qu'ils disposeront d'une infrastructure informatique de grande envergure.

Grâce à une orientation de développement judicieuse, Zalo a réussi à développer un modèle linguistique de grande envergure, comprenant 7 milliards de paramètres et axé sur le vietnamien, après seulement six mois de formation en 2023. Il a ainsi atteint 150 % de la capacité du GPT3.5 d'OpenAI dans le benchmark VMLU. Aujourd'hui, il a surpassé plusieurs grands noms du classement VMLU 2024, tout en mettant en pratique le modèle de recherche pour la communauté.

Le modèle LLM de Zalo est en concurrence avec une série de modèles dans le monde tels que ChatGPT 3.5, ChatGPT 4.0, Llama, PhoGPT et un véritable acteur lors du premier lancement en 2023.

Selon Zalo, le programme LLM continuera d'investir dans la formation afin de proposer davantage d'applications d'IA de classe mondiale aux utilisateurs. Ainsi, la maîtrise des technologies d'IA avancées permettra d'entrer dans l'ère du développement technologique du pays, avec une orientation révolutionnaire en matière de science , de technologie, d'innovation et de transformation numérique nationale.

Source : https://znews.vn/ung-dung-cua-mo-hinh-ai-viet-dang-thu-hut-hang-trieu-luot-truy-cap-post1563330.html