VMLU (Vietnamese Multitask Language Understanding) fue desarrollado por Zalo AI en colaboración con el Instituto Avanzado de Ciencia y Tecnología de Japón (JAIST) para ayudar a la comunidad de investigación y desarrollo de IA en Vietnam a tener más herramientas para evaluar la calidad de salida de los modelos de IA generativa vietnamitas.
En consecuencia, este es un conjunto de estándares de evaluación vietnamita multifacético y de múltiples niveles que satisface las necesidades más diversas del mercado actual con 10,880 preguntas de opción múltiple que giran en toro a 58 temas diferentes.
¿Por qué AI Vietnam necesita saber cómo competir en la competencia?
El crecimiento explosivo de ChatGPT ha dado origen a una nueva era: la IA generativa. Según las estadísticas, desde su introducción, existen aproximadamente 16.000 modelos similares a ChatGPT en el mundo .
Vietnam ya no podrá encontrar un lugar en el mundo, pero será posible invertir en diversas formas de escaladas y experimentos potenciales en el futuro. Esto ha generado la necesidad de un conjunto de evaluaciones de competencia en vietnamita para estos modelos de IA, con el fin de medir el nivel de conocimiento y pensamiento en vietnamita.
En el mercado actual, la mayoría de los grupos de investigación de LLM en Vietnam deben desarrollar sus propios kits de herramientas de evaluación con estándares específicos para sus modelos. Se trata de herramientas de evaluación internas que no se han publicado. El kit de herramientas de evaluación de Zalo AI está dirigido a necesidades generales, puede constituir un estándar común para los modelos LLM y se proporciona a la comunidad de IA. Esto facilita que los pequeños grupos de investigación accedan a conjuntos de datos de evaluación completos y permite a las partes comparar los resultados entre sí. A partir de ahí, se genera motivación para mejorar el modelo.
Motivando a la IA vietnamita a unirse a la ola mundial de IA generativa
En noviembre de 2023, Zalo AI anunció oficialmente los estándares de evaluación del dominio del idioma vietnamita de VMLU. Se trata de un conjunto de estándares investigados y desarrollados por los ingenieros de Zalo AI en colaboración con el Instituto JAIST para evaluar la capacidad de comprensión y aplicación del idioma vietnamita de los modelos de IA, especialmente la IA Generativa.
La nueva información sobre VMLU ha motivado a varias startups a desarrollar proyectos en IA en Vietnam. Esto crea las condiciones para nuevas investigaciones, sienta las bases para medir la precisión y mejorar los resultados de los modelos básicos, contribuyendo así al desarrollo de aplicaciones de IA en vietnamita, creadas por vietnamitas para servir a la población vietnamita.
Este es también uno de los factores importantes que impulsan el desarrollo de la IA generativa en Vietnam para avanzar más rauido y ponerse al con la ola desarrollo de la IA en el mundo.
¿Cuáles son los estándares de evaluación de la competencia en el idioma vietnamita?
En consecuencia, este es un conjunto de estándares de evaluación del idioma vietnamita multifacéticos y de múltiples niveles que satisfacen las necesidades más diversas en el mercado de investigación y desarrollo de IA generativa vietnamita, centrándose en dos partes principales: Datos (conjunto de datos de prueba) y un conjunto de estándares de evaluación, como base para probar modelos de IA aplicando el idioma vietnamita.
En concreto, el conjunto de datos incluye 10,880 preguntas de opción múltiple sobre 58 temas diferentes. Cada tema consta de unas 200 preguntas y se distribuye en cuatro áreas: STEM, Ciencias Sociales, Humanidades y una categoría amplia, "Expandida". Con este conjunto de datos, VMLU cuenta con una estratificación de dificultad en cuatro niveles: Primaria, Secundaria, Bachillerato y Formación Profesional (para universitarios y de posgrado). A partir de ahí, el conjunto de herramientas ayuda a evaluar eficazmente el dominio del vietnamita de los modelos de IA, tanto en ocimientos básicos como en la resolución de problemas complejos.
Además, para ayudar a los grupos de investigación y evaluar fácilmente las capacidades de sus modelos de IA vietnamitas, el equipo de ingeniería de IA de Zalo ha diseñado instrucciones para que los grupos puedan usarlos de manera rápida y sencilla.
Contribuya a la comunidad vietnamita de IA
El proceso de inversión en IA vietnamita en particular es comunitario en tecnología de la información en general, ya que cobrar a ningún usuario, grupo de investigación o empresa.
Anteriormente, Zalo AI ha implementado, desplegado y organizado una serie de competencias y programas para la comunidad de IA vietnamita, como: Zalo AI Challenge, Zalo AI Hackathon, Zalo AI Summit... Estas actividades no solo crean un patio de juegos para la comunidad de IA vietnamita, sino que también fomentan la aplicación de la IA en la vida, resuelven problemas sociales urgentes y atienden las necesidades de millones de vietnamitas.
ElDr. Chau Thanh Duc, Jefe del Departamento de Investigación de IA de Zalo y Profesor de la Universidad de Ciencias Naturales de la Universidad Nacional de Ciudad Ho Chi Minh, confirmó: «Zalo AI siempre busca contribuir a la comunidad vietnamita de IA, motivando el desarrollo de la IA vietnamita. Por ello, esperamos cada vez más productos de IA hechos por vietnamitas, para vietnamitas».
[anuncio_2]
Fuente
Kommentar (0)