Un grupo de investigadores en Alemania advirtió recientemente sobre el riesgo de sesgo al usar chatbots de IA para acortar el contenido de las investigaciones. Tras analizar 4900 resúmenes científicos escritos por personas, el equipo utilizó múltiples modelos de IA para comparar cómo estos sistemas procesaban la información. Los resultados mostraron que la mayoría de los chatbots eran culpables de generalizar excesivamente, incluso cuando se les pedía que resumieran con precisión.
La IA es propensa a sesgos al resumir la investigación científica.
En las pruebas, los modelos de IA cometieron cinco veces más errores que los expertos humanos sin guía. Incluso cuando existía un requisito claro de precisión, la sasa de error era el doble que la de un resumen estándar. «Las generalizaciones a veces parecen inofensivas, pero en realidad alteran la naturaleza de la investigación original», confirmó un miembro del equipo. «Eso es un sesgo sistemático».
Cabe destacar que las versiones más recientes del chatbot no han solucionado el problema, sino que lo han agravado. Con su lenguaje fluido y atractivo, los resúmenes generados por IA pueden parecer creíbles, mientras que el contenido real ha sido distorsionado. En un caso, DeepSeek cambió la frase «seguro y puede realizarse con éxito» por «tratamiento seguro y eficaz», una reinterpretación de las conclusiones del estudio original.
En otro ejemplo, el modelo Llama recomendó medicamentos para la diabetes a jóvenes sin especificar dosis, frecuencia ni efectos secundarios. Si el lector es un médico o profesional de la salud que no verifica la información con la investigación original, resúmenes como este pueden representar un riesgo directo para los pacientes.
Los expertos afirman que el fenómeno se origina en la forma en que se entrenan los modelos de IA. Gran parte de los eventos reales de los chatbots estarán relacionados con la información, como noticias de divulgación científica, que ya han sido condensados. A medida que la IA continúa resumiendo el contenido condensado, aumenta el riesgo de distorsión.
Los expertos en IA en el campo de la salud mental afirman que es necesario construir barreras técnicas en las primeras etapas del desarrollo y uso de la IA.
Los usuarios deben tener cuidado ya que los chatbots pueden distorsionar fácilmente el contenido.
A medida que los usuarios recurren cada vez más a los chatbots de IA para aprender sobre ciencia, pequeños errores de interpretación pueden acumularse y propagarse aleatoriamente, y hacer lugar a percepciones erróneas generalizadas. En un momento en que la confianza en la ciencia está en declive, este riesgo se vuelve aún más preocupante y merece una atención especial.
La integración de la IA en la investigación y la difusión del conocimiento es una tendencia irreversible. Sin embargo, los expertos afirman que la tecnología no puede sustituir el papel de los humanos en la comprensión y verificación del contenido científico. Al utilizar chatbots en áreas de alto riesgo como la medicina, la precisión debe ser la máxima prioridad, en lugar de centrarse únicamente en la fluidez del lenguaje o la velocidad de respuesta.
Fuente: https://khoahocdoisong.vn/chatgpt-deepseek-bop-meo-du-lieu-khoa-hoc-post1552971.html
Kommentar (0)