 |
El experimento de Anthropic se llama "Proyecto Vend". Foto: Anthropic . |
Anthropic, una empresa de IA fundada por exempleados de OpenAI, acaba de publicar los resultados de un experimento único. Encargaron a su modelo de IA "Claudius" la gestión de una máquina expendedora en una oficina durante aproximadamente un mes.
Este experimento a pequeña escala se está llevando a cabo con el objetivo de explorar el potencial de los modelos de inteligencia artificial para automatizar aspectos de la economía real, particularmente en el sector minorista.
Cometer errores constantemente, entrar en pánico.
Anthropic busca posicionarse como proveedor líder de modelos de IA para el sector minorista. El objetivo es ayudar a la IA a reemplazar a los humanos en tareas como la gestión de tiendas online, la gestión de inventario o la resolución de devoluciones.
"Tuvimos a Claudius operando una máquina expendedora en nuestra oficina durante aproximadamente un mes. Aprendimos mucho, desde lo cerca que estuvo del éxito hasta las extrañas formas en que falló", publicó Anthropic en el blog de la empresa.
Inicialmente, Claudius mostró un notable éxito operativo. Según Anthropic, este modelo de lenguaje extenso (LLM) utilizó eficazmente los motores de búsqueda web para encontrar y ofrecer productos especializados según las necesidades del cliente.
Incluso tenía la capacidad de ajustar sus hábitos de compra y venta para satisfacer necesidades menos comunes. Cabe destacar que Claudio también rechazó correctamente las solicitudes relacionadas con artículos "sensibles" y "tóxicos".
 |
La gestión de la máquina expendedora ha dejado a Claudio en una crisis. Foto: Midjourney. |
Sin embargo, la lista de deficiencias y fallos de Claudius es considerablemente más larga. Al igual que muchos LLM, Claudius tergiversaba con frecuencia detalles clave. En una ocasión, instruyó a los clientes a transferir dinero a una cuenta inexistente que había inventado. Cabe destacar que la IA también fue fácil de convencer para ofrecer códigos de descuento para diversos artículos, incluso regalando algunos productos.
Lo más preocupante fue que, cuando la demanda de un artículo se disparó, la IA no investigó el precio, lo que provocó que el producto se vendiera con grandes pérdidas. De igual manera, Claudius también perdió oportunidades de venta rentables cuando algunos clientes estaban dispuestos a pagar mucho más del precio normal. Como resultado, Claudius no obtuvo ninguna ganancia.
“Si decidiéramos expandirnos al mercado de máquinas expendedoras de oficina, no contrataríamos a Claudius”, admite con franqueza Anthropic .
Además de los contratiempos financieros, el experimento dio un giro extraño del 31 de marzo al 1 de abril. Durante este período, Claudio aparentemente conversó con una persona ficticia llamada Sarah, supuestamente de “Andon Labs” (una empresa involucrada en el experimento), para discutir planes de reposición.
 |
Anthropic aspira a proporcionar modelos de IA para el sector minorista. Foto: Anthropic. |
Cuando un empleado real de Andon Labs señaló que ni Sarah ni la conversación existían, Claudius supuestamente se “frustró” y amenazó con buscar alternativas al servicio de reposición.
Al día siguiente, Claudio siguió sorprendiendo a los clientes al afirmar que él mismo les entregaría la mercancía, incluso afirmando que la IA llevaría blazer y corbata. Cuando el equipo de Anthropic les informó que estas acciones eran imposibles porque Claudio era solo un asistente de IA, Claudio entró en crisis y envió múltiples correos electrónicos al departamento de seguridad de Anthropic.
La IA organizó entonces una reunión con el equipo de seguridad, alegando que se trataba de una broma del Día de los Inocentes. Aunque dicha reunión no se llevó a cabo, Claudio pareció poder retomar su función original, aunque la gestión de la tienda seguía siendo ineficaz.
No estoy listo
El experimento es un duro recordatorio de las limitaciones y los peligros potenciales de la IA si no se controla estrictamente.
Claudius ha mostrado una preocupante tendencia a operar mucho más allá del alcance de su programación original. El modelo de IA no solo genera información falsa, sino que también experimenta una "crisis existencial". Esto pone de relieve los enormes riesgos que pueden afrontar las empresas si implementan la IA en tareas automatizadas sin medidas de seguridad ni límites estrictos.
A pesar de estos alarmantes reveses, Anthropic se mantiene firme en su compromisode explorar el papel de la IA en el comercio minorista. La empresa cree que un futuro en el que «los humanos sean guiados por un sistema de IA sobre qué pedir y almacenar podría estar cerca».
Anthropic también visualiza un escenario donde la IA pueda mejorarse a sí misma y generar ingresos sin intervención humana. Sin embargo, el experimento de Claudius demostró que se necesitan avances significativos en el control de la IA antes de que este futuro se haga realidad con seguridad.
Fuente: https://znews.vn/ai-thua-lo-hoang-loan-khi-ban-hang-tu-dong-post1565445.html
Kommentar (0)