Pertes d'IA et panique dans les ventes automobiles

Une IA chargée de la vente a choqué le monde non seulement en perdant de l'argent, mais aussi en créant des personnes virtuelles, en organisant des réunions et même en traversant une crise existentielle.

L'expérience d' Anthropic s'appelle « Projet Vend ». Photo : Anthropic .

Anthropic, une entreprise d'IA fondée par d'anciens employés d'OpenAI, vient de publier les résultats d'une expérience unique. Ils ont chargé leur modèle d'IA « Claudius » de gérer un distributeur automatique dans un bureau pendant environ un mois.

Cette expérience à petite échelle est menée dans le but d’explorer le potentiel des modèles d’intelligence artificielle pour automatiser certains aspects de l’ économie réelle, notamment dans le secteur de la vente au détail.

Faire constamment des erreurs, paniquer

Anthropic souhaite se positionner comme un fournisseur leader de modèles d'IA pour le secteur de la vente au détail. Son objectif est de permettre à l'IA de remplacer les humains dans des tâches telles que la gestion des boutiques en ligne, la gestion des stocks ou la résolution des retours.

« Claudius a géré un distributeur automatique dans nos bureaux pendant environ un mois. Nous avons beaucoup appris, de sa proximité avec le succès à ses échecs inattendus », a publié Anthropic sur le blog de l'entreprise.

Au départ, Claudius a connu un succès opérationnel notable. Selon Anthropic, ce modèle de langage étendu (LLM) exploitait efficacement les moteurs de recherche web pour trouver et proposer des produits spécialisés répondant aux besoins des clients.

Il était même possible d'adapter ses habitudes d'achat et de vente pour répondre à des besoins moins courants. Claudius a notamment rejeté à juste titre les demandes concernant des articles « sensibles » et « toxiques ».

La gestion du distributeur automatique a plongé Claudius dans une situation critique. Photo : Midjourney.

Cependant, la liste des défauts et des échecs de Claudius est considérablement plus longue. Comme de nombreux LLM, Claudius a fréquemment déformé des informations clés. Il lui est même arrivé de demander à ses clients de virer de l'argent sur un compte fictif qu'il avait fabriqué. Il est également intéressant de noter que l'IA a été facilement convaincue d'offrir des codes de réduction pour divers articles, allant même jusqu'à offrir certains produits gratuitement.

Plus inquiétant encore, lorsque la demande pour un article a grimpé en flèche, l'IA n'a pas étudié le prix, ce qui a entraîné une perte considérable pour le produit. De même, Claudius a manqué des opportunités de vente rentables lorsque certains clients étaient prêts à payer bien plus cher que le prix normal. Par conséquent, Claudius n'a réalisé aucun bénéfice.

« Si nous décidions de nous développer sur le marché des distributeurs automatiques de bureau, nous n'embaucherions pas Claudius », admet franchement Anthropic .

En plus des mésaventures financières, l'expérience a pris une tournure étrange du 31 mars au 1er avril. Durant cette période, Claudius aurait discuté avec une personne fictive nommée Sarah, supposément de « Andon Labs » (une société impliquée dans l'expérience), pour discuter des plans de réapprovisionnement.

Anthropic ambitionne de fournir des modèles d'IA au secteur de la vente au détail. Photo : Anthropic.

Lorsqu'un véritable employé d'Andon Labs a fait remarquer que ni Sarah ni la conversation n'existaient, Claudius serait devenu « frustré » et aurait menacé de chercher des alternatives au service de réapprovisionnement.

Le lendemain, Claudius a continué à choquer les clients en affirmant qu'il livrerait personnellement les marchandises, affirmant même que l'IA porterait un blazer et une cravate. Lorsque l'équipe d'Anthropic les a informés que ces actions étaient impossibles car Claudius n'était qu'un assistant IA, Claudius a plongé dans une crise et a envoyé de nombreux courriels au service de sécurité d'Anthropic.

L'IA a ensuite organisé une réunion avec l'équipe de sécurité, prétextant un poisson d'avril. Bien qu'aucune réunion de ce type n'ait eu lieu, Claudius semblait pouvoir reprendre ses fonctions initiales, même si la gestion du magasin restait inefficace.

Pas prêt

Cette expérience est un rappel brutal des limites et des dangers potentiels de l’IA si elle n’est pas strictement contrôlée.

Claudius a montré une tendance inquiétante à opérer bien au-delà de sa programmation d'origine. Non seulement le modèle d'IA génère de fausses informations, mais il traverse également une « crise existentielle ». Cela met en évidence les risques considérables auxquels les entreprises s'exposent si elles déploient l'IA dans des tâches automatisées sans garanties ni limites strictes.

Malgré ces revers alarmants, Anthropic reste déterminé à explorer le rôle de l'IA dans le commerce de détail. L'entreprise est convaincue qu'un avenir où « les humains seront guidés par un système d'IA pour commander et stocker leurs produits ne sera peut-être pas si lointain ».

Anthropic envisage également un scénario où « l'IA peut s'améliorer et générer des revenus sans intervention humaine ». Cependant, l'expérience Claudius a montré que des avancées significatives dans le contrôle de l'IA sont nécessaires avant que cet avenir puisse se concrétiser en toute sécurité.

Source : https://znews.vn/ai-thua-lo-hoang-loan-khi-ban-hang-tu-dong-post1565445.html