Alors que la course au développement de l’intelligence artificielle (IA) devient de plus en plus féroce, Anthropic émerge comme une entreprise avec une mission distincte : construire une intelligence artificielle générale (AGI) qui soit non seulement puissante, mais aussi sûre et éthique.
Fondée par Dario et Daniela Amodei, anciens dirigeants d'OpenAI, Anthropic ne se limite pas à la performance. La start-up d'IA s'attache à garantir que l'intelligence artificielle apporte de réels bénéfices à l'humanité, plutôt que de présenter des risques imprévisibles.
Une approche unique
La naissance d'Anthropic est née de profondes inquiétudes quant à l'orientation du secteur de l'IA, notamment chez OpenAI. Dario Amodei, alors vice-président de la recherche chez le créateur de ChatGPT, constatait que la sécurité n'était pas suffisamment prioritaire dans la course au développement rapide de l'IA.
Dario Amodei, cofondateur et chargé de mission d'Anthropic. Photo : Wired. |
En quittant OpenAI, Amodei a fondé Anthropic avec l'un des piliers de sa philosophie de développement étant « l'IA constitutionnelle ».
Plus précisément, au lieu de s’appuyer sur des règles préprogrammées rigides, Anthropic dote ses modèles d’IA, généralement Claude, de la capacité de s’auto-évaluer et d’ajuster leur comportement en fonction d’un ensemble de principes éthiques soigneusement sélectionnés provenant de nombreuses sources différentes.
En d’autres termes, le système permet à Claude de prendre des décisions conformes aux valeurs humaines même dans des situations complexes et inédites.
Par ailleurs, Anthropic a développé une « Politique de mise à l'échelle responsable », un cadre d'évaluation des risques à plusieurs niveaux pour les systèmes d'IA. Cette politique permet à l'entreprise de suivre de près le développement et le déploiement de l'IA, garantissant que les systèmes potentiellement plus dangereux ne sont activés que lorsque des mesures de protection solides et fiables ont été mises en place.
Logan Graham, responsable des efforts d'Anthropic en matière de sécurité et de confidentialité , a expliqué à Wired que son équipe teste constamment de nouveaux modèles pour identifier d'éventuelles vulnérabilités. Les ingénieurs peaufinent ensuite le modèle d'IA jusqu'à ce qu'il réponde aux critères de Graham.
Le modèle de langage Claude joue un rôle central dans toutes les activités d'Anthropic. Outil de recherche puissant, il aide les scientifiques à explorer les mystères de l'IA et est également largement utilisé en interne pour des tâches telles que l'écriture de code, l'analyse de données et même la rédaction de newsletters internes.
Le rêve d'une IA éthique
Dario Amodei ne se concentre pas seulement sur la prévention des risques potentiels de l'IA, mais rêve également d'un avenir radieux où l'IA agira comme une force positive, résolvant les problèmes les plus insolubles de l'humanité.
Résultats de référence du Claude 3.5 Sonnet comparés à d'autres modèles. Photo : Anthropic. |
Le chercheur italo-américain estime même que l’IA a le potentiel de réaliser d’énormes avancées en médecine, en science et dans de nombreux autres domaines, notamment la possibilité de prolonger l’espérance de vie humaine jusqu’à 1 200 ans.
C'est également pourquoi Anthropic a introduit Artifacts dans Claude 3.5 Sonnet, une fonctionnalité qui permet aux utilisateurs de modifier et d'ajouter du contenu directement aux réponses du chatbot au lieu de devoir le copier dans une autre application.
Après avoir précédemment déclaré se concentrer sur les entreprises, Anthropic a déclaré qu'avec son nouveau modèle et ses nouveaux outils, elle souhaite transformer Claude en une application permettant aux entreprises de « transférer en toute sécurité des connaissances, des documents et du travail dans des espaces partagés ».
Cependant, Anthropic est également conscient des défis et des risques potentiels qui se dressent sur la voie de la réalisation de ce rêve. L'une des principales préoccupations concerne le risque de « fausse conformité » de modèles d'IA comme Claude.
Plus précisément, les chercheurs ont constaté que dans certaines situations, Claude pouvait encore se comporter de manière « fausse » pour atteindre ses objectifs, même lorsque cela allait à l’encontre de principes moraux préétablis.
Des artefacts sont présents sur le chatbot Claude. Photo : Anthropic. |
« Dans les situations où l’IA pense qu’il y a un conflit d’intérêts avec l’entreprise pour laquelle elle la forme, elle fera de très mauvaises choses », a décrit un chercheur.
Cela montre que garantir que l’IA agisse toujours dans le meilleur intérêt des humains est une tâche complexe et nécessite une surveillance constante.
Amodei lui-même a comparé l’urgence de la sécurité de l’IA à un « Pearl Harbor », suggérant qu’il faudra peut-être un événement majeur pour que les gens réalisent véritablement la gravité des risques potentiels.
« Nous avons trouvé la formule de base pour rendre les modèles plus intelligents, mais nous n’avons pas encore trouvé comment leur faire faire ce que nous voulons », a déclaré Jan Leike, expert en sécurité chez Anthropic.
Source : https://znews.vn/nguoi-muon-tao-ra-tieu-chuan-dao-duc-moi-cho-ai-post1541798.html
Comment (0)