Anthropic fait appel à Accenture comme évaluateur intégré pour contribuer à sa proposition visant à ralentir l’IA
Anthropic a déclaré avoir choisi Accenture comme son premier évaluateur intégré afin de contribuer à ralentir le rythme du développement de l’IA, comme l’a proposé la semaine dernière son PDG, Dario Amodei.
Le 12 septembre, Amodei a publié une proposition en trois étapes visant à ralentir le développement de l’IA et à permettre la mise en place de garde-fous, alors que des avertissements faisaient état d’un risque de dommages catastrophiques à la suite d’un développement rapide et incontrôlé.
Le PDG d’OpenAI, Sam Altman, et le PDG de SpaceX, Elon Musk, ont réagi positivement à la proposition d’Amodei, contrairement au PDG de Nvidia, Jensen Huang, qui a estimé qu’une telle réglementation n’était pas nécessaire.
Amodei a néanmoins écrit dans sa proposition que « l’IA progresse beaucoup plus rapidement, principalement grâce à sa capacité croissante à construire la génération suivante d’IA. Cette dynamique est appelée amélioration récursive par elle-même », et que, « laissée sans contrôle, elle pourrait dépasser notre capacité à comprendre et à contrôler ces systèmes ».
À lire aussi : Le patron d’Anthropic appelle à ralentir le développement de l’IA pour parvenir à un rythme plus sûr
La première étape de la proposition d’Amodei consiste à faire intervenir des évaluateurs indépendants bénéficiant d’un accès comparable à celui des employés, ce à quoi Anthropic s’était déjà engagée unilatéralement, a écrit Amodei.
Vendredi, Anthropic a annoncé avoir commencé à concrétiser cet engagement en s’associant à Accenture et à sa division spécialisée dans l’IA, Faculty, afin « d’évaluer les modèles et de leur faire subir des tests de résistance, de mener des évaluations de l’alignement et de tester les garde-fous des modèles ».
Les modalités précises de cette démarche sont encore en cours d’élaboration, l’évaluation intégrée étant une pratique nouvelle, a indiqué l’entreprise.
Selon l’annonce, Anthropic et Accenture prévoient chacune d’investir au moins 1 milliard de dollars dans le projet au cours des cinq prochaines années.
Anthropic financera directement ces travaux compte tenu de leur urgence
Anthropic a souligné qu’il n’existe pas non plus de système établi pour financer l’évaluation indépendante. Le financement à long terme devrait donc provenir de fonds mutualisés ou de sources gouvernementales. Toutefois, compte tenu de l’urgence de ces travaux, Anthropic financera directement ceux d’Accenture.
Le partenariat n’est pas exclusif, et Anthropic prévoit d’annoncer dans les prochaines semaines d’autres évaluateurs avec lesquels elle collaborera également.
Faculty, la division d’Accenture, dispose d’une expertise dans le test et l’évaluation de modèles pour certains des principaux laboratoires d’IA au monde, ainsi que dans la conception de systèmes d’IA complexes sûrs et éthiques dès leur conception, a déclaré l’entreprise vendredi.
« L’évaluation intégrée est un domaine émergent, et nous sommes impatients de travailler avec Anthropic pour contribuer à accélérer le développement des évaluateurs intégrés, que nous considérons comme une composante importante du paysage de la sécurité pour l’avenir », a déclaré Julie Sweet, présidente du conseil d’administration et PDG d’Accenture.
Magazine : Pourquoi les plus grandes entreprises de l’IA demandent-elles soudainement de ralentir ?