Anthropic recurre a Accenture como evaluador integrado para ayudar con la propuesta de desaceleración de la IA
Anthropic dijo que ha elegido a Accenture como su primer evaluador integrado para ayudar a ralentizar el ritmo del desarrollo de la IA, tal como propuso la semana pasada su CEO, Dario Amodei.
Amodei publicó el 12 de septiembre una propuesta de tres pasos para ralentizar el desarrollo de la IA y permitir la implementación de salvaguardas, ante las advertencias sobre un posible daño catastrófico tras un desarrollo rápido y sin controles.
El CEO de OpenAI, Sam Altman, y el CEO de SpaceX, Elon Musk, respondieron positivamente a la propuesta de Amodei, aunque el CEO de Nvidia, Jensen Huang, no lo hizo y argumentó que dicha regulación no era necesaria.
Aun así, Amodei escribió en su propuesta que «la IA ha estado avanzando a un ritmo drásticamente más rápido, impulsada principalmente por la creciente capacidad de la IA para construir la siguiente generación de IA. Esta dinámica se denomina automejora recursiva», y que «si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas».
Relacionado: El jefe de Anthropic pide ralentizar el desarrollo de la IA hasta alcanzar un ritmo más seguro
El primer paso de la propuesta de Amodei consiste en contar con evaluadores independientes con un acceso similar al de los empleados, algo a lo que Anthropic ya se había comprometido unilateralmente, escribió Amodei.
Anthropic anunció el viernes una medida para cumplir este compromiso al asociarse con Accenture y su división de IA, Faculty, para «evaluar modelos y someterlos a pruebas de red team, realizar evaluaciones de alineación y probar las salvaguardas de los modelos».
La empresa dijo que todavía se están definiendo los detalles de cómo se llevará a cabo, ya que la evaluación integrada es algo nuevo.
Anthropic y Accenture esperan invertir cada una al menos 1.000 millones de dólares en el proyecto durante los próximos cinco años, según el anuncio.
Anthropic financiará directamente el trabajo ante la urgencia
Anthropic señaló que tampoco existe un sistema para financiar la evaluación independiente, por lo que la financiación a largo plazo debería proceder de fondos mancomunados o de fuentes gubernamentales. Sin embargo, dada la urgencia del trabajo, Anthropic financiará directamente el trabajo de Accenture.
La asociación no es exclusiva, y Anthropic espera anunciar en las próximas semanas otros evaluadores con los que también trabajará.
Faculty, de Accenture, tiene experiencia en probar y evaluar modelos para algunos de los principales laboratorios de IA del mundo y en construir sistemas complejos de IA que sean seguros y éticos desde el diseño, dijo la empresa el viernes.
«La evaluación integrada es un área emergente y esperamos asociarnos con Anthropic para ayudar a acelerar el desarrollo de evaluadores integrados, que consideramos una parte importante del panorama de la seguridad de cara al futuro», dijo Julie Sweet, presidenta y CEO de Accenture.
Revista: ¿Por qué las mayores empresas de IA piden de repente ralentizar el desarrollo?