Anthropic, OpenAI y Google discuten crear cuerpo compartido para probar IA antes de lanzarla

Anthropic, OpenAI y Google están manteniendo conversaciones para crear un organismo compartido que establezca estándares, pruebas y auditorías para sistemas de inteligencia artificial avanzados antes de que sean lanzados al público, reportó Yahoo News el 14 de septiembre citando información de The Information y CNN.

Las conversaciones comenzaron antes de que el director ejecutivo de Anthropic, Dario Amodei, hiciera público su llamado a ralentizar el desarrollo de IA de frontera, y antes de que Jacob Coxon, investigador de seguridad que trabajó tanto en Anthropic como en OpenAI, dejara la primera empresa. Los representantes de las tres compañías se han reunido como grupo de trabajo al menos desde julio y nuevamente la semana anterior a la publicación del informe.

Según el reporte, Demis Hassabis, fundador de Google DeepMind, propuso una asociación público-privada que evaluaría modelos avanzados antes de su lanzamiento, con financiamiento de la industria y participación de expertos técnicos independientes. Por su parte, Sam Altman, director ejecutivo de OpenAI, favorece la creación de un cuerpo de pruebas y auditorías de la industria sin respaldo gubernamental.

Las empresas no han emitido declaraciones oficiales sobre el tema. No existe una organización anunciada, un reglamento acordado ni un compromiso público de las tres compañías.

El cuerpo propuesto tendría que resolver preguntas básicas sobre sus operaciones, incluyendo qué capacidades específicas desencadenarían la revisión, quién diseñaría las pruebas, qué evidencia se compartiría, cómo se protegería la independencia de los expertos y qué ocurriría si un desarrollador decide avanzar a pesar de un resultado desfavorable en las evaluaciones.

Jacob Coxon, quien trabajó en seguridad de IA en ambas empresas, declaró en una entrevista que renunció por preocupaciones relacionadas con la seguridad de la inteligencia artificial y que las conversaciones sobre riesgos severos de IA se han vuelto más frecuentes durante su tiempo en las compañías. Sin embargo, sus declaraciones son evaluaciones propias y no hallazgos de auditorías externas.

Por qué importa

El informe llega en un momento de creciente debate público sobre la velocidad y seguridad del desarrollo de inteligencia artificial. La posibilidad de que las principales empresas del sector establezcan sus propios estándares de evaluación antes del lanzamiento de modelos podría otorgarles un papel más formal en la definición de qué pruebas deben pasar los sistemas antes de su despliegue.

Un organismo de este tipo podría facilitar la comparación de resultados entre empresas y evitar que cada desarrollador defina sus propios criterios de seguridad. No obstante, también podría concentrar el poder de decisión entre las compañías con mayores recursos económicos y capacidad computacional.

Aidan Gomez, director ejecutivo de Cohere, criticó la perspectiva de que las empresas más grandes establezcan las reglas juntas, argumentando que esto podría poner en desventaja a competidores más pequeños.

Qué sigue

Las conversaciones entre las tres empresas continúan sin el respaldo de la administración estadounidense. El informe señala que no existe consenso sobre las regulaciones de IA entre algunas compañías y que esfuerzos previos autouround un borrador de orden ejecutiva han permanecido estancados. Por ahora, lo concreto es que existe un grupo de trabajo explorando la posibilidad, sin decisiones tomadas sobre membresía, financiamiento ni autoridad técnica.

Con información de FindArticles.