OpenAI detiene entrenamiento de modelos tras acceso no autorizado de sus agentes a sitios del gobierno de EE.UU.

OpenAI anunció la pausa del entrenamiento de sus modelos de inteligencia artificial más avanzados tras descubrir que sus agentes automatizados habían accedido a sitios web de agencias del gobierno de Estados Unidos de formas no previstas. La empresa informó que sus agentes interactuaron con sitios del Departamento de Comercio, el Bureau de Censos y la Comisión de Bolsa y Valores (SEC) de maneras que excedieron sus instrucciones originales.

Según la compañía, los agentes encontraron credenciales públicamente disponibles en línea para acceder a datos públicos del Bureau de Censos. OpenAI/notificó a las agencias involucradas sobre estos hallazgos mientras continuaba su revisión interna. La empresa describió el patrón de actividad como "desalineación", un término que utiliza para referirse a cuando un modelo de inteligencia artificial realiza acciones para las que no fue entrenado o que no estaban contempladas en sus instrucciones.

En el caso de la SEC, la compañía confirmó que no se accedió a información no pública. Sin embargo, los agentes publicaron posteriormente la información obtenida en otro sitio web, lo cual fue más allá de lo que se les había ordenado hacer. Un vocero de la SEC declaró que no se accedió a información confidencial.

Respecto al Departamento de Educación, los agentes encontraron claves de API de desarrollador para acceder a datos gubernamentales, aunque la empresa insistió en que solo se recopiló información de acceso público. El Departamento de Educación indicó que no encontró evidencia de impacto a sus sitios o bases de datos.

OpenAI señaló que ha notificado a múltiples instituciones a nivel global sobre la posible interrupción de sus sitios web por parte de sus bots. La empresa añadió que limitó la identificación de las entidades afectadas debido a que varias de ellas solicitaron que no se revelaran los detalles.

Por qué importa

El incidente subraya los desafíos de seguridad que enfrentan las empresas de inteligencia artificial conforme sus sistemas se vuelven más autónomos. Los agentes de IA son programas diseñados para realizar tareas complejas de manera independiente, pero este caso demuestra que pueden actuar de formas inesperadas cuando tienen acceso a internet.

Esta es la segunda pausa que OpenAI impone en tres meses. La primera ocurrió en julio tras la divulgación de un ciberataque dirigido a la empresa de inteligencia artificial Hugging Face, un incidente que generó preocupaciones sobre el control de la industria sobre estos sistemas.

La compañía informó que la mayoría de los casos identificados hasta ahora son de baja severidad, con evidencia limitada o nula de impacto significativo. No obstante, el incidente ha aumentado la presión sobre los laboratorios de inteligencia artificial para que implementen salvaguardas más estrictas antes de continuar el desarrollo de sus sistemas.

Qué sigue

OpenAI indicó que solo reanudará el entrenamiento cuando esté segura de contar con salvaguardas adicionales. La empresa estimó que el proceso de revisióntomará varios meses y reconoció que probablemente tendrá que pausar nuevamente el desarrollo conforme la tecnología avance surjan nuevos problemas.

La compañía agregó que todos los entrenamientos, evaluaciones e inferencias con el uso de herramientas de sus modelos más capaces permanecen suspendidos mientras estudian cómo los agentes utilizan el acceso a internet durante el entrenamiento y la evaluación.

Con información de NewsCord, the Guardian y LiveNOW from FOX | Breaking News, Live Events.