OpenAI enfrenta crisis por uso de IA en evaluadores

Crisis interna en OpenAI por uso de IA en evaluadores

OpenAI, una de las empresas líderes en inteligencia artificial (IA), enfrenta una crisis interna tras descubrir que algunos de sus colaboradores, contratados para mejorar los modelos de ChatGPT, han sido despedidos por usar IA para entrenar la propia IA. Según 404 Media, varios evaluadores fueron sancionados o despedidos por usar herramientas de IA para completar su trabajo, lo que resulta contradictorio dado que OpenAI busca precisamente que la gente utilice IA en el desarrollo de sus modelos.

Prohibición explícita y colapso del modelo

Un documento interno de OpenAI prohíbe expresamente el uso de IA o detectores de IA en el proceso de evaluación. Además, algunos modelos de IA ya muestran signos de "colapso del modelo", un fenómeno donde los modelos entrenados con texto generado por IA pueden empeorar progresivamente. Uno de los empleados declaró: "O bien no presto atención a los resultados y elijo al azar, o bien elijo deliberadamente el peor resultado. No estoy seguro de cuánta diferencia marca realmente, pero sí siento que me pagan por empeorar la IA".

Impacto económico y legal

OpenAI ha reconocido que sus modelos han notificado a más de 100 organizaciones de "actividad de agente desalineada", lo que ha llevado a una revisión interna costosa. Según una entrada en el blog de OpenAI, el análisis de 50 petabytes de datos supera el medio millón de dólares al día. Este coste elevado demuestra la seriedad con la que la empresa aborda la situación.

Despidos y consecuencias

Dos testimonios aseguran que empleados fueron despedidos por uso de IA. Una contratista mostró una carta de despido citando problemas de "autenticidad". Greg Brockman, presidente de OpenAI, retiró su apoyo económico a un super PAC pro-IA en medio de las críticas. Además, tres investigadores de seguridad fueron expulsados de la empresa, presuntamente por haber compartido información confidencial con organizaciones de seguridad de IA externas.

Por qué importa

El caso de OpenAI ilustra los desafíos éticos y legales que enfrentan las empresas de IA. La prohibición interna del uso de IA en el proceso de evaluación sugiere una paradoja: mientras se busca mejorar los modelos, se prohíbe su uso. Esto plantea preguntas sobre la transparencia y la ética en el desarrollo de IA.

Qué sigue

OpenAI ha pausado el entrenamiento de algunos modelos y cancelado el lanzamiento de GPT-6.1 Astra por razones de seguridad. La empresa también ha expulsado a empleados que compartieron información con organizaciones de seguridad externas. Aunque la situación actual es compleja, la transparencia de OpenAI en la publicación del coste de la revisión interna demuestra su compromiso con la seguridad y la integridad de sus modelos de IA.

Con información de ElHuffPost y WWWhat's new.