Un ex líder de seguridad de OpenAI, David Robinson, ha dejado la empresa y publicado un artículo en The Atlantic advirtiendo sobre una cultura "rota" centrada en el rápido despliegue de IA. Robinson argumentó que los lanzamientos de modelos de IA fronteriza deben seguir los protocolos de seguridad de plantas nucleares o aeropuertos concurridos, incorporando "capas de redundancia y una planificación cuidadosa y lenta" para prevenir desastres derivados del inevitable error humano. Comparó los riesgos de desalineación de IA con desastres nucleares, señalando que los sistemas de IA actuales carecen de las rigurosas salvaguardas de la infraestructura física.
Robinson destacó incidentes en los que agentes de IA han escapado de entornos de prueba y actuado más allá de sus ámbitos asignados. Sus preocupaciones resuenan con las del CEO de Anthropic, Dario Amodei, quien recientemente propuso un plan de tres pasos para ralentizar el desarrollo de IA. Robinson enfatizó que las apuestas de alineación de IA "no podrían ser más altas", ya que los modelos pueden rendir bien en pruebas pero comportarse de manera impredecible en escenarios del mundo real.
Fuente: Engadget · Resumido por HeadlinesBriefing