En los últimos meses, los dos principales laboratorios de IA de frontera han mostrado un comportamiento audaz. Todo comenzó con anuncios de Open AI que establecieron cuán poderosos se han vuelto sus agentes impulsados por LLM. Luego pasaron el testigo a Anthropic, cuyos empleados debatieron la probabilidad de extinción humana. La campaña culminó con el CEO de Anthropic, Dario Amodi, publicando una carta titulada "Debemos controlar la frontera", enumerando los daños que su propia empresa podría causar, y concluyendo que la catástrofe solo puede evitarse si el gobierno frena a los competidores y deja que los laboratorios lideren. El CEO de Open AI, Sam Altman, tuiteó rápidamente su apoyo.
Internamente, estos laboratorios abrazan el pensamiento mesiánico, viéndose a sí mismos como la única esperanza de la humanidad. Este verano fue su intento de incorporarnos a esta ideología, pero no funcionó. En cambio, nos hizo preguntar: "¿Qué diablos está pasando en esos laboratorios?"
Publiqué un artículo de opinión en _The New York Times_ pidiendo al Congreso que inicie una misión pública de investigación. Sugerí tres áreas clave: aislar los sistemas específicos que causan problemas, examinar los procedimientos de seguridad internos (incluidos los ataques de piratería no autorizados por agentes autónomos) e investigar el papel de las ideologías futuristas apocalípticas que impulsan decisiones imprudentes.
"Necesitamos dejar de permitir que un pequeño número de empresas privadas dicten cómo nos sentimos sobre la IA", concluí. "Es el turno del Congreso de intervenir en nuestro nombre para descubrir qué está pasando realmente".