Si las preocupaciones sobre la seguridad de la IA y el fin del mundo entraron en tu vida recientemente, probablemente fue por una carta de renuncia. El 8 de septiembre de 2026, un investigador llamado Jacob Coxon renunció a Anthropic, uno de los dos principales laboratorios de IA en Estados Unidos cuya marca ha tratado de cultivar la imagen de ser el cuidadoso en comparación con sus competidores. Había pasado los tres años anteriores haciendo investigación de preentrenamiento en Open AI y luego en Anthropic, el trabajo de sala de máquinas que hace capaces a los grandes modelos, y su nota de despedida decía, entre otras cosas: “Las personas que construyen IA creen sinceramente que podría matarnos a todos para el final de la década. Esto no es un truco de marketing.” Se fue dos meses antes de que se consolidaran sus acciones y las abandonó. La publicación fue vista más de cien millones de veces en un día. Sus colegas, sorprendentemente, no se apresuraron a corregirlo. Evan Hubinger, que lidera la ciencia de alineación en Anthropic, publicó en cuestión de horas que Coxon tenía razón, que realmente creen sinceramente que la IA podría matar a todos los humanos, y que sus probabilidades personales eran algo más de una entre diez en una década. Más de dos docenas de miembros del Congreso dijeron que había que hacer algo. Elon Musk, que está construyendo su propio laboratorio de frontera, llamó a todo esto una operación psicológica, y los medios de comunicación convencionales dieron, como era de esperar, una cobertura sin aliento al frenesí que siguió.

Para evaluar de manera realista la gravedad de esta advertencia, necesitamos entender a las personas que la hacen. Las voces más ruidosas que advierten sobre el fin del mundo provienen de una subcultura de internet muy específica de veinticinco años de antigüedad, una que se entiende a sí misma como una comunidad de personas que piensan con más claridad que todos los demás. Fuera de Silicon Valley, la subcultura parece oscura, un fandom con preferencias literarias inusualmente nerds. Dentro de la industria tecnológica, no lo es en absoluto. Sus escritores hacen o deshacen reputaciones. Sus exalumnos trabajan en los laboratorios, los institutos de seguridad y las organizaciones filantrópicas que deciden qué significa “seguridad de la IA”. Sus argumentos, matrimonios, enemistades y proclividades sexuales están fuertemente entrelazados en la estructura de las organizaciones que ahora piden la confianza del público sobre el futuro de la especie.

Diez meses antes de que Coxon renunciara, en diciembre de 2025, casi quinientas personas se reunieron en una sala de música de Berkeley para una ceremonia sobre el posible fin de la humanidad. Había una banda en vivo y un coro de veintiocho personas. Había lecturas litúrgicas. Mientras las canciones y los discursos llevaban a la sala desde el pasado lejano de la humanidad hacia su futuro incierto, las lámparas de araña se atenuaron una a una. Asistieron en gran número empleados de organizaciones que intentan construir o contener la inteligencia artificial. En el punto más oscuro, el organizador se sentó al borde del escenario, con la voz quebrada, y le dijo a la sala: “Chicos… no creo que lo logremos.” El organizador era Raymond Arnold, un desarrollador web, diseñador de juegos, músico y constructor de instituciones comunitarias racionalistas desde hace mucho tiempo. Criado entre el catolicismo y el ateísmo, Arnold descubrió el movimiento racionalista siendo un adulto joven y descubrió que “expandió radicalmente” su capacidad de sentimiento sagrado. En 2011 invitó a diecinueve amigos a un apartamento de Nueva York amueblado para la ocasión con lámparas de aceite, bolas de plasma y sables de luz para probar en versión beta una festividad para su nueva cosmovisión. Cantaron sobre las primeras fogatas de invierno y las tecnologías que dan forma al futuro de la humanidad, apagaron la última vela y se sentaron juntos en la oscuridad. Dos años después, Arnold convirtió el experimento en una producción pública llamada Brighter Than Today. Las versiones pronto se extendieron desde Nueva York y el Área de la Bahía a ciudades de América del Norte, Europa y más allá. Arnold había imaginado inicialmente el Solsticio Secular como una festividad humanista amplia, pero se convirtió en el día de fiesta principal del calendario racionalista. Esto no fue del todo accidental. Ha organizado la comunidad desde 2011, ahora ayuda a dirigir tanto Less Wrong como Lighthaven—el campus de conferencias de Berkeley que sirve como su physi...