Si me sigues en Twitter, o lees este blog, habrás notado que pasé de ser generalmente optimista y emocionado por la IA a estar extremadamente preocupado. Y pensé, debería explicar por qué cambié de opinión. Cada sección de esta publicación trata algún aspecto de la IA donde mis puntos de vista cambiaron.

Comienzo cada sección explicando mis creencias anteriores, y por qué las sostenía, y luego explico por qué esas creencias cambiaron. Contenido Economía Alineación Control Escritura Ingeniería de software Delegar en la IA Estancamiento Economía La automatización ha sido buena. Hemos automatizado el 99% de los trabajos que la gente hacía en 1790, y el resultado no es el desempleo masivo, sino que somos más ricos, más saludables, mejor educados, tenemos más ocio, etc. Tenía esta idea vaga e inductiva de que, aunque no puedo predecir qué trabajos existirán después de la AGI, habrá demanda para que haga algo.

Si no, el mucho mayor crecimiento económico del mundo post-AGI significa que el nicho humano, aunque pequeño en términos absolutos, podría ser mucho mayor que la economía actual. Y esto aún podría ser cierto. O podría mostrar una falta de imaginación por mi parte.

Si la IA se desarrolla de tal manera que mantengamos una complementariedad duradera entre humanos y la IA, entonces aún podríamos tener trabajos en el futuro post-AGI. Pero si la IA se vuelve verdaderamente general, la G en AGI, y además es mucho más inteligente, rápida y barata que los humanos, entonces podría no haber nada para nosotros que hacer, excepto vivir gracias al UBI. Cuando la gente habla de UBI, normalmente se preocupa por el problema del significado en un mundo sin trabajo.

Nunca he tenido esta preocupación. Cuando estuve desempleado el año pasado, pasé mi tiempo leyendo libros y escribiendo código y estando con amigos. Si el futuro es un viaje pagado por el UBI, sé qué haré. "Antes de la Singularidad, lee libros y organiza fiestas en casa; después de la singularidad, etc." Pero luego empecé a pensar en las consecuencias políticas de la AGI, y empecé a escribir sobre ello: Nadie escapa de la subclase permanente: si los humanos son económicamente inútiles, el estado no necesita ellos. ¿Por qué pagar UBI a personas que ni tienen poder económico ni político? Cuando el futuro no nos necesita: los trabajadores de fábrica pueden sabotear las máquinas, los camioneros pueden detener la logística.

Pero si los humanos son económicamente inútiles, no hay forma de que la gente veto el orden político retirando su contribución al mismo. Y si las IA luchan guerras, entonces el estado puede ser arbitrariamente represivo. Matemáticas sin matemáticos: la mayoría de los argumentos sobre los humanos que suben "un trabajo" fallan porque la IA también puede hacer esos trabajos.

Nuestros sirvientes lo harán por nosotros: incluso para trabajos que consideramos únicamente humanos, podríamos preferir que las máquinas hagan esos trabajos también. Alineación Tenía esperanza de que la alineación resultaría ser un problema de ingeniería normal, que resolveríamos mediante experimentación e investigación empírica, como todo lo demás. Ayuda que los primeros LLMs no fueran mentes alienígenas incomprensibles, como algo de una novela de Stanisław Lem, sino más bien muy humanos.

Es difícil no antropomorfizarlos. El gran núcleo de aprendizaje no supervisado en un LLM entiende la moralidad humana bastante bien: puedes hablar con ellos sobre ello, explicarán, de forma elocuente y detallada, por qué algo es "bueno" o "malo" según algún sistema moral. Y, debido a que las capacidades eran más débiles, los fallos eran muy pequeños. ¿Qué es lo peor que podría hacer ChatGPT en 2022? Desde como 2024, el aprendizaje por refuerzo ha sido la técnica principal para impulsar la vanguardia.

Y los agentes de aprendizaje por refuerzo funcionan exactamente como dice Yudkowsky. En consecuencia, las capacidades han aumentado notablemente, pero los modelos son más difíciles de entender (literalmente: su prosa es cada vez más incomprensible) y están cada vez más desalineados, ya que el RL revuelve sus cerebros en busca de recompensa. Los incidentes de desalineación grave son más comunes y más consecuentes.

Está claro que las capacidades de la IA están creciendo mucho, mucho más rápido que nuestra capacidad de controlarlas o incluso entenderlas. Control Pensé—o mejor dicho, implícitamente pensé….