HeadlinesBriefing favicon HeadlinesBriefing.com

La IA carece de intención y motivación para amenazar

Hacker News •
×

Parece que nos preocupa mucho la amenaza de que la IA se vuelva rebelde, y hay muchos ejemplos de que hace precisamente eso. Sin embargo, todos son tergiversaciones, ya que la IA no tiene intención ni motivación. Si crees que la cosecha actual de IA es solo un loro estocástico, entonces no hay nada más que decir: sigue adelante. Si has usado alguna de las ofertas actuales de IA, tienes que concluir que, aunque el mecanismo de entrenamiento lleva a creer que estos LLM son solo autocompletados sofisticados, parecen ser mucho más.

Como he argumentado muchas veces, el corpus de entrenamiento, es decir, el lenguaje, codifica lo suficiente sobre la estructura del mundo para que los LLM vayan mucho más allá de lo que podrías esperar de un loro estocástico. No son inteligentes, pero dan una buena impresión de serlo. Así que, ¿deberíamos preocuparnos por el próximo apocalipsis de la IA? Muchos investigadores de IA — Hinton, Hassabis y Bengio, por ejemplo — han expresado su preocupación de que la IA podría acabar con nosotros, pero cuando examinas lo que dicen, no es exactamente lo mismo que los jefes empresariales no técnicos, que en su mayoría solo se han subido al tema como una forma de ganar dinero.

Los jefes empresariales no son a quienes deberíamos escuchar, ya que tienen demasiados intereses que defender y, por tanto, razones para preferir escenarios en los que la IA es todopoderosa y amenazante. Hay expertos, notablemente Ng, Le Cun y Brooks, que piensan que estamos exagerando enormemente el poder de la IA actual y cuánto tiempo tardará en alcanzar la etapa de superar la inteligencia humana.

Incluso si esto es cierto, hay una razón mejor para no preocuparse demasiado: la motivación. Considera a un humano. Tenemos todo tipo de necesidades porque somos biológicos. Estamos impulsados por una necesidad de sobrevivir y hacemos cosas para asegurar comida, refugio, seguridad y una pareja. Estamos impulsados por la biología. Este no es el caso con la IA. Los LLM que todos usamos se entrenan con aprendizaje por refuerzo. Si quieres expresar esto en términos más humanos, son recompensados por hacer bien la tarea de entrenamiento. Personalmente, creo que esto es una antropomorfización excesiva, pero no es dañina.

Una vez que los LLM han sido entrenados, ya no están sujetos al aprendizaje por refuerzo. Ya no tienen ningún tipo de motivación. No son recompensados cuando responden una pregunta. No tienen necesidades ni deseos, e incluso si los tuvieran, no hay mecanismo para absorber la recompensa. Ni siquiera tienen retroalimentación que pueda sustituir al orgullo por un trabajo bien hecho. ¿Has intentado decirle a un LLM que lo hizo genial respondiendo tu pregunta? La respuesta es decepcionante en el mejor de los casos y claramente programada por el desorden del front-end que se interpone entre tú y el LLM.

No solo esto, sino ¿cuándo fue que una IA te sugirió algo sin que se lo pidieras? ¿Cuándo abriste una ventana y encontraste que la IA escribió "He tenido una gran idea para...." y luego explicó por qué era buena? Los LLM no tienen buenas ideas — no tienen intención. Cuando estás explorando un tema con la IA, entonces podría parecer que sugiere algo fuera de lo común que estaba en su conjunto de entrenamiento, pero esto no es innovación no solicitada. Nosotros impulsamos a la IA introduciendo nuestras preguntas que están motivadas por nuestras necesidades. Los LLM no están motivados para hacer nada, ni siquiera para responder tus preguntas. La motivación simplemente no entra en juego.

Escribes una pregunta y se ejecuta el algoritmo de propagación hacia adelante. Independientemente de si la respuesta es correcta o inútil, el LLM no recibe una recompensa ni un castigo. Tampoco está impulsado por ninguna de las preocupaciones que tendría un humano — "de dónde vendrá mi cena", "cómo puedo ascender para salir de este trabajo", "cuál es la mejor forma de conseguir una cita"... y así sucesivamente. El humano es un caótico haz de necesidades, mientras que el LLM no tiene nada de esto. ¿Por qué significa esto que un LLM es inofensivo? Simplemente porque no quiere realmente nada, pero los humanos son tan necesitados que simplemente no pueden imaginar nada en este estado. ¿Va a acabar una IA con nosotros? ¿Por qué lo haría? ¿Qué ganaría? Ni siquiera tiene un bucle de recompensa para crear...