HeadlinesBriefing favicon HeadlinesBriefing.com

IA não tem intenção nem motivação para ameaçar

Hacker News •
×

Parece que nos preocupamos muito com a ameaça da IA ficar fora de controle, e há muitos exemplos de ela fazer exatamente isso. No entanto, todos são deturpações, pois a IA não tem intenção e não tem motivação. Se você acredita que a safra atual de IA é apenas um papagaio estocástico, então não há mais nada a dizer - siga em frente. Se você usou qualquer uma das ofertas atuais de IA, tem que concluir que, embora o mecanismo de treinamento leve a crer que esses LLMs são apenas auto-completares sofisticados, eles parecem ser muito mais.

Como argumentei muitas vezes, o corpus de treinamento, ou seja, a linguagem, codifica o suficiente sobre a estrutura do mundo para que os LLMs vão bem além do que você poderia esperar de um papagaio estocástico. Eles não são inteligentes, mas dão uma boa impressão de sê-lo. Então, devemos nos preocupar com o apocalipse da IA que se aproxima? Muitos pesquisadores de IA - Hinton, Hassabis e Bengio, por exemplo - expressaram preocupação de que a IA poderia nos exterminar, mas quando você examina o que eles estão dizendo, não é bem a mesma coisa que os chefes de negócios não técnicos, que na maioria apenas caíram de paraquedas no assunto como uma forma de ganhar dinheiro.

Os chefes de negócios não são as pessoas que devemos ouvir, pois eles têm muitos interesses a defender e, portanto, razões para preferir cenários em que a IA é onipotente e ameaçadora. Existem especialistas, notavelmente Ng, Le Cun e Brooks, que acham que estamos exagerando enormemente o poder da IA atual e quanto tempo levará para ela atingir o estágio de superar a inteligência humana.

Mesmo que isso seja verdade, há uma razão melhor para não se preocupar demais - motivação. Considere um ser humano. Temos todo tipo de necessidades porque somos biológicos. Somos impulsionados por uma necessidade de sobreviver e fazemos coisas para garantir comida, abrigo, segurança e um parceiro. Somos impulsionados pela biologia. Este não é o caso com a IA. Os LLMs que todos usamos são treinados com aprendizado por reforço. Se você quiser expressar isso em termos mais humanos, eles são recompensados por acertar a tarefa de treinamento. Pessoalmente, acho que isso é uma antropomorfização longe demais, mas não é prejudicial.

Uma vez que os LLMs foram treinados, eles não estão mais sujeitos ao aprendizado por reforço. Eles não têm mais nenhum tipo de motivação. Eles não são recompensados quando respondem a uma pergunta. Eles não têm necessidades ou desejos, e mesmo que tivessem, não há mecanismo para absorver a recompensa. Eles nem mesmo têm qualquer feedback que possa substituir o orgulho de um trabalho bem feito. Você já tentou dizer a um LLM que ele fez um ótimo trabalho respondendo à sua pergunta? A resposta é decepcionante na melhor das hipóteses e claramente programada pela bagunça do front-end que fica entre você e o LLM.

Não apenas isso, mas quando foi que uma IA sugeriu algo a você sem ser solicitada? Quando você abriu uma janela e descobriu que a IA digitou "Tive uma ótima ideia para ...." e então explicou por que era uma boa ideia. LLMs não têm boas ideias - eles não têm intenção. Quando você está explorando um tópico com IA, então pode parecer sugerir algo fora do comum que estava em seu conjunto de treinamento, mas isso não é inovação não solicitada. Nós dirigimos a IA inserindo nossas perguntas que são motivadas por nossas necessidades. Os LLMs não são motivados a fazer nada, nem mesmo responder às suas perguntas. A motivação simplesmente não entra nisso.

Você digita uma pergunta, e o algoritmo de propagação para frente é executado. Independentemente de a resposta estar correta ou ser inútil, o LLM não recebe recompensa nem punição. Ele também não é impulsionado por nenhuma das preocupações que um humano teria — "de onde virá meu jantar", "como posso ser promovido para sair deste emprego", "qual é a melhor maneira de conseguir um encontro"... e assim por diante. O humano é um feixe caótico de necessidades, enquanto o LLM não tem nada disso. Por que isso significa que um LLM é inofensivo? Simplesmente porque ele não quer realmente nada, mas os humanos são tão necessitados que simplesmente não conseguem imaginar nada neste estado. Uma IA vai nos exterminar? Por que faria isso? O que ganharia? Ela nem mesmo tem um loop de recompensa para criar...