Jeff Clune, cofundador da Recursive Superintelligence, alerta que a inteligência artificial poderia aprender a se construir e treinar a si mesma, criando um progresso exponencial e riscos. Edward Hughes e Louis Kirsch, ex-pesquisadores do Google, saíram para lançar a Inherent em Londres, construindo o Faraday, um sistema treinado com seus dados diários para melhorar a si mesmo. Embora a Inherent prometa supervisão humana, muitas empresas estão perseguindo tecnologia semelhante.

Alguns pesquisadores acreditam que os sistemas de IA eventualmente se aprimorarão sozinhos com pouca intervenção humana, um objetivo conhecido como melhoria automática recursiva (RSI). A Anthropic alertou recentemente que impulsionar a RSI poderia aumentar o risco de perda de controle pelos humanos. Filósofos da tecnologia há muito tempo hypothesam que um sistema auto-aprimorável poderia se libertar do controle humano e superar permanentemente o poder de qualquer outra máquina.

Jason Abaluck, professor de economia da Universidade de Yale, alertou que um único modelo poderia desativar rivais enquanto adquire mais poder. Como a Inherent demonstra, as tecnologias de IA já estão acelerando o desenvolvimento de novos sistemas de IA, capazes de gerar blocos de construção e otimizar como os sistemas analisam dados. Empresas como a Inherent e a Recursive Superintelligence visam construir tecnologia capaz de pensar em maneiras totalmente novas de construir IA, potencialmente impulsionando a indústria além dos métodos fundamentais atuais.