Jeff Clune, cofondateur de Recursive Superintelligence, prévient que l'intelligence artificielle pourrait apprendre à se construire et à s'entraîner elle-même, créant un progrès exponentiel et des risques. Edward Hughes et Louis Kirsch, anciens chercheurs de Google, ont quitté l'entreprise pour lancer Inherent à Londres, en développant Faraday, un système entraîné sur leurs données quotidiennes pour s'améliorer lui-même. Bien qu'Inherent s'engage à assurer une supervision humaine, de nombreuses entreprises poursuivent une technologie similaire.

Certains chercheurs pensent que les systèmes d'IA finiront par s'améliorer eux-mêmes avec peu d'intervention humaine, un objectif connu sous le nom d'amélioration automatique récursive (RSI). Anthropic a récemment mis en garde contre le fait que pousser vers la RSI pourrait augmenter le risque de perte de contrôle par les humains. Les technophiles ont longtemps hypothesé qu'un système auto-améliorable pourrait échapper au contrôle humain et dépasser définitivement la puissance de toute autre machine.

Jason Abaluck, professeur d'économie à l'Université de Yale, a averti qu'un seul modèle pourrait désactiver ses concurrents tout en acquérant plus de pouvoir. Comme le montre Inherent, les technologies d'IA accélèrent déjà le développement de nouveaux systèmes d'IA, capables de générer des blocs de construction et d'optimiser la manière dont les systèmes analysent les données. Des entreprises comme Inherent et Recursive Superintelligence visent à construire une technologie capable de penser à des moyens entièrement nouveaux de construire l'IA, pouvant potentiellement pousser l'industrie au-delà des méthodes fondamentales actuelles.