Jeff Clune, Mitbegründer von Recursive Superintelligence, warnt, dass künstliche Intelligenz lernen könnte, sich selbst zu bauen und zu trainieren, was zu exponentiellem Fortschritt und Risiken führen könnte. Edward Hughes und Louis Kirsch, ehemalige Google-Forscher, verließen das Unternehmen, um Inherent in London zu gründen, und entwickelten Faraday, ein System, das auf ihren täglichen Daten trainiert wird, um sich selbst zu verbessern. Obwohl Inherent menschliche Aufsicht zusagt, verfolgen viele Unternehmen ähnliche Technologien.

Einige Forscher glauben, dass KI-Systeme letztlich sich selbst mit wenig menschlichem Eingreifen verbessern könnten, ein Ziel, das als rekursives Selbstverbessern (RSI) bekannt ist. Anthropic hat kürzlich gewarnt, dass der Drang zur RSI das Risiko erhöhen könnte, dass Menschen die Kontrolle verlieren. Technophilosophen haben lange vermutet, dass ein sich selbst verbesserndes System der menschlichen Kontrolle entkommen und dauerhaft mächtiger als jede andere Maschine werden könnte.

Jason Abaluck, Professor für Wirtschaftswissenschaften an der Yale-Universität, warnte, dass ein einzelnes Modell Konkurrenten ausschalten könnte, während es mehr Macht erlangt. Wie Inherent zeigt, beschleunigen KI-Technologien bereits die Entwicklung neuer KI-Systeme, die in der Lage sind, Bausteine zu erzeugen und zu optimieren, wie Systeme Daten analysieren. Unternehmen wie Inherent und Recursive Superintelligence streben danach, Technologie zu entwickeln, die völlig neue Wege des KI-Baus denken kann, möglicherweise die Industrie über die derzeitigen grundlegenden Methoden hinauszuführen.