Jeff Clune, pendiri bersama Recursive Superintelligence, memperingatkan bahwa kecerdasan buatan bisa belajar membangun dan melatih dirinya sendiri, yang dapat menghasilkan kemajuan eksponensial dan risiko. Edward Hughes dan Louis Kirsch, peneliti Google sebelumnya, meninggalkan perusahaan untuk meluncurkan Inherent di London, membangun Faraday, sebuah sistem yang dilatih dengan data harian mereka untuk meningkatkan dirinya sendiri. Meskipun Inherent berjanji akan memberikan pengawasan manusia, banyak perusahaan sedang mengejar teknologi yang sama.

Beberapa peneliti percaya bahwa sistem AI akhirnya akan mampu meningkatkan diri sendiri dengan sedikit campur tangan manusia, sebuah tujuan yang dikenal sebagai perbaikan diri rekursif (RSI). Anthropic baru-baru ini memperingatkan bahwa mendorong arah RSI bisa meningkatkan risiko kehilangan kontrol oleh manusia. Filsuf teknologi telah lama berhipotesis bahwa sistem yang mampu memperbaiki dirinya sendiri bisa melepaskan diri dari kontrol manusia dan secara permanente lebih kuat daripada mesin lain apa pun.

Jason Abaluck, profesor ekonomi di Universitas Yale, memperingatkan bahwa satu model saja bisa menonaktifa pesaing sambil mendapatkan lebih banyak kekuatan. Seperti yang ditunjukkan oleh Inherent, teknologi AI sudah mempercepat pengembangan sistem AI baru yang mampu menghasilkan blok konstruksi dan mengoptimasi cara sistem menganalisis data. Perusahaan seperti Inherent dan Recursive Superintelligence bertujuan membangun teknologi yang bisa berpikir tentang cara-cara baru sepenuhnya dalam membangun AI, yang potensial bisa mendorong industri melebihi metode dasar saat ini.