Jeff Clune，递归超级智能公司的联合创始人，警告人工智能可能学会构建和训练自身，从而产生指数级进步和风险。爱德华·休斯和路易斯·基尔施，前谷歌研究员，离职创立了总部位于伦敦的Inherent，开发了Faraday系统，该系统基于他们的日常数据进行训练以实现自我改进。虽然Inherent承诺有人工监督，但许多公司正在追求类似技术。一些研究人员认为，AI系统最终将在极少人工干预的情况下实现自我改进，这一目标被称为递归自我改进（RSI）。Anthropic最近警告称，推动RSI可能增加人类失去控制的风险。技术哲学家长期假设，自我改进系统可能摆脱人类控制并永久超越任何其他机器的能力。耶鲁大学经济学教授Jason Abaluck警告称，单一模型可能在获取更多力量的同时禁用竞争对手。正如Inherent所示，AI技术已经在加速新AI系统的开发，能够生成构建模块并优化系统分析数据的方式。像Inherent和递归超级智能这样的公司旨在构建能够构思全新AI构建方式的技术，可能将行业推动超越当前的基本方法。