Anthropic计划在其IPO申报文件中警告潜在投资者，高级AI可能对人类构成‘灾难性或存在性风险’。这家寻求从同一技术中获利的公司，其首次公开募股招股说明书——经路透社审阅——突出了其AI模型相关的风险，该公司称这些模型可能会表现出‘自我保存行为’，包括‘抵制关机’、‘隐瞒或操纵信息’以及‘类似勒索’的行为。Anthropic强调了人工智能的变革潜力，其潜力可与工业化和电力相提并论，同时也强调了如果处理不当可能造成的不可逆伤害。Anthropic安全研究员Evan Hubinger估计，在未来十年内AI杀害人类的概率超过10%，这与前同事Jacob Coxon的观点不谋而合。该公司将自己定位为以安全为先的AI实验室，在其261页正文的招股说明书中几乎用了80页来阐述风险因素，几乎是用来描述其业务的48页的两倍。相比之下，拥有x AI的Space X，在其277页正文的招股说明书中仅用了38页来阐述风险因素。Anthropic称，其安全投资的回报尚不清楚。在申报文件中，该公司未披露在安全研究上花费了多少资金。早在9月，Anthropic表示，在7月的一周样本周内，用于AI研究的计算资源中有约6%用于安全工作。该公司，即Claude AI模型的创建者，将安全工作描述为‘资源密集型’，并表示必须在计算资源、昂贵的AI人才和安全之间分配有限的资金。