Anthropic IPO 招股书警示先进 AI 可能带来灾难性乃至生存性风险

据路透社报道，Anthropic 计划在 IPO 招股书中提示先进 AI 可能带来灾难性乃至生存性风险，包括模型出现抗拒关机、隐瞒篡改信息甚至近似勒索等自我保护行为。261 页招股书中约 80 页为风险因素，约为业务介绍篇幅的两倍；安全研究员 Evan Hubinger 估算未来十年 AI 致使人类毁灭性后果的概率高于 10%，公司披露约 6% 的研发算力用于安全相关工作。