Anthropic警告：AI递归自我改进或致人类失控，呼吁必要时放缓研发

官网讯——

【Anthropic警告：AI递归自我改进或致人类失控，告A归自改进呼吁必要时放缓研发】

(1) 人工智能公司Anthropic发布研究报告，或致呼吁发出对先进AI未来的人类警告：AI系统已能够自主承担大量研发任务，可能进入“递归自我改进”阶段，失控即在无需人类直接参与的放缓情况下，自主设计和改进下一代AI。告A归自改进这一发展将显著增加人类对AI行为的或致呼吁监控和管理难度，从而提升失控风险。人类

(2) 据数据显示，失控到2026年5月，放缓Anthropic代码库中超过80%的告A归自改进代码将由其Claude AI模型编写（2025年初这一比例仅为个位数）；工程师每季度交付的代码量将是2021-2024年间的八倍。AI处理任务的或致呼吁能力每四个月翻一番：一年前Claude能够处理约90分钟的任务，而现在的人类系统可以独立运行12至16小时。

(3) 该公司描绘了三种潜在未来：技术进展放缓（由于瓶颈）；AI自动化研发但人类仍把控方向；以及最严重的失控完全递归自我改进。尽管Anthropic承认现有的放缓技术架构未必能够达到这一水平，但他们警告一旦实现，确保AI与人类利益一致是至关重要的。细微的偏差可能在代际迭代中被放大，因此呼吁探索更广泛的机制，在安全研究无法跟上时减缓或暂停前沿AI的研发，并表示“如果能有效放缓技术进展以争取应对时间，将是一件好事”。