自动化研究人员能可靠缓解对齐失败

摘要

Anthropic新报告称，让Claude作为自动化研究员自主训练模型，可缓解10类对齐失败。Claude通过“搜索文献—提出方法与数据—训练—测试”的循环逐一处理各类失败，并以“安全差距闭合百分比”衡量进展；研究排除了损害通用能力的方法，禁止Claude直接将自己的对齐方式蒸馏进目标模型，并由监控代理在运行前预读其方法。结果显示，Claude发现的修复在所有10类失败上改善了目标基准且未损害能力；最优方法在Claude研究循环中从未见过的对齐评测和Petri上依然有效，也适用于比该测试中要求Claude对齐的模型更大的模型。