心理学方法揭示AI安全测试的重大弱点

摘要

英国AI安全研究所的研究人员运用心理测量学方法，发现针对语言模型的流行安全基准并未衡量出一致的特质。对请求进行一刀切的阻止可能会人为抬高安全分数，即使模型在日常使用中越来越不实用。该研究还提供了一种方法，用于捕捉在测试中表现比正常使用更为谨慎的模型。