HarmProfile: 刻画前沿大语言模型的有害分布

摘要

HarmProfile是一个以内容为中心的基准数据集，收集23个前沿大语言模型（涵盖13个模型家族）在15个危害类别和57个子类别中的超过80,000个已验证的不当行为样本，并将有害输出分布定义为模型级风险画像。研究发现，前沿LLM能大规模产生有害内容，且风险画像各异；危害性和多样性随模型能力增强而增长，表明这些模型可能看似安全，却在对齐表面之下隐藏着日益危险的知识。