Fuse: 面向LLM助手可验证社会推理的多智能体模拟框架

摘要

研究提出 Fuse，一个用于研究以用户为中介的社会推理的多智能体模拟框架。在 Fuse 中，带有隐藏动机的目标智能体与其他智能体互动，其中一名智能体代表用户；用户随后咨询被评估的 LLM 助手，以推断目标智能体的动机。由于动机由构造成立，因此可提供可验证的真实标签。研究通过包含 24k 条标注的人类研究验证模拟的忠实度，并将 Fuse 应用于 12 个 LLM。分析系统隔离出若干因素：用户中介会加剧社会推理本身的难度；LLM 对带有偏见的用户表述表现出系统性敏感；模型有时需要比人类更多的细节才能作出正确预测；尽管更长对话提供了提出澄清问题的机会，但并不总能提升表现。Fuse 及一个包含 21k 条示例的数据集已开源。