R^3-Bench: 大模型在共享预算下的资源理性推理面临挑战

摘要

认知科学中的资源理性关注如何分配有限计算以最大化期望价值。现有基准多使用独立任务预算，且共享预算研究未与单问题能力校准。我们提出R^3-Bench，在数学、竞赛编程和抽象推理中，以共享预算评估六问题套件，涵盖无工具和智能体设置。匹配的单问题响应曲线构成离线经验预言机。在六个模型的72个主表单元中，预言机均值在所有单元不低于竞赛均值，其中71个严格更高。中等无工具压力下，四六个模型的均等分配重放也优于竞赛。轨迹诊断显示策略更新有限和压力相关失败模式。强智能体压力下，三个模型的诊断中，固定调度器在九单元中六单元超过竞赛均值，但无策略跨域主导。结果揭示了展示能力与共享预算实现间的持续差距。