研究想法规范中的实现级缺口: IdeaAMBIG 基准

摘要

研究想法即便新颖合理，其方法规范也可能不足以支撑忠实实现。作者提出“可编码就绪度”，即规范是否提供足够方法信息，使合格实现者或编码智能体无需额外假设即可构建预期方法。他们依据论文、代码库、issue 讨论与复现材料构建有证据支撑的规范及其解析，推出 IdeaAMBIG 基准，共 660 个实例：163 个来自复现报告和 GitHub issue 的真实缺口，以及注入就绪参考的 497 个受控合成缺口。基准评测三项能力：就绪度评估、缺陷定位与澄清行动生成。在 13 个 LLM 中，最佳模型在真实实例上的 Macro Defect Recovery Rate 为 9.6%，而在给出缺陷后 Macro Clarification Action Success Rate 达 80.6%。oracle 研究显示，提供标准解析使下游就绪率从 14% 升至 98%；缺陷定位是主要瓶颈。