不要声称面向基准的优化能提升通用编程能力——需要多样化评估

摘要

论文、模型卡和博客文章常以少量编码基准（如SWE-bench和LiveCodeBench）的分数作为广泛编程能力的证据。作者认为，针对这些基准的优化只衡量任务特定表现，使分数与通用编程能力主张之间出现语义落差。他们用自建的Django案例基准套件检验这一差距，发现基于SWE-bench轨迹后训练的模型排名经常无法泛化：跨任务迁移很少，SWE-bench优化在作者任务和LiveCodeBench上增益有限或没有；针对单个Django模态的微调同样无法迁移。因此，少量基准不足以评估受基准优化压力影响的多样模型。作者建议采用分层评估：前沿模型做整体评估，研究用多任务套件，窄任务应用用人在回路研究，并呼吁建立能力分类学并持续维护基准。