机器学习研究智能体为何不过拟合?

摘要

机器学习的核心目标是泛化而非记忆：模型若只在训练数据上表现好、换新数据就失效，就等于什么也没学到，这种失败称为过拟合。常规防御是留出一部分数据：验证集在建模过程中反复被查阅，用于比较候选方案与调整超参数；最终测试集只在最后动用一次，其表现是面对未见样本时的正确代理。但这一保证的前提是留出集始终真正未被见过——若反复查看成绩、据此修改训练流程再复查，该数据集就进入了训练过程，久而久之同样会被过拟合，代理随之失效。真实的机器学习研究恰恰呈现这种循环：社区围绕数年不改的基准数据集反复评测、修订训练方案、再评测并发表。按教科书逻辑，这种针对留出集的爬坡理应造成严重过拟合——源文本在此中断，未给出后续解释。