预训练是否足够‘苦涩’: 任务构建作为持续预训练的控制面

摘要

本文探讨了持续预训练中任务构建的控制作用。通常的预训练在训练前就固定了自监督任务规则，而下游反馈仅在完整训练后获得，控制回路粗放。作者提出基于价值的预训练（V-pretraining），将学习器与任务设计者分离：学习器仅用未标注数据的自监督损失更新，轻量级任务设计者则利用少量可验证的下游示例学习如何构造自监督任务（如语言建模中的目标分布或视觉中的视图选择），以更直接、更紧密地利用下游反馈。