ASCENT: 以已验证经验的自我蒸馏实现长程智能体的在线测试时训练

摘要

ASCENT（Agentic Self-distillation for Cross-task EvolutioN at Test-time）研究在线智能体测试时训练（OaTTT）：智能体在部署中对任务流各执行一次，仅以执行轨迹及其验证结果更新跨任务持续的权重。直接模仿或强化单次尝试生成的token会使策略不稳定，因此改为对已验证经验自我蒸馏——冻结的初始副本把已验证轨迹当作特权信息，以事后视角预测逐token分布，再蒸馏为持久的LoRA快速权重，无需外部参考解或更强教师；剔除无效动作轮次可获得更强的特权经验。在ALFWorld、WebShop、AppWorld及多种模型规模上，任务成功率与交互效率随经验累积提高，优于在线适应方法，并迁移到留出场景。