EVOKE: 在固定状态下以目标多样性引出智能体的预训练世界知识

摘要

EVOKE 是一种后训练方法：在固定环境状态与交互历史下，用替代目标对同一批候选动作重新排序，迫使动作偏好随之改变，使依赖情境习惯或单一目标相关的策略无法给出正确排序，从而隐式引出预训练中已内化的世界知识。原文认为典型后训练缺乏这种引出压力，因为每个状态只用单一目标做监督，会让策略依赖表面的情境习惯。在三种 backbone 上跨多样任务的评估显示，EVOKE 改善了任务性能、对未见环境的泛化能力与数据效率，作者还做了受控分析以理解这些收益的来源。