UniSkill: 为演化中的策略学习与执行者对齐的技能提议

摘要

大型语言模型智能体可从先前交互中提炼可复用技能以提升跨任务表现。近期工作联合优化任务执行与技能提取，使策略和技能库共同演化，但以技能在下游训练中的复用来奖励提议，可能把技能收益与执行者改进混同；直接测试每个提议又需昂贵 rollout。UniSkill 用共享策略与环境交互，从轨迹提出技能库编辑（Add、Update、No Edit）。执行者从环境奖励学习，对比式动作反馈引导技能提议学习：通过衡量替换检索技能后，当前执行者在同一任务先前成功与失败轨迹间的动作对数似然差变化，提供执行者对齐信号，从而免去为每个提议新增 rollout；技能编辑支持正则化则用于避免提议层面反馈在内容得分差时抑制合适编辑、保持探索。在 ALFWorld 和 WebShop 上成功率分别为 98.4% 与 84.7%，联合训练稳定；ALFWorld 进一步实验显示，共享策略采用较小骨干时仍有效。