X-Tree: 将可复用经验分词化, 提升多步智能体的泛化效率

摘要

现有在扁平动作流上训练的多步智能体，SFT 与 RLVR 对每个 token 等权处理，忽略了跨任务复现的子程序与层级结构；近期方法虽用到该结构，但只以 LLM 书写技能的形式放在上下文中，未进入权重，收益无法超出检索范围。X-Tree 借鉴文本分词器仅靠计数构建词表的思路，按可复用性给动作片段打分，并将规范化动作合并为可复用的 eXperience 树，全程不调用 LLM。该方法整合进离线 RL（每个节点作为一个训练样本）、在线 RLVR（自适应技能加权）与 on-policy 自蒸馏（作为自教师的特权上下文）三种训练设置。在 WebArena、ScienceWorld 与 WebShop 上、三个模型规模下，同等数据与预算下相比标准配方，SR 最多提升 4.5%（WebArena）、5.8%（ScienceWorld），成功率提升 4.1%（WebShop）；对照分析将增益归因于 X-Tree 结构及其三种整合方式。