数据稀缺下大模型协作式个性化偏好对齐: Approximate Pareto Optimality(APO)方法

摘要

真实用户常在多个目标上表现出高度异质的偏好，而用户反馈稀缺使个性化训练困难。论文提出 Approximate Pareto Optimality（APO）：先把更新方向相容的用户分组，以减少信息合并时的干扰；组内将梯度下降与受控上升结合，协调相互竞争的目标，走向 Pareto 前沿上的偏好特定点，得到接近组内用户最优解的初始化，再用少样本局部适应的更新迭代精炼，使其更适于个性化。作者还给出单步局部协作更新的条件次优性界，并刻画初始化误差如何影响后续随机适应。在 Fed-ChatbotPA 和 UltraFeedback 上，仅用 20 个本地样本，该方法即持续优于现有方法。