LexReward: 面向法律语言模型的分类学奖励框架

摘要

研究提出 LexReward，一个基于分类学的法律奖励建模框架，从三个互补维度刻画法律回答质量：Style 关注词汇与句法质量，Element 评估法律主体、事实、法条与裁判，Chain 考察法律推理的顺序、完整性、正确性与非冗余性。每个维度都配有规定评价标准与质量等级的评分细则，由此产生的奖励用于构建成对偏好数据，供 Direct Preference Optimization（DPO）与奖励模型训练使用。实验显示，基于评分细则的奖励能可靠区分不同质量的法律回答，DPO 训练在三个维度上均带来性能提升；所学到的奖励模型 LexRM 在奖励阶段无需参考答案，即可通过强化学习分别提升对应维度的策略表现，维度层面的分析也支持该分类学与奖励构建方式的有效性。