LLM-as-Jev: 通用大模型开箱即可作Jev式决策模型, 何时才需要微调

摘要

论文提出LLM-as-Jev框架，在保持架构不变的前提下，直接从带方括号数字标识的下一词元概率中提取校准好的决策输出。框架兼备免训练推理方案与微调目标：以树分解的listwise损失优化候选选择，并用KL散度惩罚把辅助预测锚定在基础模型上。在Qwen3.5-4B与Qwen3-0.6B上的评测显示，免训练时4B模型即可匹配同骨干搭建的社区Jev式模型、优于letter-logit读出，支持任意选项数量，并原生处理基于图像的多模态决策。微调收益是针对性的而非普遍的：显著改善较弱模型与特定任务（如多选项意图路由），对强骨干则收益递减；KL锚点可防止对话文本生成退化，LoRA在较强模型上表现最佳。