从序列到结构: 面向LLM智能体的关系不确定性传播

摘要

可靠的不确定性量化（UQ）对于在复杂交互环境中部署大语言模型（LLM）智能体至关重要。现有方法多依赖局部信号，如token概率或预测熵，忽视了执行轨迹中误差的累积。本文提出RUPA（面向智能体的关系不确定性传播），一种轨迹级UQ框架，将执行历史表示为有向轨迹图，节点为推理状态、工具交互和环境反馈，边为时序与语义依赖，并在此图上传播不确定性以捕捉风险累积。结合轨迹级行为特征与目标对齐信息，RUPA在τ-2、Terminal-Bench-2和GAIA基准上，使用6个开源LLM进行评估，结果显示其不确定性估计更准确，能更早检测失败，并改善不确定性引导的智能体执行。