基于扩散模型的离线深度Q*估计

摘要

在离线强化学习中，基于离线观测数据估计最优动作价值函数Q*可通过求解最优贝尔曼方程实现。但奖励函数和转移核未知，最优贝尔曼算子无法直接观测。本文提出将算子估计与价值函数学习解耦的框架：先用条件扩散模型估计奖励规律和转移核，构建数据驱动的最优贝尔曼算子近似，再通过最小化经验贝尔曼残差获得Q*的深度估计。理论上，文章建立了学习最优贝尔曼算子的尖锐非渐近收敛率，并给出残差风险和L2收敛率的上界，且无需深度RL理论中常用的完备性假设。大量数值实验验证了方法的有效性。