微型机器人导航策略训练缩短至10分钟以内

摘要

研究提出一套面向微型机器人自主导航的学习框架，将策略训练时间压缩到10分钟以内，以应对现有深度强化学习方法需要数小时至数天、阻碍快速部署与参数优化的问题。框架包含一个全向量化的仿真器，内置超过10,000个人工血管环境，把动力学、基于光线投射的视觉特征提取与可行性检查在数千个环境中并行，达到约每秒190,000次状态转移。为在快速训练中保证效果，作者提出任务塑形-正则化奖励框架，可加快收敛、提升最终性能，并在所有评测场景中使动作变化至少降低33.7%、障碍物间隙至少提高2.1%。训练得到的策略可在不同微型机器人类型与导航场景间实现零样本部署，无需重新训练。