WorldRover: 用于丰富标注的世界探索的可扩展合成视频数据引擎

摘要

WorldRover是一个数据引擎，用于生成艺术家构建环境的丰富标注、长距离探索。其核心WorldRover-Engine是Unreal Engine管线，可执行并离线渲染分钟级路线，同时保留完整轨迹和场景几何。同一探索可在不同环境状态下从第一人称、第三人称和360度全景相机重放。利用该引擎构建了WorldRover-10M数据集，序列将RGB与公制深度、相机轨迹和轨迹导出的动作信号配对。第三人称子集额外提供密集光流、带可见性的长距离2D/3D点跟踪，以及区别于相机轨迹的角色轨迹。该引擎可将遍历从不同视角渲染，同时保留路线和几何，从而将长视野世界探索转化为可扩展的数据生成问题。