Puffin-World: 以原生3D世界状态扩展统一多模态模型

摘要

Puffin-World是一种统一多模态架构，将物理理解、空间模拟与3D世界生成和重建结合，无需外部离线模块。它联合建模物理（重力场与纬度）、几何（深度）和外观（图像）三种原生世界状态，并用统一Omni-Camera表示支持多种任务和灵活运动；还通过在未来帧间传播物理动态、锚定绝对相机属性，实现物理一致且视觉稳定的世界生成。该流程在同一生成过程中耦合外观与几何，联合合成未来视图并重建几何，支持模仿与自校准世界探索等闭环应用。为扩展规模，作者构建Puffin-16M数据集，含1500万组视觉-语言-相机三元组和100万条挑战性运动轨迹，并已发布代码、模型与数据集。