COSMI: 组合单物体交互构建多物体人-物交互数据集与生成方法

摘要

研究者指出人-物交互具有局部性，单物体采集片段已包含多物体活动的组成部分，因此将接触一致的单交互片段镜像、跨身体迁移，再由语言模型与几何检查筛出语义与物理上合理的配对，使数据随片段数而非录制时间组合式增长。COSMI 数据集含 222k 段序列、275 小时、最多五个物体，接近最大多物体采集的三十倍。据此训练的文本到交互扩散 transformer 采用权重共享物体槽位，生成数量可变的物体并预测其相对身体部位的运动。在含未见物体与未见交互组合的基准上模型实现泛化，文本对齐与接触准确率优于基线，未见物体上差距最大。代码、模型与流程将于项目页发布。