NAPE: 通过下一个补丁嵌入预测实现可扩展的音频学习器

摘要

自监督学习推动音频表示学习进步，但现有方法常依赖复杂预训练流程。作者提出NAPE框架，采用因果Transformer预测对数梅尔频谱图的下一个补丁嵌入，仅用因果掩码和停止梯度作为训练信号，无需重建解码器、声学分词器等。在六个音频和语音基准上，NAPE在几项任务上达到最先进的微调性能，跨编码器规模一致扩展，并展现出强线性探针结果，且无需显式监督即可产生结构化注意力模式。