CardioState-JEPA: 基于延迟感知跨模态学习的统一心脏表征

摘要

CardioState-JEPA是一个心脏基础模型，通过生理感知的联合嵌入预测架构，在ECG、PPG和PCG之间学习共享表征。该模型将异构波形映射到统一的token空间，使用共享Transformer编码器，并预测掩蔽的潜在心脏状态。它利用学习到的延迟对齐器处理电、机械和血流动力学事件之间的时间偏移。在25个下游任务中，冻结编码器在PPG、PCG和ECG上的AUROC分别平均提高8.2、18.8和15.5个百分点，达到或超过基于临床文本或监督标签训练的模型。