用几何不变稀疏自编码器发现大语言模型中的跨语言推理不变性

摘要

一项研究通过多语言数学问题（MGSM）数据集，在多个模型的六个语言（英、德、法、西、俄、中）中探究跨语言推理是否依赖共享特征。研究者使用CKA识别对齐层，并训练两种稀疏自编码器：基线模型和新提出的几何不变SAE（GI-SAE），后者通过InfoNCE损失促使编码器对同一问题的不同语言产生相似激活。通过交换特征值并测量KL散度，发现GI-SAE虽提高了几何相似性，但功能可互换性并非一致增强，跨语言共享特征因模型和架构而异，且出现在不同深度。