混合注意力LLM的多语言性: 层序影响跨语言对齐

摘要

为应对智能体与推理场景的长序列需求，许多先进LLM结合多种注意力变体，以缓解传统softmax注意力的二次复杂度。该工作首次研究混合注意力对LLM多语言性的影响；除分词不佳语言的长序列影响外，动机还包括循环状态的归纳偏置可能改变语言处理。可解释性分析显示，混合模型的跨语言表征随循环层与全注意力层的排列顺序形成相应模式，并在第一个全注意力层附近出现明显的跨语言对齐峰值，由此质疑惯用层序。在多语言数据蒸馏实验中，所有替代层序在整个训练过程中都优于标准层序，学习速度最高快2.5倍。作者据此提出理论：多语言模型或许应从全注意力层开始，而非循环层。