表征小型语言模型中的干扰权重

摘要

机制可解释性的目标之一是将神经网络像计算机程序一样阅读，但超位置使特征通过低维投影读写，导致虚拟权重叠加。此前在玩具模型中识别出干扰权重。本研究训练一个单层Transformer，分解其词语、位置、特征和逻辑之间的虚拟权重，并沿有效性和有用性两个维度打分。结果发现一个干扰权重：从“IN”到逻辑的路径最大投票预测“utions”，但该词在训练中从未出现在“IN”后，因此每次影响输出都损害损失。这展示了干扰权重在训练过的Transformer中的存在，属首次。