评估基于Transformer的基因组语言模型DNABERT-2的事后解释

摘要

研究者将分层相关性传播（LRP）向注意力机制扩展的AttnLRP方法应用于当前先进的基因组语言模型DNABERT-2，提出从token到核苷酸水平的解释迁移策略，并在基因组数据集上用多种指标评估这一适配，同时将其解释与基线CNN进行广泛比较。结果显示，AttnLRP能产生与已知生物模式相符的可靠解释，表明与CNN类似，基因组语言模型也有助于获得生物学见解。该工作为gLM的可解释性及跨架构相关性归因的可比性作出贡献。