通过正交投影解释蛋白质语言模型嵌入以预测蛋白质适应度

摘要

蛋白质语言模型（PLM）嵌入在蛋白质适应度预测等下游任务上表现优异，但本身不易解释，尚不清楚其编码了哪些特征。研究者利用正交投影技术，从嵌入中去除已知表格特征对应的生化性质及其高阶与交互效应，并仅用嵌入训练下游分类器进行消融研究，发现预测适应度的性能出现下降；进一步评估显示，这些生化特征解释了该分类器预测中相当大一部分方差。结果表明，PLM嵌入编码了与生化性质相关的模式，并可量化这些性质对适应度预测的贡献。该计算高效的方法不限于文中使用的特征或嵌入，也可推广到蛋白质适应度预测之外的问题。