理解蛋白质适应度预测中语言模型的规模效应

摘要

蛋白质语言模型及其整合结构或同源序列的模型，通过估计序列似然度 p(序列) 来反映适应度景观，常用于突变效应预测与蛋白设计。然而，研究表明模型性能并非随规模增大而持续提升，超过一定大小后反而下降。原因是模型规模、训练数据和随机因素会使预测的 p(序列) 偏离真实适应度，而最佳预测需与同源序列的进化模式匹配，通常在中等的 p(序列) 水平实现。过大的模型倾向于预测更高的 p(序列)，超出该范围，导致性能降低。该发现阐明了蛋白模型在适应度预测上的缩放行为，并为应用与开发提供了实用指导。