AstroPT 对星系的认知及其对大型语言模型的启示

摘要

可解释性研究常探究概念涌现及线性探针是否还原真实结构，但语言模型缺乏概念顺序的真实基准。本文提出利用天文数据作为校准测试平台：AstroPT 是一个在数百万星系图像上训练的类似 LLM 的模型，其概念难度顺序已知。通过冻结表征并探测不同检查点、层、模型大小和目标函数，作者发现星系属性以固定顺序涌现，该顺序反映其已知难度——如波段星等早期和浅层即可解码，而红移和恒星形成率等推断量出现较晚且较深。此顺序不受训练目标影响，容量仅改变规模而非序列。线性探针方向还能还原星系属性的物理结构。研究显示天文学为校准机制可解释性方法提供了受控实验场。