LANTERN: 发掘语言模型中隐藏的数学知识

摘要

语言模型如今已能证明定理，但研究者仍决定优先探索哪些问题。作者提出 LANTERN——一条快速且低成本的流程：先用基于预训练模型激活值的分类器为候选关系排序，再经分阶段过滤、假设生成、可执行验证与解析检查。应用于整数数列百科全书（OEIS）后，LANTERN 对 10,000 条常被引用的数列之间 5000 万对组合进行排序，产出 62 条彼此尚无 OEIS 交叉引用的数列对之间的已验证关系。经内容筛后保留 13 条值得呈现的关系，其中 9 条具有信息量或洞见，包括据作者所知完全新颖的 4 条——均未出现在 OEIS 或定向文献检索中。含分类器训练、候选排序、过滤与验证在内的端到端流程耗时不足 8 小时。