Ai2 在 COLM 2026: 开放研究, 从模型到面向科学的智能体

摘要

Ai2 在旧金山举行的 COLM 2026 上介绍了其开放研究：发布可供他人研究、扩展的 AI 研究产物，并与领域专家合作开发面向科学的 AI 工具。会议论文《Olmo Hybrid: From Theory to Practice and Back》考察将 transformer 注意力与线性循环层结合的架构，把关于其可表示能力的理论与受控训练实验相连。该研究中，Olmo Hybrid 在覆盖多学科知识的 MMLU 上达到与 Olmo 3 7B 相同的准确率，训练 token 减少 49%。这一方向正指导下一代 Olmo，后者目前以结合注意力与循环的混合专家架构进行预训练。COLM 前发布的 Olmo-core 3 提供重新设计的大规模混合专家模型训练系统。文中还提到 Google 近期宣布复现了 Olmo 3 7B 的训练。