Ai2 在旧金山举行的 COLM 2026 上介绍了其开放研究:发布可供他人研究、扩展的 AI 研究产物,并与领域专家合作开发面向科学的 AI 工具。会议论文《Olmo Hybrid: From Theory to Practice and Back》考察将 transformer 注意力与线性循环层结合的架构,把关于其可表示能力的理论与受控训练实验相连。该研究中,Olmo Hybrid 在覆盖多学科知识的 MMLU 上达到与 Olmo 3 7B 相同的准确率,训练 token 减少 49%。这一方向正指导下一代 Olmo,后者目前以结合注意力与循环的混合专家架构进行预训练。COLM 前发布的 Olmo-core 3 提供重新设计的大规模混合专家模型训练系统。文中还提到 Google 近期宣布复现了 Olmo 3 7B 的训练。
相关动态
沿时间看主要节点
Asta(Allen Institute for AI 的科研智能平台)开源了 AstaBrief 8B——一个把研究问题与检索到的文献片段一次性生成带引用报告的小模型,同时开放训练数据。该模型基于数以万计真实研究查询、引用导向的筛选、偏好数据,以及一次性写完整篇报告的新版生成管线训练而成。在 Asta 全流程中,Fast 模式平均每份报告耗时 51.1 秒,Thinking 模式(由 Claude 驱动)为 178.5 秒,约快 3.5 倍,生成时间接近一个数量级的下降。开源权重也便于机构在自有基础设施上运行,以应对涉及敏感或未发表研究的问题。
东北大学硕士生 Soham Padia 用 Olmo 3 测试众包评估亲社会行为能否暴露小团队易忽略的弱点。他把评估做成游戏 Steering Arena:玩家提交简短文本前缀以影响模型,观察其把 Olmo 3 推向更亲社会回答的强度,并争夺排行榜首位。该评估使用 135 组对比文本,覆盖共情、公平、安全、隐私、尊重等 15 项品质。Padia 通过美国 NSF 支持的 National Deep Inference Fabric 远程使用 Olmo 3-32B。他强调,仅有开放权重不够,Olmo 记录了数据与后训练过程,才能判断亲社会方向源自预训练还是后续微调——多数模型无法回答这一问题。
在华盛顿大学的课堂上,材料科学与工程教学副教授Luna Yue Huang通过GenAI for Science: Ai2–UW Materials Challenge,引导学生以批判眼光使用科研AI代理AutoDiscovery。该工具分析数据、提出假设、运行实验,并按贝叶斯意外度(模型预测与数据结果的差距)排序结果。25支队伍提交数据集与研究问题,其中10支入选,学生需核验证据、比对已发表研究,判断结果究竟是真发现、巧合还是数据问题。例如锂离子电池老化项目发现,周期性诊断测试本身或会加速电池衰减;但这只是数据中的相关性而非因果证明,确认它还需开展对照实验。AutoDiscovery的表现差异明显,有时能带来学生原本不会探索的线索。
AI已能协助大量科研工作,如文献检索、数据分析、写代码、提出并检验假设;更难的是建立研究人员能在研究展开过程中引导的系统,尤其是新证据出现后,需要调整要追踪的假设、要做的实验或下一步问题。8月27日,Ai2举办活动,标志其与Providence Swedish癌症研究所Paul G. Allen研究中心的合作扩展,并聚焦当今科学AI仍欠缺之处。与会者反复提到五大挑战,第一个是给人的判断留出空间:今天的AI系统并不能可靠区分有趣的结果与琐碎、不合理或已为人知的结果。例如AutoDiscovery可能给出统计上惊人但生物学或临床意义不大的假设。
Ai2 与 Providence Swedish Cancer Institute 宣布合作推进AI辅助科学发现,包括在浸润性小叶乳腺癌方面的临床相关研究发现,以及为保护临床数据安全而进行的本地部署。联合团队使用 AutoDiscovery 分析一个被广泛研究的乳腺癌数据集,发现浸润性小叶乳腺癌的免疫特征比以往认知更强,并在独立患者数据集和实验室分析中得到验证。结果表明,美国每年确诊的约15%的乳腺癌患者可能有机会从免疫治疗中获益。
一项获EMNLP接受、针对Olmo 3的新研究发现,在测试的药物中,51–59%几乎没有体现出药物特异性知识,另有约12–18%似乎依赖药名词缀(如-pril、-olol、-azoline)作答。研究由得克萨斯大学奥斯汀分校的Kaijie Mo领导,与东北大学和MD Anderson癌症中心合作;团队利用Olmo 3的开放权重、训练语料和中间检查点,将药名词干、词缀或两者替换为无意义字符串,以区分模型依据,并把这一捷径追溯至训练数据。
在ACM SIGAI的AI Matters交叉转载中,艾拉·斯凯伦采访了2025年AAAI博士论文奖得主浅井明里。浅井的博士论文聚焦检索增强语言模型(LMs),主张超越单一大型模型,设计并训练与互补模块协同的系统。她开创了检索增强LMs,在推理时从大型文本集中检索相关知识,而非仅依赖训练记忆,从而生成更准确、最新、可验证的输出。这项工作挑战了“仅扩大规模即可解决问题”的社区主流观点,并催生了开源模型OpenScholar,帮助科学家综合大量科学文献。该方法已被学术界和工业界广泛采用,如生成式搜索引擎。
艾伦人工智能研究所发布TutorMoments预览,这是一个基于真实一对一数学辅导记录的框架,用于评估大语言模型在“何时帮助”与“何时放手”之间的平衡能力。教师标记关键决策点,模型在模拟会话中接管辅导。结果显示,模型倾向于过度帮助,很少推动学生深入思考;明确提示权衡可改善表现,但仍不及人类辅导的适应性,且模型间差异大。团队公开了去标识化的辅导记录、回放代码及模型回放,以促进可复现研究。
Ai2与Hugging Face宣布扩大合作,以提升开放AI的可访问性和部署能力。Hugging Face将Ai2在其Hub上的存储量增加近两倍至约2PB,并取消标准速率限制,实现全速下载。自2024年春季以来,Ai2的模型和数据集已被下载超5000万次。Ai2还发布训练数据、中间检查点等以支持复现。CEO们强调了完全开放的重要性。
Ai2 发布 OlmoEarth 平台,用于支持其地球观测基础模型的大规模推理。该模型基于约 10 TB 多模态卫星数据预训练,已用于森林砍伐监测、粮食安全和野火风险等应用。平台旨在帮助缺乏基础设施的环境组织,提供从微调到推理的完整服务。目前,平台可在约一天内处理覆盖大陆区域的数据,处理数十 TB 影像,成本低于每平方公里一美分。文章还介绍了开发中应对的工程挑战。
艾伦人工智能研究所(Ai2)在一篇评论中称,随着AI成为科研、医疗、工业和政府的关键基础设施,理解AI如何运作比以往更重要,因此开放是其核心立场。开放权重模型让人们能使用和改造AI,减少对单一供应商的依赖;完全开放发布还共享训练数据、代码、方法、检查点、评估和文档。该文主张信任需要公开证据,独立研究者需这些材料复现结果、检验局限、评估安全与可靠性。文中举例:东北大学与约翰斯·霍普金斯大学利用Olmo模型权重、内部表征、训练数据和出处研究临床应用中的群体偏差与知识截止日期;Arb Research等利用Olmo 3训练数据和中间检查点证明改写基准问题会虚增模型进展;得州大学奥斯汀分校、东北大学和MD Anderson癌症中心使用了Olmo 3和Ai2的infini-gram。
许多机器学习和科学问题本质上是恢复数据点背后的分布,需估计密度和分数。密度是直方图的平滑版本,分数是对数密度的梯度,指示密度上升最快的方向,驱动扩散模型和贝叶斯采样。现有方法面临权衡:核密度估计(KDE)无需训练但高维精度下降;神经分数匹配模型高维准确但需重训。我们提出DiScoFormer(密度和分数Transformer),通过共享主干和双输出头,在一个前向传播中无需重训即可估计任意分布的密度和分数,利用跨注意力评估任意点的值。
艾伦人工智能研究所发布MolmoMotion模型,给定视频帧、物体上的3D点和动作描述,可预测未来几秒内点的3D轨迹。该模型在性能上大幅超越现有预测方法。同时发布MolmoMotion-1M数据集(含116万视频)和经人工验证的基准PointMotionBench(含2700个视频片段)。这些预测轨迹可驱动机器人规划和以轨迹为条件的视频生成等下游应用。模型权重、数据集和基准均开源。