大语言模型越来越多自带显式“思考模式”,但其对立面“不思考”研究甚少。研究指出,禁用思考模式、缺少长推理链等代理指标并不可靠,改为把回答拆分为答案前痕迹与最终答案,并设三项指标:衡量严格只答的“空思考率”、问题与答案前痕迹相似度的指令感知相关性、以及由LLM评判的显式推理率。在布尔题、选择题与开放式问题上,对六个模型测试六种提示干预后发现,显式“不思考”控制无法可靠消除可见推理,即“思维惯性”:严格约束下推理仍然存在,且答案空间越开放越普遍。布尔题与选择题准确率保持稳定,开放式任务则显示只答合规与任务准确率之间的取舍;提供候选答案可使模型更易只给答案。
相关动态
沿时间看主要节点
思维惯性: 大模型在被要求不思考时仍在推理
《Science》刊文: Virtual Biotech 用 AI 智能体团队寻找肺癌药物
斯坦福大学计算机科学家 James Zou 团队在《Science》发表 Virtual Biotech 系统,它由多达 37,000 个可自主与大语言模型或其他智能体交互、执行多步任务的智能体组成,仿照生物技术公司设置首席科学官与各专业部门,底层模型使用 Anthropic 开发的 Claude。该系统分析了 55,000 多项临床试验的已发表结果,发现了一个或可预测临床试验成败的分子信号,并在人类监督下识别出一种有前景的肺癌治疗方案。不过其他科学家指出,Virtual Biotech 尚未经真实药物研发检验,其预测未获实验验证,更谈不上临床试验。
采访: 詹姆斯·邹(James Zou)——EMJ
斯坦福大学副教授詹姆斯·邹在访谈中讨论了AI在临床研究中的应用。他提到,过去15年AI医学研究最大变化是从作为工具转变为更自主的“共同科学家”,近两年语言模型驱动的AI代理能自主提出假设和创建工具。但邹仍认为,AI系统在最终诊断和治疗决策等重要环节仍需人类专家监督,因为模型可能在训练数据上表现良好,但在新患者群体中性能存在不确定性,即使有些研究显示AI错误少于医生,也不能完全取代人工审核。