大型语言模型中浮现模块化认知架构

摘要

人类大脑具有显著的功能专门化：不同网络分别支持语言、形式推理、对他人心理的推理和对物理世界的推理。本文考察大型语言模型（LLM）——经由非常不同的优化过程产生的另一类智能系统——是否也会出现类似组织。基于覆盖语言、形式推理、社会推理、物理推理四个认知领域的N=46项任务的电路分析，研究发现LLM会形成与人类大脑镜像的模块化架构：人类中由同一网络支持的任务在LLM中招募重叠的神经元，由不同网络支持的任务则招募不同的神经元。这种模块性在脑与神经网络中的趋同出现提示，它可能是智能系统的基本属性。