ChemDIRT: 面向稳健化学-LLM评估的多样化指令、表示与任务基准

摘要

大型语言模型（LLM）在化学领域的应用日益增多，但现有化学基准往往只覆盖有限任务，忽视对问题表述和化学表示变化的稳健性，可能高估模型的真实推理能力。为此提出的ChemDIRT（Diversified Instruction, Representation, and Task Benchmark）从指令与分子表示变化入手，横跨八类化学任务，在受控扰动下同时评估准确性与一致性，以提供比传统单一格式基准更可靠的推理评估。对多种开源和闭源LLM的测试显示，模型存在明显的提示敏感性、表示依赖性，且各任务族表现不均衡。