LMBuild: 评测LLM智能体生成可建造、可运作结构的基准

摘要

研究提出LMBuild，用于评测LLM智能体生成可建造且具备功能的结构。生成对象被表示为由部件分解、连接、材料和装配序列构成的装配结构。统一框架包括：智能体可检索、创建和放置组件的交互环境；改造既有CAD数据集并以Wikipedia知识增强的基准；以及覆盖结构稳固性、功能可供性、设计质量与物理实现的评测体系。对30个系统的评测发现：稳固性与对齐已不再是前沿闭源模型的主要瓶颈，功能可供性与物理可操作性仍明显更具挑战；更强模型更善于创建新部件，较弱模型倾向依赖检索；提供功能规格可显著改善部件完整性、运动学与物理可操作性。