看似合理但无效: 将LLM作为合成调查受访者的心理测量学审计

摘要

大型语言模型（LLM）常被用作合成调查受访者，但研究指出其个体答案看似合理，却未保留真实人类调查数据的联合分布、潜在结构、信度、中介路径和人口效应。研究引入立陶宛组织心理学数据集（n=263，68条目，12子量表），对37个模型进行心理测量相似度评分（PSS），并与五个非LLM统计基线及人-人上限比较。结果显示，LLM再现了定性方向，但高斯copula基线在PSS上优于所有LLM；LLM之间更相似（平均PSS 0.73）而非与人类相似；记忆化不是驱动因素。反事实交换显示教育效应（|d|=0.56）远超性别（0.12）和角色（0.18）。所有LLM表现出强顺从偏移（+0.84 SD），合成训练的回归器在保留人类上预测效度下降（平均R²-0.18 vs 0.28），并在3/10安慰剂中介路径上虚构间接效应。LLM样本不能替代人类调查数据。