混合LLM压缩并非简单相加: 交互效应因任务而异

摘要

小型语言模型常需同时剪枝与量化来适配设备内存。研究用统计方法检验二者是否只是效果相加，在 Falcon3-1B-Base、LLaMA-3.2-1B 和 Qwen2.5-1.5B 上，以不同剪枝比例及4-bit、8-bit量化，在单张RTX 3080 Ti上测试。结果按任务分化：TruthfulQA上混合模型超出预期，Falcon约+7分，LLaMA约+12至+14分；GSM8K和MMLU下降远超预期，Falcon低16至20分，部分混合设置GSM8K准确率降至零。意外的是，效应在20–30%中等剪枝时最强，到50%剪枝时回落到接近正常；量化与剪枝的顺序影响不大，但原文在此处截断。