LSP: 端到端学习可丢弃子空间以压缩神经网络

摘要

现有低秩权重分解用激活能量、逐层重构误差或损失二次近似等局部准则挑选待删除子空间，忽略误差在网络中的传播，高压缩率下误差随深度累积、性能崩溃。Learnable Subspace Projections（LSP）改为端到端学习这些子空间：冻结预训练权重，为每个线性层或共享激活的绑定层组分配正交投影，以对稠密模型输出分布的KL散度或模型原训练损失为目标联合优化，秩按每个节省参数所诱导的输出KL分配，训练后合并为标准低秩因子，绑定组共享一个因子。在OPT-125M/1.3B、Qwen3-4B、Llama-2-7B与ViT-B/16上LSP均优于基线且优势随压缩增大：-70%压缩下Llama-2-7B的WikiText-2困惑度为10.9、零样本平均准确率42.2%，最强基线为13.3与36.0%；小批量解码最高快1.6倍，128k token上下文下权重与KV缓存合计内存缩小13.5倍，非绑定基线分解至多6.5倍。