MaRN: 通过低维参数映射训练神经网络的 PyTorch 库

摘要

开发者发布 PyTorch 库 MaRN（Mapping Networks），其做法是不直接训练每个模型参数，而是优化一个紧凑的潜表示。作者公布的基准结果包括：MNIST CNN 从 537,748 个参数降至 4,080 个可训练参数（131.8×），准确率由 99.07% 降到 98.10%（−0.97 pp）；较小的 107,998 参数 CNN 降至 1,872 个可训练参数（57.7×），准确率由 98.83% 降到 97.18%（−1.65 pp）。作者同时指出权衡：映射后的模型训练可能明显更慢，效果因任务而异；这些基准属探索性质，部分任务使用合成数据，并不构成其普遍优于直接训练的证据。库提供全局与逐层映射、正则化选项以及剪枝/LRD 集成。