为什么模型是AI的下一个训练数据集——Damian Borth访谈(#772)

摘要

在高质量训练数据日益稀缺、预训练成本不断攀升的背景下，圣加仑大学AI教授Damian Borth提出常被忽视的知识来源——已训练好的模型。其团队研究“权重空间学习”，将训练好的神经网络本身视为数据，从数百万GPU小时优化的蒸馏结果中学习，而非每次从原始数据开始。本期探讨构建神经网络基础模型的意义、跨架构跨领域的知识迁移、如何大幅降低专用模型开发成本，以及未来AI系统是否将基于现有模型集合训练而非不断增长的数据集。