MIT CSAIL研究提出“归因衰减”: 大规模生成模型常难追溯训练数据

摘要

MIT计算机科学与人工智能实验室（CSAIL）研究人员提出“归因衰减”现象：训练数据规模越大，单个训练样本对特定生成输出的影响越小。在规模足够大时，他们发现，常可移除训练数据中的任意单张图像、某位艺术家的全部图像，或某个人的全部照片，而生成样本不会明显变化。研究者据此认为，若移除某项数据后输出不变，就不能说该输出可归因于这项数据。第一作者、前MIT CSAIL研究人员Zheng Dai表示，如果逐一移除其他数据后输出也不变，那么把输出归因于其中任何一项都说不通。文中举例的模型使用744位艺术家的公有领域作品训练；相关争论涉及诉讼、许可协议和拟议监管，艺术家想要署名，公司想要清晰规则，政策制定者想要明确责任。