从损失景观到神经网络中的多样化特征学习

摘要

过去十年里，神经网络从学术好奇心发展为牵动多国市场的技术，但人们对其如何求得解仍知之甚少。鉴于这类系统在自动驾驶、建筑、法律、招聘和医疗等领域作出决策时，已经并将继续产生意外后果，理解这一点既具科学意义，也关乎社会。虽然难以概括大型生产系统的失败，但此类迹象在所有规模上均存在，因此可以在更易处理的场景中研究。所有神经网络都必须经过训练这一优化过程；理解网络在很大程度上就是理解其优化过程，即经由何种过程、接触哪些数据而得到结果。然而该领域知识仍不精确，尤其是损失面上的模式连通现象完全无法解释。本论文旨在阐明、解释并利用损失景观中的这一特殊结构。