大语言模型背后的数值线性代数

摘要

这是一篇以机器学习技术、特别是大语言模型（LLM）为重点的综述文章。文章回顾了数值线性代数的历史作用：1950至1960年代，空气动力学中特征值问题的研究催生了LR和QR算法，随后注意力转向稀疏线性方程组求解。作者指出，当前机器学习浪潮对科学与工程具有颠覆性影响，LLM等工具建立在矩阵与张量方法之上，并认为随着我们接近通用人工智能（AGI），矩阵方法将发挥更重要作用，而变革的速度对数值线性代数从业者尤为挑战。文章有两大目标：一是向数值方法专家清楚阐释大语言模型的核心概念；二是梳理LLM技术所使用的关键数值线性代数概念，并介绍NLA近期对该领域的若干重要贡献。