> 本文是由鄂维南院士、马超、吴磊和Stephan Wojtowytsch 2020年12月发表在CSIAM Transactions on Applied Mathematics 上的综述文章。原文题目为“Towards a Mathematical Understanding of Neural Network-Based Machine Learning: What We Know and What We Don’t”。英文报告请在本文末尾下载附件。 基于神经网络的机器学习非常强大然而也十分脆弱。一方面，它能以前所未有的效率和精度逼近高维函数。这在不同的学科领域开辟了全新的可能性。另一方面，它也有着“黑魔法”的名声：其成功取决于许多技巧，参数调整可以是一门艺术。机器学习数学研究的主要目标是 1. 解释机器学习成功背后的原因和微妙之处，以及 2. 提出同样成功但不那么脆弱的新模型。 我们离完全实现这些目标还很远，但公平地说，一个合理的大局正在显现。 本文的目的是回顾第一个目标的主要成就，并讨论存在的主要困惑。在古老的应用数学传统中，我们不仅要注意严谨的数学结果，还要讨论我们从仔细的数值实验和简化模型分析中获得的见解。 目前对第二个目标的关注要少得多。我们应该提到的一个观点是[33]中所提倡的连续形式化。其思想是首先建立机器学习问题的“适定”连续模型，然后离散化得到具体的算法。这一提议的吸引力在于： - 许多现有的机器学习模型和算法都可以用这种方法以比例形式恢复； - 有证据表明，与传统的机器学习模型相比，用这种方法获得的机器学习模型在选择超参数方面更为稳健（例如，参见下面的图5）； - 新的模型和算法自然以这种方式得到验证。一个特别有趣的例子是针对ResNet类模型的基于最大原理的训练算法[58]。 然而，在现阶段还不能说连续形式化就是一条走得通的道路。因此我们将把对这个问题的充分讨论推迟到今后的工作。 文章提纲： - 1 介绍 - - 1.1 有监督学习 - 1.2 主要问题（假设空间、损失函数和训练算法的性质） - 1.3 逼近和估计误差 - 2 序言 - - 2.1 万能逼近定理和维度灾难 - 2.2 大型神经网络模型的损失景观 - 2.3 过参数化、插值和隐式正则化 - 2.4 选题 - 3 假设空间的逼近性质和Rademacher复杂性 - - 3.1 随机特征模型 - 3.2 两层神经网络模型 - 3.3 残差网络 - 3.4 多层网络：树型函数空间 - 3.5 索引表示和多层空间 - 3.6 多层网络中的深度分离 - 3.7 可学习性和逼近性的权衡 - 3.8 先验和后验估计 - 3.9 未知的问题 - 4 损失函数和损失景观 - - 4.1 未知的问题 - 5 训练过程：收敛性和隐式正则化 - - 5.1 具有平均场标度的两层神经网络 - 5.2 具有常规尺度的两层神经网络 - 5.3 神经网络模型训练的其他收敛结果 - 5.4 随机特征模型的双下降慢劣化 - 5.5 全局极小值选择 - 5.6 自适应梯度算法的定性性质 - 5.7 多层神经网络的爆炸和消失梯度 - 5.8 未知的问题？ - 总结