本书重点研究机器学习的数学理论。一部分探讨了在非凸优化问题中，选择梯度下降步长来避免严格鞍点的优性和自适应性。在二部分中，作者提出了在非凸优化中寻找局部极小值的算法，并利用牛顿二定律在一定程度上得到无摩擦的全局极小值。三部分研究了含有噪声和缺失数据的子空间聚类问题，这是一个由随机高斯噪声的实际应用数据和/或含有均匀缺失项的不完全数据激发的问题。后，提出了一种新的具有粘性网正则化的VAR模型及其等价贝叶斯模型，该模型既考虑了稳定的稀疏性，又考虑了体选择。

译者序

序言

致谢

前言

作者简介

一部分 引言

1章 绪论

1.1 神经网络

1.2 深度学习

1.3 梯度下降法

1.4 小结

1.5 本书结构

2章 通用数学框架

2.1 机器学习与计算统计学

2.2 小结

3章 优化理论简述

3.1 机器学习所需的优化理论

3.2 在线算法：机器学习的顺序更新

3.3 小结

4章 改进的CoCoSSC方法

4.1 问题描述

4.2 梯度加速下降法

4.3 CoCoSSC方法

4.4 在线时变粘性网算法

4.5 小结

5章 关键术语

5.1 一些定义

5.2 小结

6章 关于非凸规划几何的相关研究

6.1 多元时间序列数据集

6.2 粒子学习

6.3 在气候变化中的应用

6.4 小结

二部分 机器学习的数学框架：理论部分

7章 收敛到小值的梯度下降法：优和自适应的步长规则

7.1 引言

7.2 符号与预备知识

7.3 大允许步长

7.4 自适应步长规则

7.5 定理7.1的证明

7.6 定理7.2的证明

7.7 辅助定理

7.8 技术证明

7.9 小结

8章 基于优化的守恒定律方法

8.1 准备：直观的解析演示

8.2 辛方法与算法

8.3 局部高速收敛现象的渐近分析

8.4 实验演示

8.5 小结与展望

三部分 机器学习的数学框架：应用部分

9章 含有噪声和缺失观测值的稀疏子空间聚类的样本复杂度的改进

9.1 CoCoSSC算法的主要结果

9.2 证明

9.3 数值结果

9.4 技术细节

9.5 小结

10章 多元时间序列中稳定和分组因果关系的在线发现

10.1 问题表述

10.2 粘性网正则化

10.3 在线推理

10.4 实验验证

10.5 小结与展望

11章 后记

参考文献