基本信息

书名:智能科学与技术丛书：模式识别

定价：99.00元

售价：64.4元,便宜34.6元,折扣65

作者:吴建鑫

出版社：机械工业出版社

出版日期：2020-03-01

ISBN：9787111643890

字数：

页码：

版次：1

装帧：平装-胶订

开本：16开

商品重量：0.4kg

编辑推荐

(1）近年来，随着人工智能技术的快速发展和应用，外很多重点院校已经或正在成立人工智能学院/研究院或者人工智能专业，模式识别是其中的核心课程。现有的模式识别课程教材内容相对比较陈旧，未能包括模式识别领域的新知识和技术，如各种深度学习框架、端到端学习、软硬件结合等。

（2）为了适应当前模式识别方法与系统的新特性，南京大学计算机科学与技术系吴建鑫教授潜心6年时间写作了这本全新的模式识别课程入门教材，注重从四个方面（强调可读、注重实践、拓广视野、培养能力）培养学生培养独立解决任务的能力，为模式识别的项目开发及相关科研活动打好基础.

（3）本书作者吴建鑫现为南京大学计算机系教授、博导，机器学习与数据挖掘研究所（LAMDA）核心成员，同时他还入选国家青年，获得国家自然科学基金委员会青年科学基金支持，是模式识别与计算机视觉领域非常杰出的青年学者。2013年回国加入南京大学计算机系一直主讲模式识别课程，本书根据他这些年的课程讲义和科研实践，习题由作者自己设计，英文版即将由剑桥大学出版社出版。本书的正式出版将有望弥补目前模式识别课程教材内容陈旧、未能结合AI领域新技术的不足，更好地助力人工智能专业建设和人才培养。

内容提要

本书是模式识别领域的入门教材，系统阐述了模式识别中的基础知识、主要模型及热门应用，并给出了近年来本领域一些新的成果和观点；通过理论学习和动手实践相结合的形式使初学者能有效入门，并培养独立解决任务的能力，为模式识别的项目开发及相关科研活动打好基础.

全书共15章，大致分为五部分：部分（~4章）介绍了本书的概论和基础知识，包括绪论、数学背景知识、模式识别系统概述以及评估；二部分（5~6章）介绍了与领域知识无关的特征提取，包括主成分分析和Fisher线性判别；三部分（7~10章）介绍了分类器与其他工具，包括支持向量机、概率方法、距离度量与数据变换、信息论和决策树；四部分（1~12章）介绍了如何处理变化多端的数据，包括稀疏数据和未对齐数据、隐马尔可夫模型；五部分（3~15章）介绍了一些高阶课题，包括正态分布、EM算法和卷积神经网络.

本书可作为高等院校人工智能、计算机、自动化、电子和通信等相关专业研究生或本科生的教材，也可供人工智能、计算机、自动化、电子和通信等领域研究人员和工程技术人员参考.

目录

前言
符号表
部分概述.........................................................................1
章绪论.............................................................................2
1.1样例:自动驾驶..................................................................3
1.2模式识别与机器学习.............................................................5
1.2.1一个典型的模式识别流程.....................................................5
1.2.2模式识别vs.机器学习.......................................................8
1.2.3评估、部署和细化...........................................................9
1.3本书的结构......................................................................9
习题.................................................................................12
2章数学背景知识..................................................................14
2.1线性代数.......................................................................14
2.1.1内积、范数、距离和正交性..................................................14
2.1.2角度与不等式..............................................................15
2.1.3向量投影..................................................................16
2.1.4矩阵基础..................................................................17
2.1.5矩阵乘法..................................................................18
2.1.6方阵的行列式与逆..........................................................19
2.1.7方阵的特征值、特征向量、秩和迹............................................20
2.1.8奇异值分解................................................................22
2.1.9(半)正定实对称矩阵.......................................................22
2.2概率............................................................................23
2.2.1基础......................................................................23
2.2.2联合分布、条件分布与贝叶斯定理............................................25
2.2.3期望与方差/协方差矩阵.....................................................26
2.2.4不等式....................................................................27
2.2.5独立性与相关性............................................................28
2.2.6正态分布..................................................................29
2.3优化与矩阵微积分..............................................................30
2.3.1局部极小、必要条件和矩阵微积分............................................30
2.3.2凸优化与凹优化............................................................31
2.3.3约束优化和拉格朗日乘子法.................................................33
2.4算法复杂度.....................................................................34
2.5阅读材料.......................................................................35
习题.................................................................................35
3章模式识别系统概述.............................................................39
3.1人脸识别.......................................................................39
3.2一个简单的近邻分类器.......................................................40
3.2.1训练或学习................................................................40
3.2.2测试或预测................................................................40
3.2.3近邻分类器..............................................................41
3.2.4k-近邻....................................................................42
3.3丑陋的细节.....................................................................43
3.4制定假设并化简................................................................46
3.4.1设计工作环境vs.设计复杂算法.............................................46
3.4.2假设与简化................................................................47
3.5一种框架.......................................................................51
3.6阅读材料.......................................................................51
习题.................................................................................53
4章评估............................................................................55
4.1简单情形中的准确率和错误率..................................................55
4.1.1训练与测试误差............................................................56
4.1.2过拟合与拟合............................................................56
4.1.3使用验证集来选择超参数...................................................58
4.1.4交验证..................................................................59
4.2小化代价/损失...............................................................61
4.2.1正则化....................................................................62
4.2.2代价矩阵..................................................................62
4.2.3贝叶斯决策理论............................................................63
4.3不平衡问题中的评估............................................................64
4.3.1单个类别内的比率..........................................................64
4.3.2ROC曲线下的面积.........................................................65
4.3.3查准率、查全率和F值.....................................................66
4.4我们能达到100％的准确率吗..................................................68
4.4.1贝叶斯错误率..............................................................68
4.4.2真实标记..................................................................69
4.4.3偏置-方差分解.............................................................70
4.5对评估结果的信心..............................................................73
4.5.1为什么要取平均...........................................................73
4.5.2为什么要报告样本标准差..................................................74
4.5.3比较两个分类器............................................................75
4.6阅读材料.......................................................................79
习题.................................................................................79
二部分与领域知识无关的特征提取.............................................83
5章主成分分析.....................................................................84
5.1动机............................................................................84
5.1.1维度与内在维度............................................................84
5.1.2降维......................................................................86
5.1.3PCA与子空间方法.........................................................86
5.2PCA降维到零维子空间........................................................86
5.2.1想法-形式化-优化实践......................................................87
5.2.2一个简单的优化............................................................87
5.2.3一些注释..................................................................88
5.3PCA降维到一维子空间........................................................88
5.3.1新的形式化................................................................88
5.3.2优性条件与化简..........................................................89
5.3.3与特征分解的联系..........................................................90
5.3.4解........................................................................91
5.4PCA投影到更多维度...........................................................91
5.5完整的PCA算法...............................................................92
5.6方差的分析.....................................................................93
5.6.1从大化方差出发的PCA..................................................94
5.6.2一种更简单的推导..........................................................95
5.6.3我们需要多少维度呢.......................................................95
5.7什么时候使用或不用PCA呢..................................................96
5.7.1高斯数据的PCA..........................................................96
5.7.2非高斯数据的PCA........................................................96
5.7.3异常点数据的PCA......................................................98
5.8白化变换.......................................................................98
5.9特征分解vs.SVD..............................................................98
5.10阅读材料......................................................................99
习题.................................................................................99
6章Fisher线性判别..............................................................103
6.1用于二分类的FLD...........................................................104
6.1.1想法:什么是隔得很远呢..................................................104
6.1.2翻译成数学语言...........................................................105
6.1.3散度矩阵vs.协方差矩阵..................................................107
6.1.4两种散度矩阵以及FLD的目标函数........................................108
6.1.5优化.....................................................................108
6.1.6等等,我们有一条捷径.....................................................109
6.1.7二分类问题的FLD.......................................................109
6.1.8陷阱:要是S_W不可逆呢..................................................110
6.2用于多类的FLD..............................................................111
6.2.1稍加修改的符号和S_W....................................................111
6.2.2SB的候选................................................................111
6.2.3三个散度矩阵的故事.......................................................112
6.2.4解.......................................................................113
6.2.5找到更多投影方向.........................................................113
6.3阅读材料......................................................................113
习题................................................................................114
三部分分类器与其他工具.......................................................119
7章支持向量机...................................................................120
7.1SVM的关键思想..............................................................120
7.1.1简化它!简化它!简化它!..................................................120
7.1.2查找大（或较大）间隔的分类器...........................................121
7.2可视化并计算间隔.............................................................122
7.2.1几何的可视化.............................................................123
7.2.2将间隔作为优化来计算....................................................124
7.3大化间隔....................................................................124
7.3.1形式化...................................................................125
7.3.2各种简化.................................................................125
7.4优化与求解....................................................................127
7.4.1拉格朗日函数与KKT条件................................................127
7.4.2SVM的对偶形式..........................................................128
7.4.3优的b值与支持向量....................................................129
7.4.4同时考虑原始形式与对偶形式..............................................131
7.5向线性不可分问题和多类问题的扩展..........................................131
7.5.1不可分问题的线性分类器..................................................132
7.5.2多类SVM...............................................................134
7.6核SVM.......................................................................134
7.6.1核技巧...................................................................135
7.6.2Mercer条件与特征映射....................................................136
7.6.3流行的核函数与超参数....................................................137
7.6.4SVM的复杂度、权衡及其他...............................................138
7.7阅读材料......................................................................139
习题................................................................................139
8章概率方法......................................................................144
8.1思考问题的概率路线..........................................................144
8.1.1术语.....................................................................144
8.1.2分布与推断...............................................................145
8.1.3贝叶斯定理...............................................................145
8.2各种选择......................................................................146
8.2.1生成式模型vs.判别式模型................................................146
8.2.2参数化vs.非参数化.......................................................147
8.2.3该如何看待一个参数呢...................................................148
8.3参数化估计....................................................................148
8.3.1大似然.................................................................148
8.3.2大后验.................................................................150
8.3.3贝叶斯...................................................................151
8.4非参数化估计..................................................................153
8.4.1一个一维的例子...........................................................153
8.4.2直方图近似中存在的问题..................................................155
8.4.3让你的样本无远弗届.......................................................156
8.4.4核密度估计...............................................................157
8.4.5带宽选择.................................................................158
8.4.6多变量KDE.............................................................158
8.5做出决策......................................................................159
8.6阅读材料......................................................................159
习题................................................................................160
9章距离度量与数据变换..........................................................163
9.1距离度量和相似度度量........................................................163
9.1.1距离度量.................................................................164
9.1.2向量范数和度量...........................................................164
9.1.3l_p范数和l_p度量.........................................................165
9.1.4距离度量学习.............................................................167
9.1.5均值作为一种相似度度量..................................................168
9.1.6幂平均核.................................................................170
9.2数据变换和规范化.............................................................171
9.2.1线性回归.................................................................172
9.2.2特征规范化...............................................................173
9.2.3数据变换.................................................................175
9.3阅读材料......................................................................177
习题................................................................................177
0章信息论和决策树.............................................................182
10.1前缀码和霍夫曼树............................................................182
10.2信息论基础...................................................................183
10.2.1熵和不确定性...........................................................184
10.2.2联合和条件熵...........................................................184
10.2.3互信息和相对熵.........................................................185
10.2.4一些不等式.............................................................186
10.2.5离散分布的熵...........................................................187
10.3连续分布的信息论............................................................187
10.3.1微分熵.................................................................188
10.3.2多元高斯分布的熵......................................................189
10.3.3高斯分布是大熵分布..................................................191
10.4机器学习和模式识别中的信息论.............................................192
10.4.1大熵.................................................................192
10.4.2小交熵.............................................................193
10.4.3特征选择...............................................................194
10.5决策树........................................................................195
10.5.1异或问题及其决策树模型................................................195
10.5.2基于信息增益的结点划分................................................197
10.6阅读材料.....................................................................198
习题................................................................................199
四部分处理变化多端的数据....................................................203
1章稀疏数据和未对齐数据......................................................204
11.1稀疏机器学习................................................................204
11.1.1稀疏PCA............................................................204
11.1.2使用l₁范数诱导稀疏性.................................................205
11.1.3使用过完备的字典......................................................208
11.1.4其他一些相关的话题....................................................210
11.2动态时间规整................................................................212
11.2.1未对齐的时序数据......................................................212
11.2.2思路（或准则）.........................................................213
11.2.3可视化和形式化.........................................................214
11.2.4动态规划...............................................................215
11.3阅读材料.....................................................................218
习题................................................................................218
2章隐马尔可夫模型.............................................................222
12.1时序数据与马尔可夫性质.....................................................222
12.1.1各种各样的时序数据和模型..............................................222
12.1.2马尔可夫性质...........................................................224
12.1.3离散时间马尔可夫链....................................................225
12.1.4隐马尔可夫模型.........................................................227
12.2HMM学习中的三个基本问题................................................228
12.3α、β和评估问题.............................................................229
12.3.1前向变量和算法.........................................................230
12.3.2后向变量和算法.........................................................231
12.4γ、δ、ψ和解码问题..........................................................234
12.4.1γ和独立解码的优状态................................................234
12.4.2δ、ψ和联合解码的优状态.............................................235
12.5ξ和HMM参数的学习.......................................................237
12.5.1Baum-Welch:以期望比例来更新.......................................238
12.5.2如何计算ξ.............................................................238
12.6阅读材料.....................................................................240
习题................................................................................241
五部分高阶课题.................................................................245
3章正态分布.....................................................................246
13.1定义..........................................................................246
13.1.1单变量正态分布.........................................................246
13.1.2多元正态分布...........................................................247
13.2符号和参数化形式............................................................248
13.3线性运算与求和..............................................................249
13.3.1单变量的情形...........................................................249
13.3.2多变量的情形...........................................................250
13.4几何和马氏距离..............................................................251
13.5条件作用.....................................................................252
13.6高斯分布的乘积..............................................................253
13.7应用:参数估计............................................................254
13.7.1大似然估计...........................................................254
13.7.2贝叶斯参数估计.........................................................255
13.8应用:卡尔曼滤波..........................................................256
13.8.1模型...................................................................256
13.8.2估计...................................................................257
13.9在本章中有用的数学.........................................................258
13.9.1高斯积分...............................................................258
13.9.2特征函数...............................................................259
13.9.3舒尔补&矩阵求逆引理.................................................260
13.9.4向量和矩阵导数.........................................................262
习题................................................................................263
4章EM算法的基本思想........................................................266
14.1GMM:一个工作实例.........................................................266
14.1.1高斯混合模型...........................................................266
14.1.2基于隐变量的诠释......................................................267
14.1.3假若我们能观测到隐变量,那会怎样......................................268
14.1.4我们可以模仿先知吗...................................................269
14.2EM算法的非正式描述.......................................................270
14.3期望大化算法..............................................................270
14.3.1联合非凹的不完整数据对数似然..........................................271
14.3.2(可能是)凹的完整数据对数似然..........................................271
14.3.3通用EM的推导........................................................272
14.3.4E步和M步...........................................................274
14.3.5EM算法...............................................................275
14.3.6EM能收敛吗..........................................................275
14.4EM用于GMM..............................................................276
14.5阅读材料.....................................................................279
习题................................................................................279
5章卷积神经网络................................................................281
15.1预备知识.....................................................................281
15.1.1张量和向量化...........................................................282
15.1.2向量微积分和链式法则..................................................283
15.2N概览....................................................................283
15.2.1结构...................................................................283
15.2.2前向运行...............................................................285
15.2.3梯度下降...........................................................285
15.2.4误差反向传播...........................................................286
15.3层的输入、输出和符号.......................................................287
15.4ReLU层......................................................................288
15.5卷积层........................................................................290
15.5.1什么是卷积............................................................290
15.5.2为什么要进行卷积.....................................................291
15.5.3卷积作为矩阵乘法......................................................293
15.5.4克罗内克积.............................................................295
15.5.5反向传播:更新参数.....................................................296
15.5.6更高维的指示矩阵......................................................297
15.5.7反向传播:为前一层准备监督信号.........................................298
15.5.8用卷积层实现全连接层..................................................300
15.6汇合层........................................................................301
15.7案例分析:VGG-16网络......................................................303
15.7.1VGG-Verydeep-16......................................................303
15.7.2感受野.................................................................304
15.8N的亲身体验.............................................................305
15.9阅读材料.....................................................................305
习题................................................................................305
参考文献................................................................................309
英文索引................................................................................325
中文索引................................................................................332

作者介绍

吴建鑫

南京大学计算机科学与技术系教授、博士生导师，入选青年海外高层次人才引进计划（青年），2014年获得国家自然科学基金委青年科学基金项目支持. 同时，担任Minieye首席科学家（minieye.cc）. 主要从事计算机视觉和机器学习等领域的研究. 在重要国际期刊如TPAMI、IJCV、AIJ、JMLR等以及重要国际会议如ICCV、CVPR、ICML等发表论文六十余篇. 曾担任国际会议ICCV、AAAI、CVPR等领域主席。发表论文被60余个国家和地区的学者引用7000余次.

文摘

序言