本书首先介绍自然语言处理领域的基本构件，接着介绍使用最先进的神经网络模型可以解决的问题。深入研究各种神经网络架构及其特定的应用领域将有助于你理解如何选择最佳模型来满足你的需求。随着学习的深入，你将学到卷积神经网络、循环神经网络、递归神经网络以及长短期记忆网络。在后面的章节中，你将能够使用自然语言处理技术（如注意力机制模型和集束搜索）开发应用程序。学完本书，你不仅能具备自然语言处理的基础知识，还能选择适合的文本预处理和神经网络模型来解决一些自然语言处理的问题。

　　将深度学习方法应用于各种自然语言处理任务可以将你的计算算法在速度和准确性方面提升到一个全新的水平。本书首先介绍自然语言处理领域的基本构件，接着介绍了使用最先进的神经网络模型可以解决的问题。随着学习的深入，读者将学习卷积神经网络、递归神经网络和迭代神经网络，此外还包括长期短期记忆网络（LSTM）。在后面的章节中，读者将能够使用自然语言处理技术开发应用程序，例如注意力模型和集束搜索（Beam Search）。

　　卡蒂克·雷迪·博卡（Karthiek Reddy Bokka）
　　语音和音频机器学习工程师，毕业于南加州大学，目前在波特兰的 Bi-amp Systems公司工作。他的兴趣包括深度学习、数字信号和音频处理、自然语言处理以及计算机视觉。他拥有设计、构建和部署人工智能应用程序的经验，这些应用程序可以用各种形式的实际数据（包括图像、语音、音乐、非结构化原始数据等）来解决现实世界中的问题。
　　舒班吉·霍拉（Shubhangi Hora）
　　Python开发者、人工智能爱好者和作家。她有计算机科学和心理学背景，对与心理健康相关的人工智能特别感兴趣。她住在印度浦那，热衷于通过机器学习和深度学习来推进自然语言处理。除此之外，她还喜欢表演艺术，是一名训练有素的音乐家。
　　塔努吉·贾因（Tanuj Jain）
　　在德国公司工作的数据科学家。他一直在开发深度学习模型，并将其投入生产以商用。他对自然语言处理特别感兴趣，并将自己的专业知识应用于分类和情感评级任务。他拥有电气工程硕士学位，主要研究统计模式识别。
　　莫尼卡·瓦姆布吉（Monicah Wambugu）
　　金融技术公司的首席数据科学家，该公司通过利用数据、机器学习和分析来提供小额贷款，以执行替代信用评分。她是加州大学伯克利分校信息管理与系统硕士研究生。Monicah对如何利用数据科学和机器学习来设计产品和应用程序，以满足目标受众的行为和社会经济需求特别感兴趣。

译者序
前言
第1章 自然语言处理
1.1 本章概览
1.2 自然语言处理的基础知识
1.3 自然语言处理的能力
1.4 自然语言处理中的应用
1.4.1 文本预处理
1.4.2 文本预处理技术
1.5 词嵌入
1.6 本章小结
第2章 自然语言处理的应用
2.1 本章概览
2.2 词性标注
2.2.1 词性
2.2.2 词性标注器
2.3 词性标注的应用
2.4 分块
2.5 加缝
2.6 命名实体识别
2.6.1 命名实体
2.6.2 命名实体识别器
2.6.3 命名实体识别的应用
2.6.4 命名实体识别器类型
2.7 本章小结
第3章 神经网络
3.1 本章概览
3.1.1 深度学习简介
3.1.2 机器学习与深度学习的比较
3.2 神经网络
3.3 训练神经网络
3.3.1 计算权重
3.3.2 损失函数
3.3.3 梯度下降算法
3.3.4 反向传播
3.4 神经网络的设计及其应用
3.4.1 有监督神经网络
3.4.2 无监督神经网络
3.5 部署模型即服务的基础
3.6 本章小结
第4章 卷积神经网络
4.1 本章概览
4.2 理解CNN的架构
4.2.1 特征提取
4.2.2 随机失活
4.2.3 卷积神经网络的分类
4.3 训练CNN
4.4 CNN的应用领域
4.5 本章小结
第5章 循环神经网络
5.1 本章概览
5.2 神经网络的早期版本
5.3 RNN
5.3.1 RNN架构
5.3.2 BPTT
5.4 更新和梯度流
5.4.1 调整权重矩阵Wy
5.4.2 调整权重矩阵Ws
5.4.3 关于更新Wx
5.5 梯度
5.5.1 梯度爆炸
5.5.2 梯度消失
5.5.3 Keras实现RNN
5.5.4 有状态与无状态
5.6 本章小结
第6章 门控循环单元
6.1 本章概览
6.2 简单RNN的缺点
6.3 门控循环单元
6.3.1 门的类型
6.3.2 更新门
6.3.3 重置门
6.3.4 候选激活函数
6.3.5 GRU变体
6.4 基于GRU的情感分析
6.5 本章小结
第7章 长短期记忆网络
7.1 本章概览
7.1.1 LSTM
7.1.2 遗忘门
7.2 输入门和候选单元状态
7.3 输出门和当前激活
7.4 神经语言翻译
7.5 本章小结
第8章 自然语言处理前沿
8.1 本章概览
8.1.1 注意力机制
8.1.2 注意力机制模型
8.1.3 使用注意力机制的数据标准化
8.1.4 编码器
8.1.5 解码器
8.1.6 注意力机制
8.1.7 α的计算
8.2 其他架构和发展状况
8.2.1 transformer
8.2.2 BERT
8.2.3 Open AI GPT-2
8.3 本章小结
第9章 组织中的实际NLP项目工作流
9.1 本章概览
9.1.1 机器学习产品开发的一般工作流
9.1.2 演示工作流
9.1.3 研究工作流
9.1.4 面向生产的工作流
9.2 问题定义
9.3 数据采集
9.4 谷歌Colab
9.5 Flask
9.6 部署
9.6.1 对Flask网络应用程序进行更改
9.6.2 使用Docker将Flask网络应用程序包装到容器中
9.6.3 将容器托管在亚马逊网络服务EC2实例上
9.6.4 改进
9.7 本章小结
附录

　　前言
　　本书首先介绍自然语言处理领域的基本构件，接着介绍使用最先进的神经网络模型可以解决的问题，将深入涵盖文本处理任务中所需的必要预处理以及自然语言处理领域的一些热门话题，包括卷积神经网络、循环神经网络和长短期记忆网络。通过阅读本书，读者将理解文本预处理以及超参数调整的重要性。
　　学习目标
　　·学习自然语言处理的基础知识。
　　·了解深度学习问题的各种预处理技术。
　　·使用word2vec和GloVe构建文本的矢量表示。
　　·理解命名实体识别。
　　·使用机器学习进行词性标注。
　　·训练和部署可扩展的模型。
　　·了解神经网络的几种架构。
　　目标读者
　　对自然语言处理领域的深度学习感兴趣的有抱负的数据科学家和工程师。
　　他们将从自然语言处理概念的基础开始，逐渐深入到神经网络的概念及其在文本处理问题中的应用。他们将学习不同的神经网络架构及其应用领域。需要具备丰富的Python知识和线性代数技能。
　　方法
　　本书从自然语言处理的基本概念讲起，在了解了基本概念之后，读者将逐渐意识到自然语言处理技术在现实世界中的应用和问题。接下来本书针对这些问题领域介绍开发解决方案的方法。本书还讨论了作为基于解决方案的方法的一部分的神经网络的基本构造块。最后通过实例阐述各种现代的神经网络架构及其相应的应用领域。
　　硬件要求
　　为了获得最佳体验，我们推荐以下硬件配置：
　　·处理器：英特尔酷睿i5或同级产品
　　·内存：4GB内存
　　·存储：5GB可用空间
　　软件需求
　　我们还建议你预先安装以下软件：
　　·操作系统：Windows 7 SP164位、Windows 8.164位或Windows 1064位、Linux（Ubuntu、Debian、Red Hat或Suse）或OS X的最新版本。
　　·Python 3.6.5或更高版本，最好是3.7。可访问https://www.python.org/downloads/release/python-371/下载。
　　·Jupyter（访问网站https://jupyter.org/install下载，按照说明安装）。或者，你可以使用Anaconda来安装Jupyter。
　　·Keras（https://keras.io/#installation）。
　　·Google Colab这是一个免费的Jupyter笔记本环境，运行在云基础架构上。强烈建议你使用它，因为其不需要任何设置，并且预先安装了流行的Python包和库（https://colab.research.google.com/note-books/welcome.ipynb）。
　　安装和设置
　　每一次伟大的旅程都是从一个不起眼的步骤开始的，对于即将到来的数据领域的冒险也不例外。在能够用数据做令人敬畏的事情之前，我们需要准备好最高效的环境。
　　在Windows上安装Python
　　1）在官方安装页面（https://www.python.org/downloads/windows/）上找到你想要的Python版本。
　　2）确保根据你的计算机系统安装正确的“位”版本（32位或64位）。你可以在操作系统的“系统属性”窗口中找到此信息。
　　下载安装程序后，只需双击文件，并按照屏幕上显示的用户友好提示操作。
　　在Linux上安装Python
　　要在Linux上安装Python，需执行以下操作：
　　1）在命令提示符下运行python3--version验证尚未安装p\Python 3。
　　2）要安装Python 3，请运行以下命令：
　　3）如果遇到问题，有许多在线资源可以帮助你解决问题。
　　在macOS X上安装Python
　　要在macOS X上安装Python，需执行以下操作：
　　1）通过按住“CMD+空格”组合键打开终端，在打开的搜索框中键入终端，然后按回车键。
　　2）通过命令行运行xcode--select--install来安装Xcode。
　　3）安装Python 3最简单的方法是使用homebrew，通过命令行运行ruby--e"$(curl-fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"来安装。
　　4）将homebrew添加到你的PATH环境变量中。通过运行sudo nano~/.profile在命令行中打开你的配置文件，并在底部插入export PATH="/usr/local/opt/python/libexec/bin:$PATH"。
　　5）最后一步是安装Python。在命令行中，运行brew install python。
　　6）注意，如果你安装Anaconda，最新版本的Python将自动安装。
　　安装Keras
　　要安装Keras，需执行以下步骤：
　　1）由于Keras需要另一个深度学习框架作为后端，你需要先下载另一个框架，建议使用TensorFlow。
　　要在你的平台上安装TensorFlow，请访问https://www.tensorflow.org/install/。
　　2）安装后端后，就可以使用以下命令安装Keras：
　　也可以从GitHub安装它，使用以下方法克隆Keras：
　　3）使用以下命令在Python上安装Keras：
　　现在需要配置后端。更多信息请参考链接https://keras.io/backend/。
　　下载示例代码及彩色图像
　　本书的示例代码及所有截图和样图，可以从//www.packtpub.com通过个人账号下载，也可以访问华章图书官网//www.hzbook.com，通过注册并登录个人账号下载。

　　自然语言处理的应用很广泛，例如，在我们的手机和智能音箱中的个人语音助手，如Alexa和Siri。它们不仅能够理解我们的说话内容，而且能够根据我们说的话采取行动，并做出反馈。自然语言处理算法促进了这种与人类沟通的技术。
　　在上述自然语言处理定义中要考虑的关键是：沟通需要以人类的自然语言进行。几十年来，我们一直在与机器沟通：创建程序来执行某些任务并执行。然而，这些程序是用非自然语言编写的，因为它们不是口头交流的形式，也不是自然或有机发展而来的。这些语言，例如Java、Python、C和C++，都是在主要考虑机器的情况下创建的，并且始终考虑的是“机器能够轻松理解和处理的是什么？”