深度强化学习(Deep Reinforcement Learning,DRL)是一种新兴的通用人工智能算法技术,是人工智能迈向智能决策的重要一步。
关于深度强化学习的文章目前比较少,系统介绍深度强化学习的教材几乎没有。本书系统地介绍深度强化学习算法的基础知识。学习该算法的人员需要人工智能相关专业的背景,但是并不需要比较深的背景。本书以一种通俗易懂的、细致的方式对深度强化学习算法进行了讲解,力求帮助读者较快入门。深度强化学习涉及的知识面比较广,但其算法原理并不是想象得那么复杂。因此,本书会对其相关知识点进行简要的介绍,保证没有相关经验的读者也能够很好地理解本书的内容。通过本书的学习,希望读者能够掌握两大类别的深度强化学习算法:基于动态规划的算法以及基于策略梯度的算法。深度强化学习具有较广泛的使用场景,例如游戏决策、量化投资、动画仿真等,希望本书能够帮助读者适应不同的使用场景。
本书特点
● 前沿的研究方向:本书介绍人工智能目前最前沿的研究方向,是通用智能的基础。
● 完备的DRL 入门书籍:囊括经典,紧跟前沿,包括DRL 目前最新研究成果。
● 通俗易懂的讲解:用通俗易懂的语言,结合案例进行解析,适合所有人工智能相关专业的初学者,能帮助他们快速入门。
● 专业的经验:本书密切结合实际应用,是人工智能前沿研究及实践的经验总结。
本书内容安排
第1 章 深度强化学习概览
本章从当前人工智能飞速发展并引起广泛关注的背景出发,概述了深度强化学习的基本知识,强化学习和深度学习的发展历史、基本概念和特点等,以及深度强化学习的两种算法。
第2 章 强化学习基础
传统的强化学习是深度强化学习的基础。本章从马尔科夫模型出发介绍了马尔科夫决策过程,同时用比较通俗的语言介绍了强化学习中的两种问题,有模型强化学习问题以及无模型强化学习问题。现实中无模型强化学习问题是一种非常普遍的情况,因此重点介绍了其中的蒙特卡洛算法以及时序差分算法。
第3 章 深度学习基础
强化学习引入深度学习之后,性能得到了极大的提高。本章重点介绍深度学习的基础,主要从四个方面来介绍:深度学习简史、深度学习的基础概念、数据预处理以及深度学习的硬件基础。本章的学习对于强化学习甚至是机器学习都非常重要。
第4 章 功能神经网络层
功能神经网络层是深度学习的核心部分。本章将介绍深度学习过程中的激活函数、全连接层、参数开关Dropout 以及CNN 和RNN 等。本章最后也介绍了相关的网络设计技巧。
第5 章 卷积神经网络(CNN)
本章用大量的篇幅介绍卷积神经网络,这是因为目前DRL 都是基于CNN 实现的,是希望读者能够迅速掌握其相关知识,不要因为其难点而影响算法的学习。本章主要介绍了CNN 的网络结构、基于CNN 的经典模型,以及基于CNN 的流行应用。
第6 章 循环神经网络(RNN)
循环神经网络虽然不是深度强化学习的重点,但是也是深度学习的一个重要的网络结构,不难预见,基于RNN 的强化学习算法也会不断出现。本章介绍了RNN 的基础,同时介绍了RNN 的两种常见的结构:LSTM 以及GRU。
第7 章 如何实现CNN—用C 语言实现深度学习
本章结合代码,通过CNN 的C 语言实现力求使读者真正地认识神经网络,主要内容涉及和CNN 相关的基础结构,包括激活函数的实现、池化操作以及全连接网络的实现。此外,本章重点对卷积网络进行了讲解,包括前向传播和反向传播的具体实现。
第8 章 深度强化学习
本章介绍了深度强化学习的理论基础,是本书的理论重点,并结合传统的强化学习,介绍了记忆回放(Memory-Replay)机制以及蒙特卡洛搜索树。此外,对主流的两类深度强化学习算法及其结合进行了详细的理论推导。阅读本章需要一定的数学理论基础。
第9 章 深度强化学习算法框架
本章介绍了当前主流的深度强化学习算法框架,例如深度Q 学习算法、异步深度强化学习算法、异步优越性策略子- 评价算法等。
第10 章 深度强化学习应用实例
本章提供了一些深度强化学习的应用实例,希望通过具体的应用案例让读者了解深度强化学习算法。具体实例涉及计算机游戏、3D 动画仿真以及AlphaGo 技术解密。
本书由浅入深,先理论后操作,讲解全面易懂,尤其适合刚刚入门人工智能领域的新手。
适合阅读本书的读者
● 在校计算机专业本科生;
● 人工智能领域研究生;
● 人工智能领域研究员;
● 研究机器学习算法的相关人员;
● 人工智能领域爱好者。
本书源文件下载
本书提供代码源文件,有需要的读者可以通过扫描下面的二维码获取下载链接。若有关于本书的疑问和建议也可以在公众号留言,我们将竭诚为您服务。
编者