内容介绍

内容介绍

本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取， 后介绍了pyspider框架、Scrapy框架和分布式爬虫。 

本书适合Python程序员阅读。

《用Python写网络爬虫（第 2版》讲解了如何使用Python来编写网络爬虫程序，内容包括网络爬虫简介，从页面中抓取数据的3种方法，提取缓存中的数据，使用多个线程和进程进行并发抓取，抓取动态页面中的内容，与表单进行交互，处理页面中的验证码问题，以及使用Scarpy和Portia进行数据抓取，并在*后介绍了使用本书讲解的数据抓取技术对几个真实的 进行抓取的实例，旨在帮助读者活学活用书中介绍的技术。 《用Python写网络爬虫（第 2版》适合有一定Python编程经验而且对爬虫技术感兴趣的读者阅读。  

Scrapy是一个开源的Python爬虫框架，可以用来轻松提取从页面数据。Scrapy带有丰富的特性，可通过简单的编码或配置来访问，从而可以节省开发人员数周的开发时间，并高效地提取所需数据。Scrapy有一个高度活跃且迅速增长的社区，而且已经成为黑客、创业者和Web爬取专家的首*框架。 

本书讲解了Scrapy的基础知识，讨论了如何从任意源提取数据，如何清理数据，以及如何使用Python和第三方API进行处理，以满足自身需求。本书还讲解了如何将爬取的数据高效地馈入数据库、搜索引擎和流数据处理系统（比如Apache Spark）。在学习完本书后，你将对数据爬取胸有成竹，并将数据应用在自己的应用程序中。 

本书内容： 

使用HTML和Xpath提取所需的数据； 

使用Python编写Scrapy爬虫，并在网络上进行爬取 作； 

将数据推送到任意数据库、搜搜引擎或分析系统的方法； 

配置爬虫，使其 文件和图形，以及使用代理； 

创建用来限流数据的高效管道； 

使用Twitsted实践驱动的API并发处理数百个Item； 

让爬虫更快速，让内存使用率更高，以及对Scrapy性能进行调优的技巧； 

使用Scrapyd和Scrapinghub执行大规模分布式爬取 作的方法。

Scrapy是使用Python开发的一个快速、高层次的屏幕抓取和Web抓取框架，用于抓Web站点并从页面中提取结构化的数据。《精通Python爬虫框架Scrapy》以Scrapy 1.0版本为基础，讲解了Scrapy的基础知识，以及如何使用Python和三方API提取、整理数据，以满足自己的需求。 

本书共11章，其内容涵盖了Scrapy基础知识，理解HTML和XPath，安装Scrapy并爬取一个 ，使用爬虫填充数据库并输出到移动应用中，爬虫的强大功能，将爬虫部署到Scrapinghub云 ，Scrapy的配置与管理，Scrapy编程，管道秘诀，理解Scrapy性能，使用Scrapyd与实时分析进行分布式爬取。本书附录还提供了各种软件的安装与故障排除等内容。 

本书适合软件开发人员、数据科学家，以及对自然语言处理和机器学习感兴趣的人阅读。

目录

dy 章　开发环境配置　　1

1.1　Python 3的安装　　1

1.1.1　Windows下的安装　　1

1.1.2　Linux下的安装　　6

1.1.3　Mac下的安装　　8

1.2　请求库的安装　　10

1.2.1　requests的安装　　10

1.2.2　Selenium的安装　　11

1.2.3　ChromeDriver的安装　　12

1.2.4　GeckoDriver的安装　　15

1.2.5　PhantomJS的安装　　17

1.2.6　aiohttp的安装　　18

1.3　解析库的安装　　19

1.3.1　lxml的安装　　19

1.3.2　Beautiful Soup的安装　　21

1.3.3　pyquery的安装　　22

1.3.4　tesserocr的安装　　22

........

相关内容