Python3网络爬虫宝典

封面

版权信息

内容简介

前言

第1章 爬虫程序的构成和完整链条

1.1 一个简单的爬虫程序

1.2 爬虫的完整链条

1.3 爬取下来的数据被用在什么地方

1.4 爬虫工程师常用的库

1.5 数据存储

1.6 小试牛刀——出版社新闻资讯爬虫

实践题

本章小结

第2章 自动化工具的使用

2.1 网页渲染工具

2.2 App自动化工具

实践题

本章小结

第3章 增量爬取的原理与实现

3.1 增量爬取的分类和实现原理

3.2 增量池的复杂度和效率

3.3 Redis的数据持久化

实践题

本章小结

第4章 分布式爬虫的设计与实现

4.1 分布式爬虫的原理和分类

4.2 分布式爬虫库Scrapy-Redis

4.3 基于Redis的分布式爬虫

4.4 基于RabbitMQ的分布式爬虫

实践题

本章小结

第5章 网页正文自动化提取方法

5.1 Python Readability

5.2 基于文本及符号密度的网页正文提取方法

5.3 GeneralNewsExtractor

本章小结

第6章 Python项目打包部署与定时调度

6.1 如何判断项目是否需要部署

6.2 爬虫部署平台Scrapyd

6.3 Scrapyd源码深度剖析

6.4 项目打包与解包运行实战

6.5 定时功能

6.6 实战：开发Python项目管理平台Sailboat

6.7 分布式调度平台Crawlab核心架构解析

实践题