目錄

第1章Python網(wǎng)絡爬蟲入門

1.1所需技能與Python版本

1.1.1所需技術(shù)能力

1.1.2選擇Python的原因

1.1.3選擇Python 3.x的原因

1.2初識網(wǎng)絡爬蟲

1.2.1網(wǎng)絡爬蟲的概念

1.2.2網(wǎng)絡爬蟲的應用

1.2.3Robots協(xié)議

1.3搜索引擎核心

1.4快速爬取網(wǎng)頁示例

1.5本章小結(jié)

1.6習題

第2章爬蟲基礎(chǔ)知識

2.1Cookie的使用

2.1.1Cookie的概念

2.1.2使用Cookiejar處理Cookie

2.2正則表達式

2.2.1正則表達式的概念

2.2.2正則表達式詳解

2.3標記語言

2.4XPath

2.5JSON

2.6BeautifulSoup

2.6.1安裝BeautifulSoup

2.6.2BeautifulSoup的使用

2.7本章小結(jié)

2.8習題

第3章urllib與requests

3.1urllib庫

3.1.1urllib庫的概念

3.1.2urllib庫的使用

3.2設置HTTP請求方法

3.2.1GET請求實戰(zhàn)

3.2.2設置代理服務

3.3異常處理

3.3.1URLError異常處理

3.3.2HTTPError異常處理

3.4requests庫

3.4.1安裝requests庫

3.4.2發(fā)送請求

3.4.3響應接收

3.4.4會話對象

3.5本章小結(jié)

3.6習題

第4章網(wǎng)絡爬蟲實例

4.1圖片爬蟲實例

4.2鏈接爬蟲實例

4.3文字爬蟲實例

4.4微信文章爬蟲

4.5多線程爬蟲及實例

4.6本章小結(jié)

4.7習題

第5章數(shù)據(jù)處理

5.1存儲HTML正文內(nèi)容

5.1.1存儲為JSON格式

5.1.2存儲為CSV格式

5.2存儲媒體文件

5.3Email提醒

5.4pymysql模塊

5.5本章小結(jié)

5.6習題

第6章數(shù)據(jù)庫存儲

6.1SQLite

6.1.1SQLite介紹

6.1.2安裝SQLite

6.1.3Python與SQLite

6.1.4創(chuàng)建SQLite表

6.1.5添加SQLite表記錄

6.1.6查詢SQLite表記錄

6.1.7更新SQLite表記錄

6.1.8刪除SQLite表記錄

6.2MongoDB

6.2.1MongoDB簡介

6.2.2MongoDB適用場景

6.2.3MongoDB的安裝

6.2.4MongoDB基礎(chǔ)

6.2.5在Python中操作MongoDB

6.3Redis

6.3.1Redis簡介

6.3.2Redis適用場景

6.3.3Redis的安裝

6.3.4Redis數(shù)據(jù)類型與操作

6.3.5在Python中操作Redis

6.4本章小結(jié)

6.5習題

第7章抓取動態(tài)網(wǎng)頁內(nèi)容

7.1JavaScript簡介

7.1.1JS語言特性

7.1.2JS簡單示例

7.1.3JavaScript庫

7.1.4Ajax簡介

7.2爬取動態(tài)網(wǎng)頁的工具

7.2.1Selenium庫

7.2.2PhantomJS瀏覽器

7.2.3Firefox的headless模式

7.2.4Selenium的選擇器

7.2.5Selenium等待方式

7.2.6客戶端重定向

7.3爬取動態(tài)網(wǎng)頁實例

7.4本章小結(jié)

7.5習題

第8章瀏覽器偽裝與定向爬取

8.1瀏覽器偽裝介紹

8.1.1抓包工具Fiddler

8.1.2瀏覽器偽裝過程分析

8.1.3瀏覽器偽裝技術(shù)實戰(zhàn)

8.2定向爬蟲

8.2.1定向爬蟲分析

8.2.2定向爬蟲實戰(zhàn)

8.3本章小結(jié)

8.4習題

第9章初探Scrapy爬蟲框架

9.1了解爬蟲框架

9.1.1初識Scrapy框架

9.1.2初識Crawley框架

9.1.3初識Portia框架

9.1.4初識Newspaper框架

9.2Scrapy介紹

9.2.1安裝Scrapy

9.2.2Scrapy程序管理

9.2.3Scrapy項目的目錄結(jié)構(gòu)

9.3常用命令

9.3.1Scrapy全局命令

9.3.2Scrapy項目命令

9.3.3Scrapy的Item對象

9.4編寫Spider程序

9.4.1初識Spider

9.4.2Spider文件參數(shù)傳遞

9.5Spider反爬蟲機制

9.6本章小結(jié)

9.7習題

第10章深入Scrapy爬蟲框架

10.1Scrapy核心架構(gòu)

10.2Scrapy組件詳解

10.3Scrapy數(shù)據(jù)處理

10.3.1Scrapy數(shù)據(jù)輸出

10.3.2Scrapy數(shù)據(jù)存儲

10.4Scrapy自動化爬取

10.4.1創(chuàng)建項目并編寫items.py

10.4.2編寫pipelines.py

10.4.3修改settings.py

10.4.4編寫爬蟲文件

10.4.5執(zhí)行自動化爬蟲

10.5CrawlSpider

10.5.1創(chuàng)建CrawlSpider

10.5.2LinkExtractor

10.5.3CrawlSpider部分源代碼分析

10.5.4實例CrawlSpider

10.6本章小結(jié)

10.7習題

第11章Scrapy實戰(zhàn)項目

11.1文章類項目

11.1.1需求分析

11.1.2實現(xiàn)思路

11.1.3程序設計

11.1.4請求分析

11.1.5循環(huán)網(wǎng)址

11.1.6爬蟲運行

11.2圖片類項目

11.2.1需求分析

11.2.2實現(xiàn)思路

11.2.3程序設計

11.2.4項目實現(xiàn)

11.3登錄類項目

11.3.1需求分析

11.3.2實現(xiàn)思路

11.3.3程序設計

11.3.4項目實現(xiàn)

11.4本章小結(jié)

11.5習題

第12章分布式爬蟲

12.1簡單分布式爬蟲

12.1.1進程及進程間通信

12.1.2簡單分布式爬蟲結(jié)構(gòu)

12.1.3控制節(jié)點

12.1.4爬蟲節(jié)點

12.2Scrapy與分布式爬蟲

12.2.1Scrapy中集成Redis

12.2.2MongoDB集群

12.3Scrapy分布式爬蟲實戰(zhàn)

12.3.1創(chuàng)建爬蟲

12.3.2定義Item

12.3.3爬蟲模塊

12.3.4編寫Pipeline

12.3.5修改Settings

12.3.6運行項目

12.4去重優(yōu)化

12.5本章小結(jié)

12.6習題