欧美一级免费看视频网站,污网站在线观看视频

本書介紹如何使用Python語(yǔ)言進(jìn)行網(wǎng)絡(luò)爬蟲程序的開發(fā)，從Python語(yǔ)言的基本特性入手，詳細(xì)介紹了Python爬蟲程序開發(fā)的各個(gè)方面，包括HTTP、HTML、JavaScript、正則表達(dá)式、自然語(yǔ)言處理、數(shù)據(jù)科學(xué)等不同領(lǐng)域的內(nèi)容。全書共14章，分為基礎(chǔ)篇、進(jìn)階篇、提高篇和實(shí)戰(zhàn)篇四個(gè)部分，內(nèi)容覆蓋網(wǎng)絡(luò)抓取與爬蟲編程中的主要知識(shí)和技術(shù)。同時(shí)，本書在重視理論基礎(chǔ)的前提下，從實(shí)用性和豐富度出發(fā)，結(jié)合實(shí)例演示了編寫爬蟲程序的核心流程。
本書適合Python語(yǔ)言初學(xué)者、網(wǎng)絡(luò)爬蟲技術(shù)愛好者、數(shù)據(jù)分析從業(yè)人員以及高等院校計(jì)算機(jī)科學(xué)、軟件工程等相關(guān)專業(yè)的師生閱讀。

網(wǎng)絡(luò)爬蟲是一種數(shù)據(jù)采集技術(shù)，也是一種能夠按照一定規(guī)則自動(dòng)抓取互聯(lián)網(wǎng)上信息的程序或腳本。一個(gè)常見的應(yīng)用是搜索引擎的爬蟲，它為搜索引擎爬取互聯(lián)網(wǎng)上眾多的網(wǎng)頁(yè)，以便用戶能夠準(zhǔn)確地在互聯(lián)網(wǎng)上找到自己想要的內(nèi)容。一般來(lái)講，傳統(tǒng)爬蟲都是從一個(gè)或若干個(gè)初始網(wǎng)頁(yè)的URL開始，不斷分析頁(yè)面上的元素并抓取需要的內(nèi)容，或沿著層級(jí)不斷深入抓取，或在頁(yè)面同級(jí)遍歷抓取，直到滿足一定條件才會(huì)停止。爬蟲在大數(shù)據(jù)的核心技術(shù)中也具有至關(guān)重要的作用，除了購(gòu)買的數(shù)據(jù)集之外，爬蟲爬取數(shù)據(jù)也是獲取數(shù)據(jù)的一條主要途徑。此外，所有被爬蟲抓取到的數(shù)據(jù)都會(huì)被系統(tǒng)存儲(chǔ)，進(jìn)行一定的分析、過(guò)濾，并建立索引，以便之后的查詢、檢索和使用。
Python是一種解釋型、面向?qū)ο蟮摹?dòng)態(tài)數(shù)據(jù)類型的高級(jí)程序設(shè)計(jì)語(yǔ)言，Python語(yǔ)法簡(jiǎn)潔、功能強(qiáng)大，在眾多高級(jí)語(yǔ)言中擁有十分出色的編寫效率，同時(shí)還擁有活躍的開源社區(qū)和海量程序庫(kù)，十分適合用來(lái)進(jìn)行網(wǎng)絡(luò)內(nèi)容的抓取和處理。本書將以Python語(yǔ)言為基礎(chǔ)，由淺入深地探討網(wǎng)絡(luò)爬蟲技術(shù)，同時(shí)，通過(guò)具體的程序編寫和實(shí)踐來(lái)幫助讀者了解與學(xué)習(xí)Python爬蟲。
本書共分為14章，第1章、第2章介紹了Python語(yǔ)言和爬蟲編寫的基礎(chǔ)知識(shí)。第3章介紹了靜態(tài)網(wǎng)頁(yè)采集。第4章討論了Python對(duì)文件和數(shù)據(jù)的存儲(chǔ)，涉及數(shù)據(jù)庫(kù)的相關(guān)知識(shí)。第5、6章的內(nèi)容針對(duì)相對(duì)復(fù)雜一些的爬蟲抓取任務(wù)，主要著眼于動(dòng)態(tài)網(wǎng)頁(yè)內(nèi)容的抓取、表單登錄和驗(yàn)證碼等方面。第7章涉及了對(duì)抓取到的原始數(shù)據(jù)的深入處理和分析。第8～10章旨在對(duì)爬蟲程序進(jìn)行更深入的探討，基于爬蟲介紹了多個(gè)不同主題的內(nèi)容。第11～14章通過(guò)一些實(shí)戰(zhàn)的例子來(lái)深入討論如何應(yīng)用爬蟲編程的理論知識(shí)。
本書的主要特點(diǎn)如下。
?內(nèi)容全面，結(jié)構(gòu)清晰：本書詳細(xì)介紹了網(wǎng)絡(luò)爬蟲技術(shù)的方方面面，討論了數(shù)據(jù)抓取、數(shù)據(jù)處理和數(shù)據(jù)分析的整個(gè)流程。全書結(jié)構(gòu)清晰，堅(jiān)持理論知識(shí)與實(shí)踐操作相結(jié)合。
?循序漸進(jìn)，生動(dòng)簡(jiǎn)潔：從最簡(jiǎn)單的Python程序示例開始，在網(wǎng)絡(luò)爬蟲的核心主題之下一步步深入，兼顧內(nèi)容的廣度與深度。在行文中，使用生動(dòng)簡(jiǎn)潔的闡述方式，力爭(zhēng)詳略得當(dāng)。
?示例豐富，實(shí)戰(zhàn)性強(qiáng)：網(wǎng)絡(luò)爬蟲是實(shí)踐性、操作性非常強(qiáng)的技術(shù)，本書將提供豐富的代碼來(lái)作為讀者的參考，同時(shí)對(duì)必要的術(shù)語(yǔ)和代碼進(jìn)行解釋。從實(shí)際出發(fā)，選取實(shí)用性、趣味性兼具的主題進(jìn)行網(wǎng)絡(luò)爬蟲實(shí)踐。
?內(nèi)容新穎，不落窠臼：本書中程序代碼均采用Python 3版本，并使用了目前主流的各種Python框架和庫(kù)來(lái)編寫，注重內(nèi)容的時(shí)效性。網(wǎng)絡(luò)爬蟲需要?jiǎng)邮謱?shí)踐才能真正理解，本書大限度地保證了代碼與程序示例的易用性和易讀性。
本書的編者為呂云翔、張揚(yáng)、楊壯、姚澤良、韓延剛、李彬涵、徐羿、黃逸菲，曾洪立參與了部分內(nèi)容的編寫及資料整理工作。
由于編者水平有限，疏漏和不足之處在所難免，歡迎廣大讀者與我們交流討論。

前言
基礎(chǔ) 篇
第1章 Python基礎(chǔ)及網(wǎng)絡(luò)爬蟲1
1.1 了解Python語(yǔ)言1
1.1.1 Python是什么2
1.1.2 Python的應(yīng)用現(xiàn)狀2
1.2 配置安裝Python開發(fā)環(huán)境3
1.2.1 在Windows上安裝3
1.2.2 在Ubuntu和MacOS上安裝4
1.2.3 IDE的使用：以PyCharm為例5
1.2.4 Jupyter Notebook簡(jiǎn)介9
1.3 Python基本語(yǔ)法介紹11
1.3.1 HelloWorld與數(shù)據(jù)類型11
1.3.2 邏輯語(yǔ)句17
1.3.3 Python中的函數(shù)與類20
1.3.4 更深入了解Python22
1.4 互聯(lián)網(wǎng)、HTTP與HTML22
1.4.1 互聯(lián)網(wǎng)與HTTP22
1.4.2 HTML23
1.5 Hello, Spider!25
1.5.1 編寫第一個(gè)爬蟲程序25
1.5.2 對(duì)爬蟲的思考27
1.6 分析網(wǎng)站28
1.6.1 robots.txt與Sitemap簡(jiǎn)介28
1.6.2 網(wǎng)站技術(shù)分析31
1.6.3 網(wǎng)站所有者信息分析33
1.6.4 使用開發(fā)者工具檢查網(wǎng)頁(yè)34
1.7 本章小結(jié)37
1.8 實(shí)踐：Python環(huán)境的配置與
爬蟲的運(yùn)行37
1.8.1 需求說(shuō)明37
1.8.2 實(shí)現(xiàn)思路及步驟37
1.9 習(xí)題37
第2章數(shù)據(jù)采集與預(yù)處理39
2.1 數(shù)據(jù)39
2.1.1 數(shù)據(jù)的概念39
2.1.2 數(shù)據(jù)類型40
2.1.3 數(shù)據(jù)的存儲(chǔ)形式42
2.1.4 數(shù)據(jù)的價(jià)值42
2.1.5 大數(shù)據(jù)時(shí)代43
2.2 數(shù)據(jù)分析過(guò)程43
2.3 數(shù)據(jù)采集44
2.3.1 數(shù)據(jù)采集的概念44
2.3.2 數(shù)據(jù)采集的數(shù)據(jù)源44
2.3.3 數(shù)據(jù)采集方法45
2.4 數(shù)據(jù)清洗45
2.4.1 數(shù)據(jù)清洗概述45
2.4.2 數(shù)據(jù)清洗的內(nèi)容46
2.4.3 數(shù)據(jù)清洗的基本流程46
2.4.4 數(shù)據(jù)清洗的評(píng)價(jià)標(biāo)準(zhǔn)47
2.5 數(shù)據(jù)集成47
2.6 數(shù)據(jù)轉(zhuǎn)換48
2.6.1 數(shù)據(jù)轉(zhuǎn)換概念與策略48
2.6.2 平滑處理48
2.6.3 標(biāo)準(zhǔn)化處理50
2.7 數(shù)據(jù)脫敏50
2.7.1 數(shù)據(jù)脫敏的原則50
2.7.2 數(shù)據(jù)脫敏的方法51
2.8 本章小結(jié)51
2.9 實(shí)踐：使用Python嘗試數(shù)據(jù)的
清洗51
2.9.1 需求說(shuō)明51
2.9.2 實(shí)現(xiàn)思路及步驟51
2.10 習(xí)題51
第3章靜態(tài)網(wǎng)頁(yè)采集53
3.1 從采集開始53
3.2 正則表達(dá)式54
3.2.1 什么是正則表達(dá)式54
3.2.2 正則表達(dá)式的簡(jiǎn)單使用56
3.3 BeautifulSoup爬蟲58
3.3.1 安裝BeautifulSoup58
3.3.2 BeautifulSoup的基本用法61
3.4 XPath與lxml64
3.4.1 XPath64
3.4.2 lxml與XPath的使用65
3.5 遍歷頁(yè)面67
3.5.1 抓取下一個(gè)頁(yè)面67
3.5.2 完成爬蟲68
3.6 使用API70
3.6.1 API簡(jiǎn)介70
3.6.2 API使用示例72
3.7 本章小結(jié)75
3.8 實(shí)踐：?jiǎn)袅▎袅ㄖ辈ラg信息
爬取練習(xí)75
3.8.1 需求說(shuō)明75
3.8.2 實(shí)現(xiàn)思路及步驟75
3.9 習(xí)題76
第4章數(shù)據(jù)存儲(chǔ)77
4.1 Python中的文件77
4.1.1 Python的文件讀寫77
4.1.2 對(duì)象序列化79
4.2 Python中的字符串80
4.3 Python中的圖片81
4.3.1 PIL與Pillow模塊81
4.3.2 Python與OpenCV簡(jiǎn)介83
4.4 CSV84
4.4.1 CSV簡(jiǎn)介84
4.4.2 CSV的讀寫84
4.5 數(shù)據(jù)庫(kù)的使用86
4.5.1 MySQL的使用86
4.5.2 SQLite3的使用88
4.5.3 SQLAlchemy的使用89
4.5.4 Redis的使用91
4.5.5 MongoDB的使用91
4.6 其他類型的文檔92
4.7 本章小結(jié)97
4.8 實(shí)踐：使用Python 3讀寫SQLite
數(shù)據(jù)庫(kù)97
4.8.1 需求說(shuō)明97
4.8.2 實(shí)現(xiàn)思路及步驟97
4.9 習(xí)題97

進(jìn) 階篇

第5章 JavaScript與動(dòng)態(tài)內(nèi)容99
5.1 JavaScript與AJAX技術(shù)100
5.1.1 JavaScript語(yǔ)言100
5.1.2 AJAX103
5.2 抓取AJAX數(shù)據(jù)104
5.2.1 分析數(shù)據(jù)104
5.2.2 數(shù)據(jù)提取108
5.3 抓取動(dòng)態(tài)內(nèi)容113
5.3.1 動(dòng)態(tài)渲染頁(yè)面113
5.3.2 使用Selenium114
5.3.3 PyV8與Splash120
5.4 本章小結(jié)123
5.5 實(shí)踐：爬取機(jī)械工業(yè)出版社新書
上架信息123
5.5.1 需求說(shuō)明123
5.5.2 實(shí)現(xiàn)思路及步驟124
5.6 習(xí)題124
第6章模擬登錄與驗(yàn)證碼125
6.1 表單125
6.1.1 表單與POST125
6.1.2 POST發(fā)送表單數(shù)據(jù)127
6.2 Cookie130
6.2.1 Cookie簡(jiǎn)介130
6.2.2 在Python中Cookie的使用131
6.3 模擬登錄網(wǎng)站133
6.3.1 分析網(wǎng)站133
6.3.2 Cookie方法的模擬登錄134
6.4 驗(yàn)證碼137
6.4.1 圖片驗(yàn)證碼137
6.4.2 滑動(dòng)驗(yàn)證139
6.5 本章小結(jié)142
6.6 實(shí)踐：通過(guò)Selenium模擬登錄Gitee并保存Cookie143
6.6.1 需求說(shuō)明143
6.6.2 實(shí)現(xiàn)思路及步驟143
6.7 習(xí)題143
第7章爬蟲數(shù)據(jù)的分析與處理144
7.1 Python與文本分析144
7.1.1 文本分析簡(jiǎn)介144
7.1.2 jieba與SnowNLP145
7.1.3 NLTK148
7.1.4 文本分類與聚類151
7.2 數(shù)據(jù)處理與科學(xué)計(jì)算153
7.2.1 從MATLAB到Python153
7.2.2 NumPy154
7.2.3 Pandas158
7.2.4 Matplotlib163
7.2.5 SciPy與SymPy167
7.3 本章小結(jié)167
7.4 實(shí)踐：中國(guó)每年大學(xué)招生人數(shù)
變化的可視化167
7.4.1 需求說(shuō)明167
7.4.2 實(shí)現(xiàn)思路及步驟167
7.5 習(xí)題167

提高篇

第8章爬蟲的靈活性和多樣性169
8.1 爬蟲的靈活性以微信數(shù)據(jù)
抓取為例169
8.1.1 用Selenium抓取Web微信信息169
8.1.2 基于Python的微信API工具173
8.2 爬蟲的多樣性176
8.2.1 在BeautifulSoup和XPath之外176
8.2.2 在線爬蟲應(yīng)用平臺(tái)179
8.2.3 使用urllib180
8.3 爬蟲的部署和管理188
8.3.1 使用服務(wù)器部署爬蟲188
8.3.2 本地爬蟲的編寫

你還可能感興趣

我要評(píng)論