激情春色国产原创,欧美日韩综合在线app,视频全是黄免费观看

本書介紹了Python3網(wǎng)絡(luò)爬蟲的常見技術(shù)。首先介紹了網(wǎng)頁的基礎(chǔ)知識(shí)，然后介紹了urllib、Requests請(qǐng)求庫以及XPath、Beautiful Soup等解析庫，接著介紹了selenium對(duì)動(dòng)態(tài)網(wǎng)站的爬取和Scrapy爬蟲框架，最后介紹了Linux基礎(chǔ)，便于讀者自主部署編寫好的爬蟲腳本。本書所有代碼和相關(guān)素材可以到GitHub下載獲取，地址為https://github.com/sfvsfv/Crawer。
本書主要面向?qū)W(wǎng)絡(luò)爬蟲感興趣的初學(xué)者。

本書內(nèi)容
本書通過簡(jiǎn)單易懂的案例，講解Python語言的爬蟲技術(shù)。全書共分為8章，第1章為網(wǎng)頁的內(nèi)容，第2~7章為爬蟲的內(nèi)容，第8章為Linux基礎(chǔ)。
第1章：介紹了HTML和CSS的基礎(chǔ)知識(shí)，雖然本章并不是直接與爬蟲相關(guān)，但它是學(xué)習(xí)爬蟲技術(shù)的基礎(chǔ)。對(duì)于已經(jīng)掌握基本網(wǎng)頁基礎(chǔ)的讀者，可以選擇跳過該章。
第2章：正式進(jìn)入爬蟲技術(shù)的學(xué)習(xí)階段，這一章介紹了最基本的兩個(gè)請(qǐng)求庫（urllib和Requests），有知識(shí)點(diǎn)的講解，也有實(shí)戰(zhàn)案例的講解。
第3章：本章對(duì)正則表達(dá)式做了詳細(xì)的描述，同時(shí)有案例的實(shí)踐。學(xué)完本章就可以掌握最基本的爬蟲技術(shù)了。
第4章：主要介紹XPath解析庫，配有實(shí)際的案例進(jìn)行講解，以幫助讀者加深理解和鞏固。
第5章：主要介紹另一個(gè)解析庫Beautiful Soup，它在提取數(shù)據(jù)中也很方便，對(duì)相關(guān)知識(shí)點(diǎn)以及實(shí)際的案例都有所講解。XPath和Beautiful Soup可以使信息的提取更加方便、快捷，是爬蟲利器。
第6章：主要介紹selenium自動(dòng)化測(cè)試�，F(xiàn)在越來越多的網(wǎng)站內(nèi)容是經(jīng)過 JavaScript 渲染得到的，而原始 HTML 文本可能不包含任何有效內(nèi)容，使用模塊selenium實(shí)現(xiàn)模擬瀏覽器進(jìn)行數(shù)據(jù)爬取是非常好的選擇。
第7章：在大規(guī)模數(shù)據(jù)的爬取中，不太用得上基礎(chǔ)模塊，Scrapy 是目前使用最廣泛的爬蟲框架之一，本章介紹了Scrapy爬蟲框架的詳細(xì)搭建和實(shí)踐。針對(duì)數(shù)據(jù)存儲(chǔ)過程部分使用的MySql數(shù)據(jù)庫，整章有多個(gè)實(shí)際的案例，以幫助讀者加深理解和鞏固。
第8章：主要介紹了Linux的基礎(chǔ)知識(shí)點(diǎn)，以幫助讀者能夠在服務(wù)器部署腳本。
相關(guān)資源
本書所有代碼和相關(guān)素材可以到GitHub下載獲取，地址為https://github.com/sfvsfv/Crawer。關(guān)于代碼的實(shí)用性需要聲明：所有代碼都是筆者在寫書階段編寫的，如果有部分爬蟲腳本失效，有可能是網(wǎng)站的結(jié)構(gòu)發(fā)生了變化。希望讀者在閱讀本書的過程中，以學(xué)習(xí)筆者所介紹的方法為主。
Python網(wǎng)絡(luò)爬蟲入門到實(shí)戰(zhàn)致謝
本書的撰寫與出版得益于同行眾多同類教程的啟發(fā)，以及陳姍姍老師和同伴周培源的幫助，在此深表感謝。同時(shí)也感謝一路走來支持筆者的讀者。由于本人水平有限，書中難免有不妥之處，誠摯期盼專家和廣大讀者批評(píng)指正。

前言
第1章 HTML與CSS基礎(chǔ)/
1.1概述引導(dǎo)/
1.2Hbuilder軟件下載與使用/
1.3HTML基礎(chǔ)/
1.3.1基本架構(gòu)/
1.3.2標(biāo)題和段落標(biāo)簽/
1.3.3文字標(biāo)簽/
1.3.4圖像標(biāo)簽/
1.3.5超鏈接標(biāo)簽/
1.3.6塊標(biāo)簽/
1.3.7列表標(biāo)簽/
1.3.8音頻視頻標(biāo)簽/
1.3.9表格標(biāo)簽/
1.3.10表單標(biāo)簽/
1.3.11框架標(biāo)簽/
1.4免費(fèi)網(wǎng)頁部署/
1.5為什么要使用CSS框架/
1.6選擇器/
1.6.1標(biāo)簽選擇器/
1.6.2類選擇器/
1.6.3ID選擇器/
1.6.4全局選擇器/
1.6.5屬性選擇器/
1.6.6包含選擇器/
1.6.7選擇器的綜合使用/
1.7CSS和HTML的結(jié)合方式/
1.7.1行內(nèi)樣式/
1.7.2內(nèi)嵌樣式/
1.7.3鏈接樣式/
1.7.4導(dǎo)入樣式/
1.7.5優(yōu)先級(jí)/
1.8CSS的常見屬性/
1.8.1字體屬性/
1.8.2文本屬性/
1.8.3尺寸屬性/
1.8.4背景屬性/
1.8.5制作照片墻/
1.9作業(yè)習(xí)題/
1.9.1HTML作業(yè)習(xí)題/
1.9.2CSS作業(yè)習(xí)題/Python網(wǎng)絡(luò)爬蟲入門到實(shí)戰(zhàn)
第2章 urllib、Requests基礎(chǔ)與實(shí)戰(zhàn)/
2.1urllib的使用/
2.1.1urlopen網(wǎng)址請(qǐng)求/
2.1.2網(wǎng)頁的保存和異常處理/
2.1.3構(gòu)造請(qǐng)求對(duì)象Requests/
2.1.4添加請(qǐng)求頭/
2.1.5SSL認(rèn)證/
2.2萬能視頻下載/
2.3Requests中g(shù)et的使用/
2.3.1Requests基礎(chǔ)：代碼獲取/
2.3.2Requests基礎(chǔ)：構(gòu)建請(qǐng)求/
2.3.3獲取cookie/
2.3.4添加請(qǐng)求頭/
2.3.5二進(jìn)制數(shù)據(jù)獲取/
2.4Requests中post的使用/
2.4.1提交數(shù)據(jù)表單/
2.4.2添加請(qǐng)求頭/
2.4.3提交json/
2.4.4普通文件上傳/
2.5Requests進(jìn)階/
2.5.1URLError和HTTPError/
2.5.2Fiddler的下載與簡(jiǎn)單使用/
2.5.3登錄網(wǎng)站/
2.5.4代理設(shè)置/
2.6實(shí)戰(zhàn)演練/
2.6.1獲取某搜索的代碼/
2.6.2下載圖片到本地/
2.6.3下載視頻到本地/
2.6.4爬取翻譯網(wǎng)站/目錄
第3章正則表達(dá)式基礎(chǔ)與實(shí)戰(zhàn)/
3.1正則表達(dá)式的定義/
3.2Python中的正則表達(dá)式/
3.3正則表達(dá)式函數(shù)/
3.3.1findall()函數(shù)/
3.3.2search()函數(shù)/
3.3.3split()函數(shù)/
3.3.4sub()函數(shù)/
3.3.5compile函數(shù)/
3.4特殊字符的使用/
3.4.1列表符/
3.4.2點(diǎn)符號(hào)/
3.4.3開始符和結(jié)束符/
3.4.4星號(hào)/
3.4.5加號(hào)/
3.4.6集合符號(hào)/
3.4.7或符號(hào)/
3.5特殊序列/
3.5.1匹配指定字符/
3.5.2匹配開頭、結(jié)尾和中間/
3.5.3匹配數(shù)字與非數(shù)字/
3.5.4空格與非空格匹配/
3.5.5數(shù)字與字母的匹配/
3.5.6貪婪模式與非貪婪模式/
3.6集合練習(xí)/
3.6.1指定的符號(hào)匹配/
3.6.2匹配任意范圍內(nèi)的小寫字母/
3.7匹配對(duì)象/
3.8正則實(shí)戰(zhàn)：段子爬取/
3.9作業(yè)習(xí)題/
第4章 XPath基礎(chǔ)與實(shí)戰(zhàn)/
4.1開始使用XPath/
4.1.1常見的HTML操作/
4.1.2常見的XML操作/
4.1.3瀏覽器使用XPath調(diào)試/
4.1.4谷歌插件的安裝與XPath Helper的使用/
4.1.5瀏覽器復(fù)制XPath/
4.2屬性的匹配/
4.2.1根據(jù)具體屬性匹配/
4.2.2通過屬性值的字段匹配/
4.2.3屬性值獲取/
4.3XPath處理HTML常用方法/
4.4實(shí)戰(zhàn)學(xué)習(xí)：房產(chǎn)網(wǎng)站爬取/
4.5多線程爬蟲/
4.5.1進(jìn)程和線程/
4.5.2Python中的多線程與單線程/
4.5.3單線程修改為多線程/
4.6作業(yè)習(xí)題/
第5章 Beautiful Soup基礎(chǔ)與實(shí)戰(zhàn)/
5.1什么是Beautiful Soup/
5.2解析器/
5.3解析庫的基本使用/
5.3.1代碼的排版/
5.3.2網(wǎng)頁文檔處理/
5.3.3獲取節(jié)點(diǎn)中的文本/
5.3.4根據(jù)屬性匹配/
5.4find_all方法搜索節(jié)點(diǎn)/
5.4.1基本使用/
5.4.2通過標(biāo)簽搜索/
5.4.3非參數(shù)搜索/
5.4.4CSS搜索/
5.4.5通過文本搜索/
5.4.6返回?cái)?shù)量限制/
5.5find方法搜索節(jié)點(diǎn)/
5.6CSS選擇器/
5.6.1通過標(biāo)簽名查找/
5.6.2通過標(biāo)簽的類名查找/
5.6.3通過標(biāo)簽的id查找/
5.6.4通過屬性查找/
5.7實(shí)戰(zhàn)一：爬取詩詞網(wǎng)站/
5.8實(shí)戰(zhàn)二：爬取求職網(wǎng)站/
第6章 selenium自動(dòng)化測(cè)試與實(shí)戰(zhàn)/
6.1環(huán)境搭建/
6.2單個(gè)元素定位/
6.2.1id定位/
6.2.2name定位/
6.2.3class_name定位/
6.2.4link_text定位/
6.2.5tag_name定位/
6.2.6XPath定位/
6.2.7通過CSS定位/
6.2.8使用By類定位/
6.2.9總結(jié)/
6.3元素等待/
6.3.1強(qiáng)制等待/
6.3.2顯示等待/
6.3.3隱式等待/
6.4瀏覽器控制/
6.4.1控制瀏覽器大小/
6.4.2控制瀏覽器前進(jìn)后退與刷新/
6.4.3文本輸入輸出與表單提交/
6.5鼠標(biāo)控制/
6.5.1鼠標(biāo)事件右鍵/
6.5.2鼠標(biāo)雙擊/
6.6鍵盤控制/
6.7多個(gè)元素定位/
6.8文件上傳/
6.9獲取cookie/
6.9.1手動(dòng)獲取cookie/
6.9.2掃碼自動(dòng)獲取cookie/
6.10窗口截圖/
6.11策略補(bǔ)充/
6.11.1去除Chrome正受到自動(dòng)測(cè)試軟件的控制/
6.11.2添加代理IP和請(qǐng)求頭/
6.11.3無頭模式/
6.11.4其他一些選項(xiàng)的添加/
6.12字符驗(yàn)證碼/
6.12.1pytesseract介紹/
6.12.2安裝/
6.12.3中文支持/
6.12.4英文識(shí)別/
6.12.5簡(jiǎn)單的數(shù)字識(shí)別/
6.12.6中文識(shí)別/
6.12.7ddddocr模塊的使用/
6.12.8彩色圖片識(shí)別應(yīng)用/
6.13自動(dòng)發(fā)送QQ郵箱/
6.13.1獲取授權(quán)碼/
6.13.2發(fā)送文本和附件/
第7章 Scrapy框架與實(shí)戰(zhàn)/
7.1框架介紹/
7.2Scrapy入門/
7.2.1創(chuàng)建項(xiàng)目文件/
7.2.2確定目標(biāo)/
7.2.3定制Item/
7.2.4setting配置修改與使用/
7.2.5數(shù)據(jù)提取/
7.2.6實(shí)戰(zhàn)教學(xué)/
7.2.7數(shù)據(jù)存儲(chǔ)/
7.2.8Item Pipeline管道/
7.2.9Pipelines圖片保存/
7.3實(shí)戰(zhàn)一：圖片多頁下載/
7.4實(shí)戰(zhàn)二：視頻分析/
7.4.1基本搭建/
7.4.2數(shù)據(jù)提取/
7.4.3Pipelines保存數(shù)據(jù)/
7.5實(shí)戰(zhàn)三：文字爬取/
7.5.1基本搭建/
7.5.2數(shù)據(jù)提取/
7.5.3Pipelines保存數(shù)據(jù)/
7.6Pipelines的多文件執(zhí)行/
7.7日志記錄/
7.7.1logging的語法/
7.7.2簡(jiǎn)單使用/
7.8使用選擇器/
7.8.1Scrapy shell基本使用/
7.8.2使用XPath選擇器/
7.8.3CSS選擇器的語法/
7.8.4使用CSS選擇器/
7.8.5嵌套選擇器/
7.8.6正則選擇器/
7.8.7使用相對(duì)XPaths/
7.9CrawlSpider的使用/
7.9.1爬取規(guī)則/
7.9.2setting配置修改/
7.9.3應(yīng)用案例一：某寵物網(wǎng)站爬取/
7.9.4應(yīng)用案例二：某讀書網(wǎng)站爬取/
7.10內(nèi)置圖片下載器/
7.10.1基本搭建/
7.10.2數(shù)據(jù)提取/
7.10.3同步下載/
7.10.4異步下載/
7.11存儲(chǔ)到數(shù)據(jù)庫/
7.11.1同步存儲(chǔ)/
7.11.2異步存儲(chǔ)/
第8章 Linux基礎(chǔ)/
8.1為什么學(xué)習(xí)Linux?/
8.2安裝虛擬機(jī)/
8.2.1本地安裝虛擬機(jī)（推薦）/
8.2.2免費(fèi)在線Linux服務(wù)器/
8.3文件管理/
8.3.1查看目錄/
8.3.2創(chuàng)建文件夾/
8.3.3切換目錄/
8.3.4創(chuàng)建文件/
8.3.5刪除文件和文件夾/
8.3.6復(fù)制文件/
8.3.7移動(dòng)文件/
8.3.8編寫文件內(nèi)容/
8.3.9查看文件內(nèi)容/
8.3.10搜索文件內(nèi)容/
8.3.11查看文件權(quán)限/
8.3.12更改權(quán)限/
8.4進(jìn)程管理/
8.5定時(shí)任務(wù)/

你還可能感興趣

我要評(píng)論