內容簡介
這是一本將數據分析技術與數據使用場景深度結合的著作,從實戰(zhàn)角度講解了如何利用Python進行數據分析和數據化運營。
暢銷書全新、大幅升級,第1版近乎100%的好評,第2版不僅將Python升級到了*新的版本,而且對具體內容進行了大幅度的補充和優(yōu)化。作者是有10余年數據分析與數據化運營的大數據專家,書中對50余個數據工作流知識點、14個數據分析與挖掘主題、4個數據化運營主題、8個綜合性案例進行了全面的講解,能讓數據化運營結合數據使用場景360落地。
全書一共9章,分為兩個部分:
第壹部分(第1-4章) Python數據分析與挖掘
首先介紹了Python和數據化運營的基本知識,然后詳細講解了Python數據獲取(結構化和非結構化)、預處理、分析和挖掘的關鍵技術和經驗,包含10大類預處理經驗、14個數據分析與挖掘主題,50余個知識點。
第二部分(第5~9章) Python數據化運營
這是本書的核心,詳細講解了會員運營、商品運營、流量運營和內容運營4大主題,以及提升數據化運營價值的方法。每個運營主題中都包含了基本知識、評估指標、應用場景、數據分析模型、數據分析小技巧、數據分析大實話以及2個綜合性的應用案例。
------
添加作者微信(TonySong2013)可在線獲取實時解答,同時加入本書溝通群(作者拉入群),交流更多數據工作的感悟和心得并認識更多同行從業(yè)者;本書提供案例數據和源代碼(中文注釋)下載,供讀者實操時使用。
(1)作者是有10余年數據分析與數據化運營經驗的大數據專家,在國內外企業(yè)都工作過,經驗豐富。
(2)作者善于總結和寫作,樂于分享,撰寫數據分析類 暢銷書3部。
(3)本書與同類書*大的不同在于,并不只有純粹的關于數據分析技術和工具的講解,而且還與數據使用場景深度結合,在業(yè)務上真正可指導落地。
(4)新版除了Python更新到了*新版外,具體內容上做了大幅度的補充和優(yōu)化,整體篇幅超過30%,詳見前言。
(5)本書作者提供微信、郵箱等,可通過實時和離線兩種方式及時為讀者在線傳道、受業(yè)、解惑。
為什么要寫這本書
隨著商業(yè)競爭形勢的日益嚴峻,企業(yè)需要不斷尋找提高利潤率、降低成本、提高產出價值的有效方法,而數據化運營恰好是滿足企業(yè)這一需求的關鍵武器。數據化運營包含了運營和數據兩種要素,前者需要較多的業(yè)務經驗,而后者對數據分析提出了更高的要求。只有把二者結合起來,在技能、經驗和技術的支持下,數據化運營才能在企業(yè)內部真正落地、生根、發(fā)芽。
對數據化運營而言,各企業(yè)普遍關注的結構化數據分析、挖掘的場景非常豐富,例如銷售預測、會員生命周期維護、商品結構分析等,這些普遍的共同認知為本書提供了接地氣的基礎。但除了這些傳統(tǒng)內容外,還有很多非結構化的數據主題,它們在數據化運營過程中的作用越來越重要,例如主題挖掘、圖片分析、文本挖掘、圖像識別、語音識別等,這些內容拓展了數據化運營發(fā)揮價值的場景基礎。
Python作為數據工作領域的關鍵武器之一,具有開源、多場景應用、快速上手、完善的生態(tài)和服務體系等特征,這些特征使其在數據分析與數據化運營的任何場景中都能游刃有余;即使在其為數不多的短板功能上,Python仍然可以基于膠水的特征,引入對應的第三方工具、庫、程序等來實現全場景、全應用的覆蓋。在海量數據背景下,Python對超大數據規(guī)模的支持性能、數據分析處理能力、建模的專業(yè)程度及開發(fā)便捷性的綜合能力方面要遠遠高于其他工具。因此,Python幾乎是數據化運營工作的不二之選。
縱觀整個國內技術書籍市場,有關Python的書籍不少,但普遍都是基于工具層面的介紹,且側重于工具本身的方法、參數、調用、實例,與真正實踐結合的較少;而有關數據化運營的書籍,目前市場上還為數不多,現有的數據化運營方面的書籍大多是基于Excel等工具的入門級別的分析類書籍。因此,本書結合Python和數據化運營兩個方面,在數據分析工作流程和數據化運營主題結合的基礎上,通過指標、模型、方法、案例配合工具的形式,詳細介紹了如何使用Python來支持數據化運營,尤其是傳統(tǒng)工具無法滿足的應用場景。
本書第1版上市后,得到來自各行各業(yè)很多好友和讀者的支持和反饋,在此致以感謝!第2版在第1版基礎上做了很多優(yōu)化甚至重寫,還新增了很多內容。
優(yōu)化以及重寫的內容
全部代碼基于Python 3做優(yōu)化或重寫,書中的Python版本是Python 3.7。
基于Jupyter做調試、分析和應用,更適合數據分析師的應用場景,包括探索性分析、數據預處理、結果可視化展示、交互式演示等。
網頁數據解析中基于Class做功能封裝和處理,便于以網頁對象為主體的數據工作。
PIL/Pollow的替換和方法應用介紹,多用于圖像處理工作。
第4章數據挖掘的案例部分,每一個案例都經過重寫,并增加了很多知識點,以實際案例為需求,實際應用數據挖掘算法做建模和分析應用。
Matplotlib調用3D圖形展示多個維度的信息,并可通過拖曳展示不同角度下數據的分布情況。
第5章第1個案例是RFM代碼的重構,以及針對不同分組的精細化運營策略的制定。
第5章第2個案例是基于嵌套Pipeline和FeatureUnion復合數據工作流的營銷響應預測,并基于復合(兩層管道)的Pipeline做數據工作流管理。
第6章第2個案例是基于集成算法GBDT和RandomForest的投票組合模型的異常檢測,GBDT和RandomForest是兩個典型的代表模型準確度和穩(wěn)定度的算法,這種兼顧準和穩(wěn)的模型搭配更符合實際需求。
第7章基于自動節(jié)點樹的數據異常原因來下探分析樹形圖的內容和可視化,優(yōu)化了代碼和樣式,可視化效果更好,并能獲得更多信息,包括維度分解過程、主因子、其他因子和潛在因子等。
新增的內容
基于Anaconda的Python環(huán)境的安裝和配置,更方便初學者快速搭建Python應用環(huán)境。
Jupyter基礎工具的用法,包括安裝、啟動、基礎操作、魔術命令、新內核安裝和使用、執(zhí)行shell命令、擴展和插件使用、系統(tǒng)基礎配置等。
基于Pandas的get_dummies做標志轉換,即OneHotEncode轉換。
特征選擇的降維中新增feature_selection配合SelectPercentile、VarianceThreshold、RFE、SelectFromModel做特征選擇。
特征轉換的降維中新增PCA、LDA、FA、ICA這幾個數據轉換和降維的具體方法。
特征組合的降維中新增基于GBDT、PolynomialFeatures、gplearn的genetic方法做組合特征。
第4章的分類算法中新增使用XGboost做分類應用,以及配合graphviz輸出矢量圖形。
pyecharts的數據可視化的應用和操作,尤其是關聯關系圖的應用。
Python通過rpy2調用R程序,實現關聯算法的挖掘,包括直接執(zhí)行程序文件、代碼段、變量使用等。
Python通過rpy2調用auto.airma實現自動ARIMA的應用,降低Python在時間序列算法應用時的門檻。
自動化學習:增加了對于自動化數據挖掘與機器學習的理論、流程、知識和應用庫介紹,并基于TPOT做自動化回歸和分類學習案例演示。
我希望能盡自己的微薄之力,將過往所學、所感、所知提煉出來供更多人了解。如果讀者能從本書中感悟一二,我將倍感欣慰;如果讀者能將其用于工作實踐,這將是本書以及數據工作之福!
讀者對象
本書旨在提供有關數據與運營的綜合知識的介紹和應用,雖然基礎工具是Python,但本書并沒有就Python基礎規(guī)則和語法做詳細介紹,因此希望讀者具有一定的Python基礎。相信我,只要你認真看過Python教學視頻(網絡上有很多),只需大概2個小時就能具備這種基礎。
本書對讀者的知識背景沒有特定要求,書中的內容都盡量言簡意賅、深入淺出。本書適合以下幾類讀者閱讀:
企業(yè)運營人員。本書的核心命題就是運營,其中涉及會員運營、商品運營、流量運營和內容運營四大主題,無論運營人員希望獲得運營知識,還是希望獲得數據分析和挖掘方法,都可以從書中找到。
數據分析師。毫無疑問,數據分析師是本書的核心受眾群體之一,書中介紹的數據抽取、預處理和分析挖掘經驗一定能為數據分析師帶來很多不一樣的收獲,每個運營主題下的小技巧、模型和案例更能激發(fā)數據分析師的靈感原來數據工作還能這樣做。
Python工程師。坦白講,本書不是一本專門介紹Python語法、規(guī)則的書籍。但Python作為一種萬能工具,在數據分析和挖掘領域具有舉足輕重的地位,對于任何一位工作領域中涉及數據(或大數據)的Python工程師來說,本書的價值會成倍增長。書中對Python數據處理、計算和挖掘庫的應用介紹,以及對有關工具庫的用法、注意點和小知識的介紹一定會使Python工程師的工作和能力更上一層樓。
數據挖掘工程師。數據分析與挖掘在實際運營中都是不分家的,本書沒有冠以挖掘之名,但并不意味著沒有挖掘(或機器學習)算法。本書第4章基本都是圍繞常用算法展開的知識介紹,其中各個算法類的大坑都是筆者多年經驗的總結;在運營主題的案例中幾乎都用到了算法來解決實際問題。除了基本的數據挖掘以外,本書還涉及自然語言處理、日志處理、文本挖掘、圖像處理等相關知識。
如何閱讀本書
本書內容從邏輯上共分為兩大部分,第一部分是有關數據分析類的主題,第二部分是有關數據化運營的主題。
第一部分包括第1~4章和附錄,主要介紹了Python和數據化運營的基本知識、數據來源獲取、數據預處理,以及數據分析和挖掘的關鍵經驗。其中:
第1章是Python和數據化運營的基本知識介紹。
第2章對傳統(tǒng)的結構化和非結構化數據來源及獲取、讀取和解析進行了介紹,包括數據文件、數據庫、API、流式數據、外部公開數據等,也提到了如何讀取網頁、文本、圖片、視頻、語音等類型的數據。
第3章總結了10個有關數據化運營過程的數據預處理經驗,涵蓋了常見的數據清洗、標志轉換、數據降維、樣本不均衡、數據源沖突、抽樣、共線性、相關性分析、數據標準化、數據離散化等內容,并在擴展內容中簡單介紹了有關網頁、日志、圖像、自然語言的文本預處理工作,作為拓展知識閱讀。
第4章總結了數據分析、挖掘和網站分析方法的8個主題類,內容涵蓋聚類、回歸、分類、關聯、異常檢測、時間序列、路徑分析、漏斗分析、歸因分析、熱力圖分析及其他統(tǒng)計分析相關話題,各個類別中都以關鍵經驗為基礎,圍繞應用誤區(qū)、注意事項和應用方法展開詳細介紹。
第二部分包括第5~9章,分別介紹了會員運營、商品運營、流量運營和內容運營四大主題,以及提升數據化運營價值的方法。在每個數據化運營主題中都包含了基本知識、關鍵指標、應用場景、數據分析模型、數據分析小技巧、數據分析大實話及兩個應用案例。
基本知識:有關運營主題的基本內涵、價值、用途等方面的介紹。
關鍵指標:運營主題的主要評估和矩陣指標,按類別拆分和歸納。
應用場景:總結數據對于運營的價值落地在哪些場景中。
數據分析模型:大型的數據分析方法,包括統(tǒng)計分析、數據挖掘、網站分析、數學模型。
數據分析小技巧:小型的數據分析方法,看起來相對簡單但非常有效。
數據分析大實話:有關運營或數據分析的潛在規(guī)律的解釋及介紹。
應用案例:每個運營主題都包含兩個應用案例,基本上每個案例的應用算法和技巧都不相同,目的是呈現不同算法在不同場景下的差異化應用。
除了以上內容外,以下信息是對本書中涉及特定內容的解釋和說明。
漸進式的內容:本書的Python代碼和實現部分,在不同章節(jié)可能會具有不同的代碼風格,包括定義規(guī)則、注釋、功能實現等,這是因為筆者試圖遵循循序漸進的原則,先介紹功能實現,然后再介紹其他的備選方案,以及規(guī)范、原則等來輔助Python的實現。這樣做一方面是希望盡量多地展示解決同一類問題的不同方法,讓讀者能根據自身實際情況選擇最合適的用法示例;另一方面是因為,考慮到可能有很多讀者不具備較強的Python基礎知識,筆者不希望一上來就讓這些讀者感覺到使用Python會受到各種條條框框的限制,從而打擊他們使用Python的信心,畢竟,能實現功能需求是第一位的。
內容延伸:本書第1~4章都有內容延伸章節(jié),其內容是有關非結構化主題的讀取、分析、處理。由于每個主題展開來都能寫成一本書,因此僅在內容延伸中拋磚引玉,有興趣的讀者可以了解和學習。
相關知識點:本書很多章節(jié)中都有相關知識點部分,其內容是關于特定工具、知識、算法、庫等方面的較為詳細的介紹,充當了本書的知識堡壘。
本章小結:每章的結尾都有本章小結,在小結中包含4部分內容。
內容小結:有關本章內容
作者簡介
宋天龍(TonySong)
大數據技術專家,觸脈咨詢合伙人兼副總裁,前Webtrekk中國區(qū)技術和咨詢負責人(Webtrekk,德國*大的在線數據分析服務提供商)。
擅長數據挖掘、建模、分析與運營,精通端到端數據價值場景設計、業(yè)務需求轉換、數據結構梳理、數據建模與學習以及數據工程交付。在電子商務、零售、銀行、保險等多個行業(yè)擁有豐富的數據項目工作經驗,參與過集團和企業(yè)級數據體系規(guī)劃、DMP與數據倉庫建設、大數據產品開發(fā)、網站流量系統(tǒng)建設、個性化智能推薦與精準營銷、企業(yè)大數據智能等。參與實施客戶案例包括聯合利華、Webpower、德國OTTO集團電子商務(中國)、Esprit中國、豬八戒網、順豐優(yōu)選、樂視商城、泰康人壽、酒仙網、國美在線、迪信通等。
著有多部暢銷書:
《Python數據分析與數據化運營》
《網站數據挖掘與分析:系統(tǒng)方法與商業(yè)實踐》
《企業(yè)大數據系統(tǒng)構建實戰(zhàn):技術、架構、實施與應用》
前言
第1章 Python和數據化運營1
1.1 用Python做數據化運營1
1.1.1 Python是什么1
1.1.2 數據化運營是什么2
1.1.3 Python用于數據化運營5
1.2 數據化運營所需的Python相關工具和組件5
1.2.1 Python程序6
1.2.2 Python交互環(huán)境Jupyter7
1.2.3 Python第三方庫23
1.2.4 數據庫和客戶端29
1.2.5 SSH遠程客戶端30
1.3 內容延伸:Python的OCR和tensorflow31
1.3.1 OCR工具:Tesseract-ocr31
1.3.2 機器學習框架:TensorFlow31
1.4 第1個用Python實現的數據化運營分析實例、銷售預測32
1.4.1 案例概述32
1.4.2 案例過程32
1.4.3 案例小結36
1.5 本章小結37
第2章 數據化運營的數據來源40
2.1 數據化運營的數據來源類型40
2.1.1 數據文件40
2.1.2 數據庫41
2.1.3 API42
2.1.4 流式數據43
2.1.5 外部公開數據43
2.1.6 其他來源44
2.2 使用Python獲取運營數據44
2.2.1 從文本文件讀取運營數據44
2.2.2 從Excel獲取運營數據55
2.2.3 從關系型數據庫MySQL讀取運營數據57
2.2.4 從非關系型數據庫MongoDB讀取運營數據64
2.2.5 從API獲取運營數據68
2.3 內容延伸:讀取非結構化網頁、文本、圖像、視頻、語音72
2.3.1 從網頁中獲取運營數據72
2.3.2 讀取非結構化文本數據73
2.3.3 讀取圖像數據74
2.3.4 讀取視頻數據78
2.3.5 讀取語音數據81
2.4 本章小結85
第3章 10條數據化運營不得不知道的數據預處理經驗87
3.1 數據清洗:缺失值、異常值和重復值的處理87
3.1.1 數據列缺失的4種處理方法87
3.1.2 不要輕易拋棄異常數據89
3.1.3 數據重復就需要去重嗎90
3.1.4 代碼實操:Python數據清洗92
3.2 將分類數據和順序數據轉換為標志變量100
3.2.1 分類數據和順序數據是什么100
3.2.2 運用標志方法處理分類和順序變量101
3.2.3 代碼實操:Python標志轉換101
3.3 大數據時代的數據降維104
3.3.1 需要數據降維的情況104
3.3.2 基于特征選擇的降維105
3.3.3 基于特征轉換的降維106
3.3.4 基于特征組合的降維112
3.3.5 代碼實操:Python數據降維114
3.4 解決樣本類別分布不均衡的問題123
3.4.1 哪些運營場景中容易出現樣本不均衡124
3.4.2 通過過抽樣和欠抽樣解決樣本不均衡124
3.4.3 通過正負樣本的懲罰權重解決樣本不均衡124
3.4.4 通過組合/集成方法解決樣本不均衡125
3.4.5 通過特征選擇解決樣本不均衡125
3.4.6 代碼實操:Python處理樣本不均衡125
3.5 數據化運營要抽樣還是全量數據128
3.5.1 什么時候需要抽樣128
3.5.2 如何進行抽樣129
3.5.3 抽樣需要注意的幾個問題130
3.5.4 代碼實操:Python數據抽樣131
3.6 解決運營數據的共線性問題135
3.6.1 如何檢驗共線性135
3.6.2 解決共線性的5種常用方法136
3.6.3 代碼實操:Python處理共線性問題137
3.7 有關相關性分析的混沌139
3.7.1 相關和因果是一回事嗎139
3.7.2 相關系數低就是不相關嗎139
3.7.3 代碼實操:Python相關性分析140
3.8 標準化,讓運營數據落入相同的范圍141
3.8.1 實現中心化和正態(tài)分布的Z-Score141
3.8.2 實現歸一化的Max-Min142
3.8.3 用于稀疏數據的MaxAbs142
3.8.4 針對離群點的RobustScaler142
3.8.5 代碼實操:Python數據標準化處理142
3.9 離散化,對運營數據做邏輯分層145
3.9.1 針對時間數據的離散化145
3.9.2 針對多值離散數據的離散化146
3.9.3 針對連續(xù)數據的離散化146
3.9.4 針對連續(xù)數據的二值化147
3.9.5 代碼實操:Python數據離散化處理147
3.10 內容延伸:非結構化數據的預處理151
3.10.1 網頁數據解析151
3.10.2 網絡用戶日志解析159
3.10.3 圖像的基本預處理164
3.10.4 自然語言文本預處理169
3.11 本章小結172
第4章 跳過運營數據分析和挖掘的大坑174
4.1 聚類分析174
4.1.1 當心數據異常對聚類結果的影響175
4.1.2 超大數據量時應該放棄K均值算法175
4.1.3 聚類不僅是建模的終點,更是重要的中間預處理過程177
4.1.4 高維數據上無法應用聚類嗎178
4.1.5 如何選擇聚類分析算法179
4.1.6 案例:客戶特征的聚類與探索性分析179
4.2 回歸分析196
4.2.1 注意回歸自變量之間的共線性問題197
4.2.2 相關系數、判定系數和回歸系數之間是什么關系197
4.2.3 判定系數是否意味著相應的因果聯系197
4.2.4 注意應用回歸模型時研究自變量是否產生變化198
4.2.5 如何選擇回歸分析算法198
4.2.6 案例:大型促銷活動前的銷售預測199
4.3 分類分析206
4.3.1 防止分類模型的過擬合問題207
4.3.2 使用關聯算法做分類分析207
4.3.3 用分類分析來提煉規(guī)則、提取變量、處理缺失值208
4.3.4 類別劃分:分類算法和聚類算法都是好手209
4.3.5 如何選擇分類分析算法210
4.3.6 案例:用戶流失預測分析與應用210
4.4 關聯分析221
4.4.1 頻繁規(guī)則不一定是有效規(guī)則221
4.4.2 不要被啤酒尿布的故事禁錮你的思維222
4.4.3 被忽略的負相關模式真的毫無用武之地嗎223
4.4.4 頻繁規(guī)則只能打包組合應用嗎2