近幾年來,隨著計算機和信息技術的迅猛發(fā)展和普及應用,行業(yè)應用系統(tǒng)的規(guī)模迅速擴大,行業(yè)應用所產生的數(shù)據(jù)呈爆炸性增長。人們把這種大規(guī)模數(shù)據(jù)稱為海量數(shù)據(jù)。 本書針對社會需求,為信息管理與信息系統(tǒng)專業(yè)本科生提供大數(shù)據(jù)存儲及處理方面的知識。通過系統(tǒng)的講解大規(guī)模數(shù)據(jù)的存儲及處理等基礎知識,使學生了解分布式數(shù)據(jù)處理系統(tǒng)的基本思想、原理及架構;通過實際案例分析及實踐,使學生掌握大數(shù)據(jù)存儲及處理的技術方法,最終使學生具備參與大規(guī)模分布式數(shù)據(jù)處理系統(tǒng)的搭建、數(shù)據(jù)分析及處理以及數(shù)據(jù)可視化等方面的能力。 本書大致目錄:第一章,第一章,Hadoop生態(tài)系統(tǒng)介紹;第二章,Hadoop基本原理及環(huán)境搭建;第三章,HDFS基本操作及MapReduce編程;第四章,數(shù)據(jù)倉庫HIVE的基本原理及應用;第五章,SPARK基本原理及應用;第六章,綜合案例。
目 錄 第1章 Hadoop生態(tài)系統(tǒng)簡介/001 1.1 大數(shù)據(jù)發(fā)展/001 1.2 Hadoop平臺介紹/006 1.3 相關的公司/009 1.4 Hadoop生態(tài)系統(tǒng)/011 第2章 Hadoop核心組件及其基本原理/014 2.1 HDFS基本原理/014 2.2 MapReduce分布式計算框架/022 2.3 Yarn介紹/029 第3章 Hadoop環(huán)境搭建/033 3.1 Linux基礎/033 3.2 Linux的文件系統(tǒng)結構/036 3.3 文件類型/038 3.4 Linux基本操作命令/039 3.5 Linux下常用的工具軟件/047 3.6 Hadoop環(huán)境搭建/051 第4章 Hive基本原理及安裝部署/063 4.1 Hive基本原理/063 4.2 Hive的數(shù)據(jù)存儲/064 4.3 Hive的安裝部署/066 第5章 Hive的基本操作/070 5.1 Hive的DDL(data define language)操作/070 5.2 Hive的DML(data managed language)操作/076 5.3 Hive shell 參數(shù)/093 第6章 Spark基礎知識/095 6.1 Spark原理/095 6.2 Spark架構及生態(tài)/098 6.3 Spark運行流程及特點/100 6.4 Spark運行模式/108 第7章 Spark RDD編程/114 7.1 RDD設計與運行原理/114 7.2 RDD基本操作/122 7.3 Spark SQL簡介/132 第8章 基于MLLIB機器學習/140 8.1 概述/140 8.2 Spark分類和預測/142 8.3 決策樹算法/145 8.4 樸素貝葉斯算法/152 8.5 回歸分析與預測技術/157 8.6 聚類分析/167 大數(shù)據(jù)原理及實踐 8.7 k-means聚類算法簡介/172 8.8 DBSCAN聚類算法簡介/179 8.9 關聯(lián)規(guī)則分析簡介/185 8.10 Apriori算法和FP Tree算法簡介/188 參考文獻/200