“我想做的是交付結(jié)果�！�
Lou Gerstner
Business Week
為何你需要此書
“19世紀(jì)末，誰也不會(huì)相信地球正受到智慧生命的密切注視……”
1898年，H. G. Wells出版的《世界大戰(zhàn)》（The War of the Worlds，Harper & Brothers）以此開場。在20世紀(jì)末，這樣的懷疑也同樣盛行。但與19世紀(jì)以來的虛構(gòu)的注視者不同，20世紀(jì)晚期的注視者是真實(shí)存在的，而這些注視者就是具有開拓性的數(shù)字化公司。在《世界大戰(zhàn)》中，單細(xì)胞細(xì)菌被證明是兼具進(jìn)攻性和防御性的決定性武器。如今，這一武器便是數(shù)據(jù)。當(dāng)數(shù)據(jù)被錯(cuò)誤使用時(shí)，企業(yè)將會(huì)面臨突然崩潰的局面；當(dāng)數(shù)據(jù)被正確使用時(shí)，企業(yè)則會(huì)茁壯成長。
自象形文字和字母出現(xiàn)以來，數(shù)據(jù)已然開始發(fā)揮其作用。商業(yè)智能（Business Intelligence，BI）一詞的出現(xiàn)，可以追溯至Richard Millar Devens 1865年出版的Cyclopaedia of Commercial and Business Anecdotes一書。盡管如此，直至制表機(jī)器公司（Tabulating Machine Company，IBM前身）創(chuàng)始人Herman Hollerith發(fā)明了打孔卡片，數(shù)據(jù)的大規(guī)模采集才得以實(shí)現(xiàn)。Hollerith初是為1890年美國政府人口普查而發(fā)明的打孔制表技術(shù)。1937年，美國政府與IBM簽署協(xié)議，運(yùn)用其打孔卡讀卡機(jī)，為涉及2600萬個(gè)社會(huì)保障號(hào)碼的大規(guī)模簿記項(xiàng)目提供服務(wù)和支持。
1965年，美國政府建立了個(gè)數(shù)據(jù)中心，以存儲(chǔ)其7.42億張納稅申報(bào)單和1.75億套錄有指紋信息的計(jì)算機(jī)磁帶。隨著互聯(lián)網(wǎng)以及后來的移動(dòng)設(shè)備和物聯(lián)網(wǎng)的出現(xiàn)，私有企業(yè)能夠基于日益增加的與消費(fèi)者共享的觸點(diǎn)數(shù)，建立大量的消費(fèi)者數(shù)據(jù)存儲(chǔ)，從而使大規(guī)模數(shù)據(jù)使用真正得以實(shí)現(xiàn)。平均而言，每個(gè)人每秒創(chuàng)建的數(shù)據(jù)量超過1.7MB，這樣的信息量大致相當(dāng)于154萬億張打孔卡片。通過將數(shù)據(jù)量與數(shù)據(jù)有效處理能力相結(jié)合，數(shù)據(jù)并不僅僅是被簡單記錄和保存，而是得以大規(guī)模使用。
顯然，我們正處于大數(shù)據(jù)時(shí)代。企業(yè)正在爭先恐后地整合各種能完成高級(jí)分析的能力，如人工智能和機(jī)器學(xué)習(xí)，從而限度地利用其自身的數(shù)據(jù)。如何通過具有前瞻性的預(yù)判來改善市場的商業(yè)表現(xiàn)，已然成為強(qiáng)制性需求。諸如數(shù)據(jù)湖（Data Lake）之類的數(shù)據(jù)管理概念也被提出，以指導(dǎo)企業(yè)進(jìn)行數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理。在許多方面，數(shù)據(jù)湖與更早的企業(yè)數(shù)據(jù)倉庫（Enterprise Data Warehouse，EDW）形成了鮮明對(duì)比。通常而言，企業(yè)數(shù)據(jù)倉庫僅接受已被視為有用的數(shù)據(jù)，且其內(nèi)容的組織方式高度系統(tǒng)化。
在被誤用的情況下，一個(gè)數(shù)據(jù)湖只不過是非結(jié)構(gòu)化和未處理的海量數(shù)據(jù)的存儲(chǔ)地，許多這樣的數(shù)據(jù)永遠(yuǎn)都不會(huì)被使用。然而，通過高級(jí)分析和機(jī)器學(xué)習(xí)模型，數(shù)據(jù)湖可以有效地得到利用。
但是，數(shù)據(jù)倉庫和數(shù)據(jù)湖能否真正實(shí)現(xiàn)企業(yè)改善商業(yè)表現(xiàn)的目的？更簡潔地說，企業(yè)是否已經(jīng)意識(shí)到存儲(chǔ)數(shù)據(jù)之地在商業(yè)方面的價(jià)值？
全球信息技術(shù)研究和咨詢公司—高德納咨詢公司（Gartner Group）對(duì)此進(jìn)行了引人深思的分析。據(jù)估計(jì)，超過一半的企業(yè)數(shù)據(jù)倉庫嘗試都是失敗的，而新的數(shù)據(jù)湖的情況甚至更糟。高德納的分析師曾預(yù)測，數(shù)據(jù)湖的失敗率可能高達(dá)60%。然而，現(xiàn)在高德納認(rèn)為這個(gè)數(shù)字過于保守，實(shí)際失敗率可能接近85%。
為什么諸如企業(yè)數(shù)據(jù)倉庫和數(shù)據(jù)湖這樣的方案的失敗率如此驚人？簡單來說，開發(fā)適當(dāng)?shù)男畔⒓軜?gòu)并非易事。
與企業(yè)數(shù)據(jù)倉庫的失敗原因相同，數(shù)據(jù)科學(xué)家采用的許多方法也未能意識(shí)到如下幾點(diǎn)：
企業(yè)性質(zhì)。
企業(yè)的業(yè)務(wù)運(yùn)營。
變化的隨機(jī)性和潛在的巨大性。
數(shù)據(jù)質(zhì)量的重要性。
在模式設(shè)計(jì)和信息架構(gòu)中應(yīng)用不同技術(shù)的方式，這可能會(huì)影響組織應(yīng)對(duì)變化的準(zhǔn)備。
分析表明，數(shù)據(jù)湖和大數(shù)據(jù)計(jì)劃失敗率較高的原因并不在于技術(shù)本身，而是在于技術(shù)人員應(yīng)用技術(shù)的方式。
在我們與企業(yè)客戶的對(duì)話中，這些方面很快就變得不言而喻。在討論數(shù)據(jù)倉庫和數(shù)據(jù)湖時(shí)，我們經(jīng)常面臨諸多問題，例如：“對(duì)于每一種方式而言，我們都有很多選擇，選擇哪一個(gè)？”經(jīng)常會(huì)出現(xiàn)組織中的一個(gè)部門需要數(shù)據(jù)庫進(jìn)行數(shù)據(jù)存儲(chǔ)，但是其需求無法通過以前的數(shù)據(jù)存儲(chǔ)方式得到滿足。因此，該部門不再嘗試重塑或更新已有的數(shù)據(jù)倉庫或者數(shù)據(jù)湖，而是創(chuàng)建一個(gè)全新的數(shù)據(jù)存儲(chǔ)區(qū)域。這樣做的結(jié)果往往是一個(gè)多種數(shù)據(jù)存儲(chǔ)解決方案的大雜燴，彼此之間不能有效結(jié)合，從而喪失數(shù)據(jù)分析的機(jī)會(huì)。
顯然，新技術(shù)可以提供許多實(shí)實(shí)在在的好處，但是除非對(duì)這些技術(shù)進(jìn)行嚴(yán)謹(jǐn)?shù)牟渴鸷凸芾�，否則，這些好處無法實(shí)現(xiàn)。與傳統(tǒng)建筑架構(gòu)的設(shè)計(jì)不同，信息架構(gòu)的設(shè)計(jì)無法做到一勞永逸。
雖然組織可以控制如何獲取數(shù)據(jù)，但是不能控制所需要的數(shù)據(jù)如何隨時(shí)間變化。組織往往是脆弱的，因?yàn)楫?dāng)環(huán)境發(fā)生變化時(shí)，信息架構(gòu)可能會(huì)崩潰。只有靈活的、自適應(yīng)的信息架構(gòu)才能適應(yīng)新的環(huán)境。針對(duì)動(dòng)態(tài)目標(biāo)，設(shè)計(jì)和部署解決方案是困難的，但這個(gè)挑戰(zhàn)并非不可克服。
很多信息技術(shù)專業(yè)人士都認(rèn)為“垃圾輸入等于垃圾輸出”這個(gè)草率斷言已經(jīng)過時(shí)了。實(shí)際上，數(shù)十年來，垃圾數(shù)據(jù)一直給分析和決策過程帶來困擾。管理不善的數(shù)據(jù)和缺乏一致性的表示對(duì)每一個(gè)人工智能項(xiàng)目來說依然是危險(xiǎn)信號(hào)。
機(jī)器學(xué)習(xí)和深度學(xué)習(xí)對(duì)數(shù)據(jù)質(zhì)量的要求尤其高。就像硬幣的兩面，低質(zhì)量數(shù)據(jù)可能帶來兩種具有破壞性的影響。一方面，與歷史數(shù)據(jù)相關(guān)的低質(zhì)量數(shù)據(jù)會(huì)使預(yù)測模型的訓(xùn)練失真；另一方面，新數(shù)據(jù)會(huì)使模型失真，對(duì)決策制定產(chǎn)生負(fù)面影響。
作為一種可共享資源，當(dāng)數(shù)據(jù)質(zhì)量不佳時(shí)，數(shù)據(jù)通過服務(wù)層像病毒一樣暴露在整個(gè)組織中，從而影響每一個(gè)接觸此數(shù)據(jù)的人。因此，人工智能的信息架構(gòu)必須能減少與數(shù)據(jù)質(zhì)量相關(guān)的傳統(tǒng)問題，促進(jìn)數(shù)據(jù)流動(dòng)，并在必要的時(shí)候?qū)崿F(xiàn)數(shù)據(jù)隔離。
本書的目的是讓你了解企業(yè)如何構(gòu)建信息架構(gòu)，從而為成功的、可持續(xù)的、可擴(kuò)展的人工智能部署鋪平道路。本書包括一個(gè)結(jié)構(gòu)化框架和建議，既兼顧實(shí)用性又具有可操作性，可以幫助企業(yè)完成信息架構(gòu)，進(jìn)而從人工智能技術(shù)中獲益。
本書主要內(nèi)容
我們將從第1章開始，對(duì)人工智能階梯進(jìn)行討論。人工智能階梯是IBM開發(fā)的一個(gè)說明性工具，用來演示一個(gè)組織要持續(xù)從人工智能技術(shù)中獲益所必須攀登的“步驟”或“梯級(jí)”。由此出發(fā)，第2章和第3章涵蓋了數(shù)據(jù)科學(xué)家和信息技術(shù)領(lǐng)導(dǎo)者在攀登人工智能階梯的過程中必須注意的一系列因素。
在第4章和第5章中，我們將探索關(guān)于數(shù)據(jù)倉庫及其如何讓位于數(shù)據(jù)湖的歷史，并討論如何根據(jù)地形學(xué)和拓?fù)鋵W(xué)來設(shè)計(jì)數(shù)據(jù)湖。這些討論將深入數(shù)據(jù)的接收、治理、存儲(chǔ)、處理、訪問、管理和監(jiān)測等方面。
在第6章中，我們將討論開發(fā)運(yùn)營（DevOps）、數(shù)據(jù)運(yùn)營（DataOps）、機(jī)器學(xué)習(xí)運(yùn)營（MLOps）如何使組織得以更好地實(shí)時(shí)使用數(shù)據(jù)。在第7章中，我們將深入探討數(shù)據(jù)治理和集成數(shù)據(jù)管理的基本要素。為了便于數(shù)據(jù)科學(xué)家確定數(shù)據(jù)的價(jià)值，我們將討論數(shù)據(jù)價(jià)值鏈和數(shù)據(jù)可訪問性、可發(fā)現(xiàn)性的需求。
由于組織內(nèi)部的不同角色需要以不同的方式與數(shù)據(jù)進(jìn)行交互，第8章將介紹不同的數(shù)據(jù)訪問方式，還將進(jìn)一步討論數(shù)據(jù)價(jià)值評(píng)估，并解釋如何使用統(tǒng)計(jì)學(xué)協(xié)助實(shí)現(xiàn)數(shù)據(jù)價(jià)值排序。
在第9章中，我們將討論信息架構(gòu)中可能出現(xiàn)的問題，以及整個(gè)組織的數(shù)據(jù)素養(yǎng)對(duì)于規(guī)避此類問題的重要性。
后，在第10章中，我們將對(duì)開發(fā)人工智能信息架構(gòu)的相關(guān)情況進(jìn)行概述。第10章還提供了將上述理論背景應(yīng)用于現(xiàn)實(shí)世界的信息架構(gòu)開發(fā)的可行步驟。