第一章

從小數據到大數據

過去很長時間，我們習慣採用問卷調查、現場採訪等方式去採集一些有代表性的資料，藉以分析我們要解決的問題。這些方法在過去取得了很不錯的效果。只是，隨著科技的迅猛發展，我們對資料處理和分析的要求越來越高，這些方法慢慢變得不太適合了，此時大數據應運而生，逐漸展示出驚人的力量。

一、大數據的過去

給你一個超市

如果現在你是一個超市的經營者，你會怎麼讓超市的利益最大化呢？

隨便想想都有很多辦法，如降低進貨成本、降低物流成本、精簡不必要的人員、優化銷售團隊、策劃必要的行銷活動、分析其他超市的策略、分析消費者需求……這些舉措中，有的可以直接降低成本提高利潤率，有的則間接地提高銷售資料。而其中最重要的，肯定是分析消費者需求。你會怎麼分析消費者的需求呢？

先看一個銷售的例子吧。

一個老太太走到路邊的水果攤，想買一些杏子，她先到了第一個水果攤。

老太太上前，問攤主：「你這個杏子怎麼樣？」攤主熱情地說：「我的杏子又大又甜，保證好吃啊。」老太太想了想，搖搖頭走了。攤主一臉失望，不知道為什麼老太太沒買他的杏子。

老太太走到了第二個水果攤，問道：「你這個杏子怎麼樣？」這位攤主也很熱情地回答說：「都還不錯啊，您想要什麼樣的？」老太太回答：「我想要那種比較酸的。」攤主很詫異，酸杏子誰吃啊。他眼珠一轉，笑眯眯地說：「大姐，您這是故意套我話的吧？我這裡絕對都是超級的甜，保證您買了不吃虧。」老太太回答說：「你這裡真沒酸的？」攤主信心十足地說：「有一個酸的我賠您一筐！」老太太搖搖頭，嘆了口氣，又往前走了。自己這麼保證了老太太還是沒買，攤主別提多失落了。

老太太又走到了第三個水果攤。攤主一見到老太太便上前問道：「您想買點什麼？」老太太說：「我想買點酸的杏子。」攤主說：「我這裡倒是有酸杏子，可是我覺得您這樣年紀的人，吃得太酸了不太好呢。您保重身體啊！您要不搭配著買點別的，比如香蕉什麼的。」老太太高興地答覆道：「不是我要吃，是我兒媳婦要吃。」攤主又問：「您兒媳婦要吃酸杏子啊，您這是要抱孫子了吧？」老太太高興地說：「是啊是啊，她剛懷孕沒多久，就想吃點酸的。」攤主笑著回答說：「酸兒辣女，您肯定能抱個大胖孫子！我這還有奇異果，含各種維生素，特別適合孕婦吃。您要不也來點？」就這麼一句又一句，老太太特別開心，最後老太太買了很多攤主推薦的水果走了。

在這個例子裡，很明顯，第三個攤主是最成功的。他的成功在哪裡呢？在於他問清楚了老太太的需求。在他與老太太的對話裡，他獲得了幾個資訊：老太太需要酸杏子；酸杏子是給兒媳婦吃的；兒媳婦懷孕了。由這幾個資訊，他便能從營養搭配等角度去推薦，既滿足了消費者本身的需求（酸杏子），又挖掘出消費者潛在的其他需求（各種營養）。

這樣的場景，我們在生活中可能經常遇到。可是在大型超市，商家並不是一對一地跟消費者溝通。更多的情景是，商家把物品放到貨架上後消費者自行選擇。在這種情況下，怎麼能夠知道消費者潛在的需求呢？

在一家超市中，人們發現了一個特別有趣的現象：尿布與啤酒這兩種風馬牛不相及的商品居然被擺在了一起。但令人不解的是，這一奇怪的舉措居然使尿布和啤酒的銷量大幅增加了。這可不是一個笑話，而是一直被商家所津津樂道的發生在美國沃爾瑪連鎖超市的真實案例。實際上，這不是美國人的幽默細胞所致，而是資料的魔力。這個發現為商家帶來了大量的利潤，但是沃爾瑪是如何從多如牛毛卻又雜亂無章的資料中發現啤酒和尿布銷售之間的聯繫的呢？這又給了我們什麼樣的啟示呢？

沃爾瑪的商品種類非常多，它有一套非常複雜的方法對所有商品的銷售情況進行統計。沃爾瑪通過對每件商品每天的銷售資料統計發現，每到週末啤酒和尿布的銷量就異樣的好，這兩者之間似乎有什麼關聯。但是，沃爾瑪並沒有去找這兩個銷售資料之間的聯繫，而是立即做出決定，將這兩樣商品擺放在一起，結果這兩樣商品銷售量都大幅增加。顯然，這個決定是正確的。那麼原因是什麼呢？

有人分析稱，因為在美國，週末電視臺一般會轉播球賽，而看球賽的大部分是男人。男人們都會在家看球賽的時候拿上一罐啤酒，受到冷遇的妻子會出門逛街或和姊妹淘小聚，照料小寶寶的重擔就留給了留守的丈夫。就這樣，沃爾瑪把嬰兒尿布放在啤酒銷售區旁，男人往往會在超市買啤酒的時候順手拿起尿布。

也有人說，是因為在美國家庭裡，一般都是丈夫賺錢養家，妻子照顧孩子。忙於照顧孩子的妻子經常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。

這兩個原因都說得通。那麼，真正的原因是什麼呢？

你是不是開始思考這個問題了？打住！別忘了，我們假設的是你是一個超市的經營者，你要解決的是讓超市利益最大化，達到這個目的就行了，你不是研究這些現象的科研人員，沒有必要去搞清楚這些問題後面的複雜原因。如果你有一輛汽車，你更需要學習的是駕駛而不是汽車製造及修理。同樣，如果你有足夠多的資料並分析出結果，你需要做的是利用結果去提高盈利而不是搞清楚結果背後的原因。

作為一個超市的管理人員，你肯定會對沃爾瑪如何進行統計分析各類銷售資料感興趣。可是，數據到底是什麼呢？我們不妨回顧一下資料的歷史。

19頭牛的難題

數據是什麼？

一年有365天；真空中的光速是299792458米每秒；正常人心跳每分鐘大約75次（60～100次）；2013年11月15日大陸汽、柴油標準品最高供應價格每噸分別為8715元和7890元；2012年度北京市職工月平均工資為5223元，比上年增長11.8％……

可以說，我們的生活裡到處都是資料。

資料是對客觀事物的符號化的表示，是未經加工的、用於表示客觀事物的原始素材，如圖形符號、數字、字母等。換句話說，資料是通過物理觀察得來的事實和概念，是關於物理世界中的地方、事件、其他物件或概念的描述。在電腦科學裡，資料被定義為所有能輸入到電腦並被電腦程式處理的符號的介質的總稱。

資料具有數值屬性、物理屬性，這一點和數字是不同的。很多人會把資料和數字混為一談，其實，可以這麼說，數字是一種沒有物理屬性的資料。

比如，1+1=？是數字計算，結果是2，這個是沒有問題的。如果我們加入物理屬性，1個馬鈴薯+1頭牛=？由於馬鈴薯和牛的物理屬性不同，我們沒辦法求出它們的和，總不能說答案是馬鈴薯燒牛肉吧？

在電腦問世之前，人們處理的資料一般都是有關數字的數學問題，比如家喻戶曉的分牛問題便是一個很經典的例子。

一位老人養了19頭牛。臨終前，他對3個兒子立下遺囑：「家中有19頭牛，老大可以分一半，老二可以分得1/4，老三則只能分到1/5。牛不得殺死分肉，不得賣錢後分錢。」說完老人便去世了。3個兒子煩惱了，19頭牛怎麼分一半、1/4、1/5啊？每個人都想多分一點兒，每個人又不肯吃一點兒虧，於是爭吵了起來。

一位智者想到了辦法，他笑眯眯地對老人的3個兒子說：「我有辦法。」然後他把自己家的一頭牛牽來，和19頭牛放到一起，又對他們說：「現在這裡有20頭牛，老大分一半，也就是10頭；老二分1/4，也就是5頭；老三分1/5，也就是4頭。剩下還有一頭是我牽來的，我牽回去好了。」3個兒子終於解決了這個問題，喜笑顏開，重歸於好。

這是一個很小的有關數據的故事，日常生活中，我們經常會遇到各種數據。一般來說，我們都是通過數學來解決這些問題的：五險一金的計算問題；話費套餐的計算問題；銀行利息的計算問題……我們每天都在和各式各樣的數據打交道，也許我們對此已經習以為常、熟視無睹。

最開始，我們的生活裡都是很小的數據：部落裡20頭獵物如何分給50個人；採集的200個漿果一半給部落首領家族後其他人怎麼分；兩個部落間的土地如何平分……這一類的問題，隨著人類數學程度的提高，慢慢地得到了解決。同時，人們也遇到越來越棘手的問題：一個人每週買一注彩票，20年內中500萬的概率有多大；一個人父母都是A型血，孩子是O型血的可能性有多大；一塊完全不規則的土地，如何劃分成5等份，等等。比如中國古代就有一些很經典的數學題：

1.八萬三千短竹竿，將來要把筆頭安，管三套五為期定，問君多少能完成？

用現代的話說就是：有83000根短竹竿，每根短竹竿可製成3個筆管或者5個筆套。怎樣安排筆管或筆套的短竹的數量，使製成的筆管和筆套正好數量匹配。

2.有井不知深，先將繩三折入井，井外繩長四尺，後將繩四折入井，井外繩長一尺。問井和繩長各幾何？

3.今有門廳一座，不知門廣高低，長杆橫進使歸室，無奈門狹四尺，隨即豎杆過去，也長二尺無疑，對角斜進恰好齊。請問高寬各幾？

4.100個大人和小孩共吃100個饅頭，已知大人每人吃3個，小孩3人合吃一個。大人和小孩各有多少？

5.今有蒲生一日，長三尺；莞生一日，長一尺。蒲生日自半，莞生日自倍。問幾何日而長等？

6.甲趕群羊逐草茂，乙拽肥羊一隻隨其後；戲問甲及一百否？甲雲所說無差謬，若得這般一群湊，再添半群小半群，得你一隻來方湊，玄機奧妙誰猜透？

7.遠望巍巍塔七層，紅光點點倍加增。共燈三百八十一，請問各層幾盞燈？

可以說，這些數學題很多都是古人遇到的各種問題的再現。

我們不僅發明了數字用以儲存資料，還發明了不同的計量單位、不同的進制。一分鐘有60秒，一天有24小時，一秒等於100毫秒，等等。在不同的領域裡，二進位、八進制、十進位、十六進位、六十進位等發揮著不同的作用。

在十進位的世界裡，人們用以記錄數字大小的數字記號有10個，分別是從0到9，數數的方式是0、1、2、3、4、5、6、7、8、9、10……而在電腦裡使用的是二進位，記錄數字大小的符號只有0和1，數數的方式是0、1、10、11、100、101、110、111、1000……再比如，中國有個成語叫作「半斤八兩」，用以表示旗鼓相當，水準差不多，這是因為中國古代的秤採用的是十六進位，一斤等於十六兩。半斤和八兩，確實是旗鼓相當的。

從古至今，數學的發展一直伴隨著資料處理的問題成長著。

數學，起源於人類早期的生產活動，為中國古代六藝之一，亦被古希臘學者視為哲學的起點。史前的人類除了學會以數字統計物品的數量外，也學會了數一些抽象的東西的數量，比如天數、季節、年數。古代的許多文物如石碑、石刻、泥版都證實了這種說法。更進一步則需要寫作或其他可記錄數字的系統，如符木或印加帝國用來儲存資料的奇普。歷史上曾有過許多有分歧的記數系統。

從歷史時代的一開始，數學的主要原理是為了做稅務和貿易等相關計算，為了瞭解數字間的關係，為了測量土地，以及為了預測天文事件而形成的。這些需要可以簡單地被概括為數學對數量、結構、空間及時間方面的研究。

到了16世紀，算術、初等代數以及三角函數等初等數學已大體完備。17世紀變數概念的產生使人們開始研究變化中的量與量的相互關係和圖形間的相互變換。在研究經典力學的過程中，微積分的方法被發明。隨著自然科學和技術的進一步發展，為研究數學基礎而產生的集合論和數理邏輯等也開始慢慢發展。

數學從古至今便一直不斷地延展，且與科學有豐富的相互作用，並使兩者都得到好處。數學在歷史上有著許多的發現，並且直至今日都還處在不斷的發現中。

數學本身作為一種工具，對資料問題的解決起到了最關鍵的作用。隨著數學的發展，以前不能夠解決的資料問題逐漸得到了解決。

從現場調查說起

英國歷史上爆發過幾次瘟疫。一個半世紀前，英國接二連三地暴發霍亂，成千上萬人被瘟疫奪去了生命。倫敦的布勞德大街（現在的布勞維克大街）附近，3天內有127人被瘟疫奪走了生命，霍亂暴發後的前10天就有500人喪生。

霍亂在當時是致命的疾病，人們既不知道它的病源，也不瞭解它的治療方法。因此，每次一爆發霍亂，就有成百上千的人死去。那個時代，人們普遍認為霍亂是「癘氣」（或稱「惡氣」）所致。有位年輕醫生親眼目睹了這一幕幕慘劇，憂心如焚。這位醫生叫約翰‧斯諾，他醫術精湛，在倫敦非常有名，以至於維多利亞女王都請他當私人醫生。約翰‧斯諾想要挑戰並解決這個問題，他知道，在找到病源之前，霍亂是無法控制的。

霍亂之所以能致人死亡，當時有兩種看法，斯諾對這兩種推測都很感興趣。第一種看法是霍亂病毒在空氣中繁殖，它像一股危險的氣體到處漂浮，直到找到病毒的受害者為止。第二種看法是人們在吃飯的時候把這種病毒引入體內。病毒從胃裡發作而迅速殃及全身，患者會很快死去。

約翰‧斯諾推測第二種說法是正確的，但他需要證據證明自己的推斷。因此，在1854年倫敦再次爆發霍亂的時候，他開始著手準備他的調查。當霍亂在貧民區迅速蔓延的時候，他就開始搜集資料。在兩條特定的街道上，霍亂病情很嚴重，以致10天之內就死去了500多人。他決心要查明其中的原因。

首先他在一張地圖上標明了所有死者居住的確切地方。這給他提供了一條說明霍亂起因的很有價值的線索。許多死者是在寬街的水泵附近（特別是這條街上的16、37、38和40號）居住。約翰‧斯諾還注意到有些住戶（如寬街上的20號和21號以及劍橋街上的8號和9號）卻並沒有感染霍亂而死亡。他沒有預料到這一點，於是他做了進一步調查。他發現，這些未被感染的人都在劍橋街7號的酒館裡打工，而酒館為他們提供免費啤酒喝，因此他們沒有喝水泵抽上來的水。就這一點來看，霍亂的流行要歸罪於飲用水了。

其次，約翰‧斯諾調查了這兩條街的水源情況。他發現，水是從河裡打來的，而河水被倫敦排出的髒水污染了。約翰‧斯諾馬上叫寬街上驚慌失措的老百姓拆掉水泵的把手。這樣，水泵就用不成了。民間的說法是當人們把抽水機的手柄移走後霍亂就隨之停止了。約翰‧斯諾在此之前就曾經表明，霍亂是由病菌而不是由氣團傳播的。

在倫敦市的另一個地方，他從兩個與寬街爆發的霍亂有關聯的死亡病例中找到了證據。有一位婦女是從寬街搬來的，她特別喜歡寬街的水，每天都要派人從水泵打水運到家裡來。她和她的女兒喝了這種水，都得了霍亂而死去。有了這個額外的證據，約翰‧斯諾就能夠肯定地宣佈這種被污染了的水攜帶有致病病菌。

為了防止這種情況的再度發生，約翰‧斯諾建議所有水源都要經過檢驗。自來水公司接到指令，不再讓人們接觸被污染的水。最後，霍亂就這麼消失了。

斯諾醫生所開創的現場調查方法標誌著傳染病流行病學的開始。後來，亞歷山大‧朗繆爾醫生把這門學問引入美國。作為美國疾病預防與控制中心的首席流行病專家，朗繆爾在1951年創建了流行病學情報所，用於訓練「疾病偵探」。他把這個項目設計成一種「國民防禦」的形式，並向外界兜售，用以抵制冷戰期間生化武器的威脅。流行病學情報所在許多如脊髓灰質炎、鉛中毒等疾病的預防、控制方面發揮了主導作用。該組織的成員自豪地戴著一枚翻領別針，上面有一個穿孔的皮鞋圖案，象徵著疾病監測活動的汗水與艱辛。

朗繆爾的辦公室裡懸掛著他所敬仰的3位偶像的肖像：約翰‧斯諾、愛德溫‧查德威克爵士和查理斯‧蔡平。查德威克爵士跟斯諾一樣，是英國19世紀推動公共衛生改革的先驅。他提倡居民們用水管將水輸送到家裡，這種觀念在當時是很先進的。蔡平在羅德島州普羅維登斯市當了48年的衛生員，被大家稱為「城市衛生官員主任」。他在19世紀80年代推動了美國的公共衛生運動，而且擁護在公共衛生管理中使用科學原則。

朗繆爾到處宣講合作的價值，鼓勵那些來自心理學、人類學、社會學及其他學科領域的人參加流行病學情報所培訓。到今天為止，已有3000多名官員畢業於此；最近的班上大約有30％的學員不是醫生。流行病學情報所培養出來的官員不僅以分析的細緻見長，而且具備實際的眼光，他們因集兩種優點於一身而著稱於世。

約翰‧斯諾的現場調查方法和朗繆爾的「疾病偵探」其實是小數據時代使用的典型方法，長期以來，人們使用類似的方法成功地解決了各種問題。直到現在，這些方法依然在各個領域廣泛應用。

第一章

從小數據到大數據

過去很長時間，我們習慣採用問卷調查、現場採訪等方式去採集一些有代表性的資料，藉以分析我們要解決的問題。這些方法在過去取得了很不錯的效果。只是，隨著科技的迅猛發展，我們對資料處理和分析的要求越來越高，這些方法慢慢變得不太適合了，此時大數據應運而生，逐漸展示出驚人的力量。

一、大數據的過去

給你一個超市

如果現在你是一個超市的經營者，你會怎麼讓超市的利益最大化呢？

隨便想想都有很多辦法，如降低進貨成本、降低物流成本、精簡不必要的人員、優化銷售團隊、策劃必要的行銷活動、分析其...

前 言

2013年4月15日，波士頓馬拉松比賽現場發生爆炸案。僅僅幾小時，數以千計的在場群眾就通過手機、相機、平板電腦等設備將在事發現場拍攝的照片和視頻放到了網上。3天後，犯罪嫌疑人便已經被確認，又一天後，兩名犯罪嫌疑人和警方爆發槍戰，結果一死一傷。

這是歷史上第一次反犯罪機構的專業能力與社會大眾彙集的大數據結合起來，在與犯罪分子的時間競賽中取勝。

在很多人還不知道「大數據」這個詞的含義時，大數據時代已經悄然到來。

隨著社交網路的逐漸成熟，移動頻寬迅速提升，雲計算、物聯網應用更加豐富。更多的傳感設備、移動終端接入網路，由此產生的資料及資料增長速度迅速攀升。

一項針對甲骨文公司獨立用戶的調查發現，90％的企業的資料量在迅速上漲，其中16％企業的資料量每年增長率達到50％或更高。不少企業已經感受到失控的資料增長對績效造成的衝擊，其中87％的受訪者將企業的應用程式性能下降歸咎於不斷增長的資料量。另一項調查則顯示，全球資料量在2011年已達到1.8ZB，在過去5年裡增加了5倍。

1.8ZB是什麼樣的概念呢？如果把所有這些資料都燒錄存入普通DVD光碟裡，光碟的高度將等同於從地球到月球的一個半來回，也就是大約72萬英里。這相當於每位美國人每分鐘寫3條推特微博，而且還要不停地寫2.6976萬年，是不是很恐怖？這還不是最恐怖的，一個權威調查機構還預測全球資料量大約每兩年翻一番，2015年全球資料量將達到近8ZB，到2020年，全球將達到35ZB。

這個資料不可謂不大！然而，大數據的「大」不僅僅在資料量龐大，還有其他的特徵。某項技術要想成為大數據技術，必須滿足IBM所描述的3個「V」條件，即多樣性、大容量和時效性高。

從20世紀70年代末期開始，已經實現工業化的發達國家先後開始了向資訊化社會轉型的過程。站在今天的角度觀察，這一由工業化向資訊化的轉型可以分為3個時代，即電腦時代、互聯網時代和大數據時代。到90年代中期，美國已經基本度過了電腦時代，電腦高度普及，解決了資訊的機器可讀化和資料的可計算化問題。目前，美國也基本走完了互聯網時代的路程，互聯網高度普及，解決了資訊傳遞和資訊服務問題。在電腦和互聯網的基礎上，美國正在步入一個全新的歷史階段——大數據時代。

從最早的結繩記事到後來的問卷調查，從早期巨型電腦作為唯一的電子化資料獲取和處理工具到後來PC和筆記型電腦的普及，再到今天的智慧手機、谷歌眼鏡和穿戴型資料終端以及形形色色的資料傳感裝置，人類將物理界、生物界和社會界的萬事萬物資料化並加以存儲處理的能力大幅提高，可以說無處不在，無物不讀。目前全球具備資料獲取存儲處理和傳輸的資料終端設備已經超過100億台，並且以每兩年翻番的速度增長。互聯網從早期的有線網路發展出無線網路，資料傳輸速度越來越快，資料傳輸成本越來越低。

當互聯網與資料終端合為一體，就開始形成一個全面深入映射現實世界的資料化世界，也就是人們所謂的大數據。獲取和利用大數據，尋找過去現實世界中所沒有的全新生活方式、社會治理機制和經濟發展途徑，開始成為社會各個方面關注投入的中心，也就是人們所謂的大數據時代。當獲取和利用大數據成為社會共識和社會發展的主要推動力的時刻到來，可以說人類全面進入了資訊化社會。

歡迎來到這個新時代，這個嶄新的、神奇的大數據時代。

前 言

2013年4月15日，波士頓馬拉松比賽現場發生爆炸案。僅僅幾小時，數以千計的在場群眾就通過手機、相機、平板電腦等設備將在事發現場拍攝的照片和視頻放到了網上。3天後，犯罪嫌疑人便已經被確認，又一天後，兩名犯罪嫌疑人和警方爆發槍戰，結果一死一傷。

這是歷史上第一次反犯罪機構的專業能力與社會大眾彙集的大數據結合起來，在與犯罪分子的時間競賽中取勝。

在很多人還不知道「大數據」這個詞的含義時，大數據時代已經悄然到來。

隨著社交網路的逐漸成熟，移動頻寬迅速提升，雲計算、物聯網應用更加豐富。更多的傳感設備、移...

序 言……………………2
第一章 從小數據到大數據…………………………7
一、大數據的過去……………………8
二、大數據的歷史背景……………………21
三、互聯網的新時代……………………33
第二章 掀開大數據的面紗…………………………53
一、大數據閃亮登場……………………54
二、大數據的新思維……………………64
三、大數據的侷限……………………76
第三章 爆發：大數據的力量…………………………97
一、怎麼準確預測未來……………………98
二、長尾理論……………………104
三、一切源於爆發……………………112
第四章 大數據的商業行銷…………………………121
一、大數據讓行銷更精準……………………122
二、大數據的使用者體驗……………………132
三、大數據的粉絲經濟……………………141
第五章 大數據的企業創新…………………………151
一、大數據另闢蹊徑……………………152
二、大數據的破壞式創新……………………172
三、傳統企業的大數據……………………180
第六章 個人與政府的新機遇…………………………189
一、工作中的大數據……………………190
二、生活中的大數據……………………197
三、大數據致富之路……………………205
四、大數據幫助政府決策……………………211
五、大數據與國家安全……………………217
第七章 以大數據預見未來…………………………229
教育行業的變革……………………230
附錄：大數據發展簡史……………………247

序 言……………………2
第一章 從小數據到大數據…………………………7
一、大數據的過去……………………8
二、大數據的歷史背景……………………21
三、互聯網的新時代……………………33
第二章 掀開大數據的面紗…………………………53
一、大數據閃亮登場……………………54
二、大數據的新思維……………………64
三、大數據的侷限……………………76
第三章 爆發：大數據的力量…………………………97
一、怎麼準確預測未來……………………98
二、長尾理論……………………104
三、一切源於爆發……………………112
...