雲端時代的殺手級應用：Big Data海量資料分...

名人推薦：名人推薦
張善政（前Google亞太營運總監、現行政院政務委員）
錢大群（IBM大中華區總裁）
黃慧珠（台灣IBM總經理）
李實恭（台達電子技術長、清大服務科學研究所兼任教授）
魏志平（台大資訊管理系教授）
戴季全（《TechOrange科技報橘》創辦人暨發行人、《WIRED國際中文版》創刊總編輯）

導讀
人類生活的下一塊拼圖
李實恭

早在幾年前，海量資料（Big Data）的相關話題就已在科技界發酵，當時大家著重的是技術層面，希望開發更先進的軟硬體，更有效的儲存、利用這些因應網路時代而不斷產生的資料。但是，海量資料（Big Data）之所以重要，絕不是更先進的數據資料採集而已，因此每當討論這個議題時，我總是一再地強調，我們要探討的主題叫做「海量資料分析」（Big Data Analytics）。

誠如本書所提到的，海量資料真正的價值在於趨勢背後所包含的「分析學」（Analytics），也就是以系統化的方式，把從不同管道獲得的大量資料，轉變為經過組織的資訊、甚至知識；這就像是一個人同時擁有聽覺、視覺、味覺和觸覺一樣，將這些「感覺」綜合起來，才能感知到我們身處的每一個瞬間，然後因應各種狀況，做出適當的反應。

尤其是在這一個愈來愈「平」、愈變愈「小」的世界裡，人與人、人與環境之間的連結愈來愈緊密，交互影響力也愈來愈大，人們開始意識到在這個世界上生活，沒有人可以置身事外，無論好事或是壞事，就比如說這幾年的金融危機、能源短缺、環境污染、食品安全等風險，都已經不再是區域性問題，而是實實在在地影響著各個國家、各個階層的每一個人。

同時，透過手機、網路、感測器（sensor）等資料化系統，讓人類歷史上第一次，幾乎任何東西都可以數位化地被測量，各種創新的感應科技大量被嵌入汽車、家電、公路、水利、電力等設施當中，加上網路的高速發展，使得愈來愈多的人、物品、環境可以被建構成一個互聯互通的系統。

從資料裡挖出新需求
發展海量資料分析的意義是將這些大量增生的新資料，透過分析工具形成新的洞察，進而提早在變化莫測的世界裡預知風險，以追求更美好安全的生活，所以它不只是新科技，而是一種新生活型態的前導，而這種新的生活形態，對於人類文明的發展來說意義深遠。

如果我們不論時間軸次序去回顧人類文明的發展進程，目前為止已發生了三種類型的革命，背後的原因大都是為了提高生產力。第一類型的分子是「需要花的時間」，分母是「地理上相隔的距離」，人類希望花在交通時間上的數值愈來愈小，也就是不管距離有多遠，花的時間要愈來愈短，所以我們發明了新的道路系統和運輸工具，從馬車、火車一直到飛機。

第二種類型的分子是「生產量」，分母則是「一定的人口數」。人類希望這個數值可以愈來愈大，因此本來我們一天只有八小時的日光時間用來工作、生產，發明了電燈以後，現在我們一天的生產時間可能增加到十四小時以上。又或者是電冰箱和洗衣機的發明，是因為過去的社會結構，家庭需要女性來照顧，沒有電冰箱以前，女性得每天去買菜；沒有洗衣機以前，女性得到井邊或河邊洗衣服，因此過去的女性就被綁在家裡，直到有了家電的輔助，女性才有餘力投入生產，因此「電氣化」在近代史上也是一個很大的改變。

當整個生產的時間縮短、數量變大，我們還希望它品質穩定，因此人類又發明了電腦，來幫助人類做一些重複的事情，例如抄寫、填表，也因此電腦最早的應用都是我們現在每天要用的文書處理（word document）和試算表（spreadsheet），之後逐漸發展成可以幫人類處理很多繁瑣又精細的重複性工作，像是設備、機床等儀器，藉由「設備化」把人為的不穩定性控制到最低。

從利用交通工作縮短時空距離、利用電氣產品增加生產量，一直到利用儀器設備優化生產品質，下一階段人類文明的發展又會朝哪裡前進？其實，不管是兩千年前、八百年前、一百年前，人類的基本需求都沒有改變，我們追求更美好的生活，所以想辦法提升了物質上的需求，但不要忘記，還有另一部分也是亙古不變的，那就是人們心靈上的需求。

從歷史上看，今天很多的改變都是為了標準化，以提高生產力，但上帝創造每一個人的天性都不一樣，所以不管iPhone賣得有多好，就是會有人不想和大家一樣使用它，這種獨特性代表著在每一個人的心裡面，都有一個需要去填補的空虛，因此除了標準化之外，愈來愈多企業注意到每一個人內在個性化的不同需要。

舉個最簡單的例子來說，一間會議室裡原本只有兩個人，當另外兩個人加入討論，溫度開始升高，這時候空調是不是應該開始調整？調整到幾度對人體才會最舒適？如果中途有人離開，或是有人的情緒愈來愈激動，那麼空調系統又該如何因應？滿足這些個性化的不同需要，在科技、商業以及社會中都是正在進行中的實驗過程（ongoing experimentation），也是人類文明發展中另一個進程的開始。

經歷了銅器時代、鐵器時代、原子時代和計算機時代，現在我們正在進入爆發的「資料時代」，如果縮小了時間軸（time frame）來看，每一次的大變化都是文明發展中的一次革命，但如果拉長來看，這些革命一樣還是在解決人類提升物質和心靈的需求，海量資料分析的出現也是如此。
如何利用大量的資料分析、洞察，讓人們的基本生活需要以及心靈需要，和這個世界的管理結合起來，是我們希望海量資料能夠做到的應用和服務，而技術的演進則是幫助這件事情發生的推動力。

拼出未來的樣貌
所以，在這本書裡我們並沒有提供很深入的技術，而是希望以「科普」的方式讓更多人了解，如何利用海量資料分析幫助你的企業、組織，甚至生活。尤其是當你可以用即時（real time）或近乎即時的速度，整合來自不同管道的龐雜資料，並運用強大的計算能力分析和挖掘，那麼趨勢（Trend）就不再只是像素，而是一塊有意義的拼圖。

海量資料分析可以幫助我們拼湊，甚至預測趨勢的發生軌跡，表面上看來是幫助產業找到新的方向，但是這本書所要傳遞更深層的意義是，希望這項新技術可以形成一股由資料分析帶動的正向迴圈，讓更多人具備相關的知識跟技能，成為這個世界更良善的幫助，引領著你我的生活走向一個更美好的新境地。
（作者為台達電技術長、清大兼任教授）

導讀
人類生活的下一塊拼圖
李實恭

早在幾年前，海量資料（Big Data）的相關話題就已在科技界發酵，當時大家著重的是技術層面，希望開發更先進的軟硬體，更有效的儲存、利用這些因應網路時代而不斷產生的資料。但是，海量資料（Big Data）之所以重要，絕不是更先進的數據資料採集而已，因此每當討論這個議題時，我總是一再地強調，我們要探討的主題叫做「海量資料分析」（Big Data Analytics）。

誠如本書所提到的，海量資料真正的價值在於趨勢背後所包含的「分析學」（Analytics），也就是以系統化的方式，把從不同管道獲得的大量...

推薦序
衝擊社會文化的大趨勢
張善政

「海量資料」（Big Data）就是過去沒辦法儲存、分析，但今天已可以駕馭管理的資料，是資訊產業裡最夯的新名詞；而更令各方垂涎的，是其背後隱藏的龐大商機。誰先開發出海量資料的創新應用，就可以領先對手。但是海量資料的衝擊層面絕對不僅於此，商業價值只是其冰山的一角。
讓我們退一步，從歷史與文化層面來想。人類的歷史，乃是把過去先人的活動加以有系統的串接。「史前」，就是沒有文字可以記載歷史的年代；「不可考」，就是文字紀錄已經喪失的歷史。歷史記錄的對象，以達官文人等成就顯赫人士為主，一般的庶民並沒有機會成為歷史記載的對象，充其量就是在家譜中的一個名字。
今天，一個人的行蹤透過手機定位可以全程追蹤、電子行事曆記錄了這個人的重要活動、信用卡與儲值卡記錄了這個人的消費行為、健保系統記錄了這個人大半的健康就醫資料，再加上這個人主動在社群網路上記載的形形色色活動，試想還有什麼資訊是不能記錄、掌握的？這會造就何等情境？舉其一，升斗小民的資料一樣會被記錄，也可以成為歷史的一部分。難怪國外有人提議全民用推特（twitter）寫歷史！
我們已經到了一個個人資訊爆炸的時代，而拜資訊技術之賜，這些資料都可以長期地記錄、保存，對個人、企業、政府都蘊藏了高度的應用價值。當然，利之所趨，就如網際網路的發展，先有電子商務、才有顛覆極權政治的社群網站；海量資料的衝擊首先會出現在商業行為上，其次就是政治、社會與文化。賣場業者要推測一個固定購物客戶的家庭組成與飲食習慣絕非難事；電信業者透過基地台的手機註冊紀錄推算客戶日常行蹤，也是輕而易舉；政府可以透過特定醫療用品的銷售資訊，鎖定年長者社會福利的重點區域。這裡面夾雜了商業動機，也可以擴展到政治與社會目的。所以，海量資料不是單單資訊業者的事，更是社會有識之士必須深入了解的大趨勢。
這真是一個充滿了想像空間的時代！政府施政如能藉海量資料掌握潛在需求，必能促進施政的滿意度，故本人實非常樂見《雲端時代的殺手級應用：Big Data海量資料分析》這本書的問世。伴隨者政府推動雲端運算，政府與民間必須合力推動海量資料的運用，國家社會才能均衡的進步。本書提出許多海量資料的應用案例，藉此應該能擴展我們的想像空間，刺激我們舉一反三的能力。期待以我們國人的智慧，能藉本書拋磚引玉發展出具本土特色、揚名國際的應用。

（作者為行政院政務委員、前Google亞太營運總監）

在數據海中航向創新之地
錢大群

隨著每一次的技術革命都意味著外部環境的大幅改變，而企業也必須跟著轉型，否則很快就會在時代的巨輪下消逝。而轉型，以IBM自身來說，有超過100年的經驗可以分享。
經過前50年的迅速發展，到1970年代的時候，IBM已經是在計算機行業裡非常成功的公司，但是1980年代之後，IBM犯了一系列的錯誤，在1993年陷入最低谷，甚至瀕臨破產。
市場的翻轉，讓我們走上一條不斷地改變自己，去適應環境變化的轉型和創新之路。1993年之後，IBM歷經了三次重大的轉型，第一次轉型是從硬體轉向軟體和服務，第二次轉型則是出售了PC業務，向高價值業務轉型。2004年之後，整合全球企業和智慧的地球，讓IBM每年節約開支10億美元，每股盈利連續8年、36個季度以兩位數字成長。而今，我們其中90％的利潤來自軟體和服務，而不是來自硬體。
過去10年，大環境改變是很大的，尤其在金融危機以後。然而，成功的時代裡也有失敗的企業，即便是在最困難的環境裡也有非常成功的企業，唯有轉型和創新，才有能力駕馭這些外來的影響。
2012年，IBM在全球調查了1709位企業CEO，了解他們對互聯經濟大格局之下企業如何持續轉型的看法，發現CEO們並不滿足於IT運用僅止於整合供應鏈和後端辦公系統，而是希望充分發揮海量資料和互聯科技的潛力，重新思考人與人互聯後對企業帶來的價值。
有超過一半的CEO認為，在新時代裡要轉型創新，必須建立廣泛的夥伴關係，進行充分的協作。超過70％的CEO認為，企業必須建立強大的業務分析洞察能力，從而能夠深入理解每一個客戶，對於他們的需求做出快速反應，以個性化服務贏得客戶。也有75％的CEO認為，在新的互聯時代背景下，社交媒體的影響愈來愈大，必須有新的人才戰略。
這些來自績優企業的三項最重要的發現，代表著企業必須建立更加開放的文化，抓住世界進入計算新紀元的趨勢和契機，挖掘出海量資料中有價值的洞察，而這些洞察也將成為企業創新的源泉，以及和客戶一起智慧成長的能力。
尤其在現今的環境裡，數據量的爆發和以前完全不一樣，我們的資料有90％是過去兩年創造出來的，到了2020年的時候，全世界要消化的數據量是現在的44倍以上。為什麼有那麼大的數據源？除了傳統企業掌握的數字，每天都有各式各樣數據在傳輸的社交網站之外，也包括物聯網連接起來以後，即便養一頭牛、養一頭豬都有晶片，都會產生的無數數據。
今天的數據已經不是我們用傳統的方式，把數字打進計算機處理一下就得到報表，而是在感知化（instrumented）、物聯化（interconnected）和智能化（intelligent）的交會下，就好像把調節水量的三道閘門同時開啓一樣，遍及各處的數據量，從原本的潺潺細流匯流成磅礡大川，再傾洩灌入一片無邊無際的數據海。
而企業可以在這片數據汪洋中安全地航向目的地，還是被巨浪吞沒，就是這本書要談的主要議題，在這個命題之下，這本書裡所談的海量資料，並不只是一門新技術，更是以大量的資料為基礎，進行業務分析、預估與洞察的創新能力。
在這個變動的環境中、資料爆炸的時代下，全世界經濟正在重組。未來，有70％的增長來自新興市場，會有30億人口成為新的中產階級，帶動全球供應鏈發生新的變化，這個重組過程對企業來說，既是機會也是挑戰。
如果能把大量的資料，用科學化的方式做到更優化的預估，那麼在面對複雜環境所帶來的諸多挑戰下，不管是企業或政府能運用這些經過提煉的智慧，創造新的成長機遇以及全新的價值。
誠如書中所說，這已經不是一個簡單的資料增加問題，而是一場量變形成質變的變革，衷心期盼在巨變之後的新世界裡，我們都會是搭上發現者號的一員，持續往創新的方向航行。

（作者為IBM大中華區總裁）


連女神卡卡都愛用的新技術
黃慧珠

每一天在Facebook上的IBM Taiwan專頁裡，都會提供一則最新訊息分享給大家，趁著工作空檔，我也會滑滑手機，看看同仁的「小編報報」或「藍血生活」，今天又提供了什麼有趣的資訊或新知。
長達九天的春節連假裡，IBM Taiwan專頁裡的一則文章攫取了我的注意力，標題是「Big Data's Surprising Uses: From Lady Gaga To CIA」（海量資料令人意想不到的應用：從女神卡卡到CIA）。
　　我想，十之八九的讀者都和我一樣好奇，女神卡卡和Big Data之間究竟有什麼關係？在流行樂界，女神卡卡不僅是全球粉絲最多的歌手，也是本世紀以來最具話題性的演藝「產品」，包括哈佛商學院、歐洲管理和技術學院（European School of Management and Technology）、安特衛普大學管理學院（UAMS）都曾經將她當作創意產業的MBA課程研究案例。
　　在被問及這位另類藝人的哪些地方值得企業學習時，這些名校老師的回答是：女神卡卡善用社群媒體營造自己的粉絲圈，以及利用各種平台不斷炒作自己。而這個成功策略的推動者就是她的業務經理卡特（Troy Carter），和他打造的新商業模式。
　　卡特認為，當你在推特上有超過3100萬追隨者、在臉書上被按了5100萬個讚時，這代表的是你擁有比地球上任何一個人都還要多的龐大粉絲團，但5100萬個讚並不意味著5100萬張CD或演唱會門票，你得知道這些人是誰，怎麼賺錢和持續促進明星的高人氣。
　　於是，卡特運用了海量資料分析，處理這些大規模、結構各異和高度複雜的資料，從這些龐大的資料中找到最具有吸引力的方法，成立了「Littlemonsters.com」這個微型社群平台，讓這一百萬個忠實的「小怪獸」成為女神卡卡各項活動的鐵票，維持100％的未來收入。
　　媒體這麼形容，每個成功男人的背後，都應該有一個女人；而在每一個成功的藝人背後，肯定有一個天才的經理。或許這麼說會更加適當，卡特是一個懂得「資料價值」的天才經理。
　　IBM估計，每一天從各種各樣感測器、社群媒體和數十億的移動設備中流出的資料量高達25億GB（Gigabyte，吉位元組），其中的90％為非結構性資料，而這些非結構化資料將會佔據IT最大比例的工作負載量。
　　今天，全球網路人口已超過20億人，光是中國就有5.5億，而台灣則有1100萬人經常上網，等於佔了人口數的一半。全球手機用戶有60億，光是中國移動用戶就達到6.5億人，而台灣的行動電話更是超過3000萬支，等於平均每個人擁有1.3支，2012年手機上網用戶高達535萬人，比2011年成長一倍。
　　因應而生的海量資料帶動了2012年280億美元的全球IT支出，2013年帶動之IT支出規模可望進一步增至340億美元，國際研究暨顧問機構Gartner研究更顯示，其中針對社群網路分析和內容分析新增的支出比重高達45％。
　　這樣的衝擊不僅是在ICT產業，而是在各行各業。電子商務、移動電子商務和社群媒體帶來的變革，讓跨界競爭日益嚴重，以往的製造商搖身一變成為消費市場上的新對手，投入一億元的廣告費效果卻比不上100則的消費者網路留言，在在顯示著直接與用戶端接觸的智慧終端時代已然來臨。
　　另一方面，自2007年起，全世界有超過一半的人口生活在城市之中，到2050年全球城市人口將達到總人口的70％以上，大規模的城市化也使得環境、氣候、能源等各方面的規劃和發展愈來愈困難。
　　企業該如何維持有機式的創新（organic innovation），以找到未來的成長動能？政府和公部門如何才能讓城市的生活環境和公共服務有更高的品質？這是我們規劃這本書最主要的目的，也是IBM為什麼以「智慧的地球」作為人類社會發展願景的主要原因。
　　2013年3月，新北市會與IBM高階領導人團隊一起為城市的公共安全，建構一個更智慧的藍圖，而屏東縣也將與IBM團隊針對能源議題進行討論及規劃，這是台灣邁向智慧城市的開端。同時，我們也幫助台灣幾家商業銀行，透過IBM顧問諮詢服務以及商業分析解決方案，藉由先進的分析和精確地區分客戶群，有效提升行銷活動的回應率達60至80％，不僅大幅提升行銷活動的效率，也是台灣企業邁向智慧商務的開始。其他包括醫療、交通、能源、製造、金融、電信、零售、娛樂業等，利用海量資料分析擷取商業洞察力（insights），創造出新商業模式的成功案例，也在台灣和全球持續開展中。
　　海量資料是一個正在發生的事實，而運用海量資料分析將會是一個開啟你我新視界的新世界，如果連女神卡卡都已經開始用它，而你又如何能不開始了解它呢？

（作者為台灣IBM公司總經理）


一個由資料組成的人與世界

戴季全

「過去兩年，人們製造的資料就佔了當今全球資料總量的90%。」
這筆資料，有三個觀點值得被「特別提示」：

一、 資料增生的速度。
Big Data以這樣的速度逼近到我們面前。如果我們把兩年以前的文明累積基數以兩百年為限，意味著我們只用了近百分之一的時間，就創造了九成以上的資料。速度快到我們甚至來不及找出一個確定的中文翻譯，叫做：巨量資料、大數據、大資料、還是海量資料。我們就急於需要這些新的理解、新的應用，面對新的可能，還要面對新的危險。
二、個人資料的隱私。
從個人的角度來看，我們從未被如此清楚地紀錄過。我們的基本行為其實沒有劇烈的改變，還是要吃穿，還是要交通，還是需要有住的地方，也還是需要娛樂和教育。即便我們有時候用冷漠來面對，政治依然是我們關心的事，即便我們有愈來愈長的壽命，用醫療來抵抗死亡依然是我們每天的企圖。
但我們從來沒有被如此詳實地被紀錄著。我們在什麼特定時間去了哪間餐廳、在某一個信義計劃區的商場待了三個小時，看了一場動作類型的3D電影，平均消費額超過新台幣六千元，因為某支新的智慧型手機上市帶動本月消費多了三萬元。哪個地點上車，哪一站下車。台北市五月的GDP因為天氣比往年多雨少了14％。購物推薦的演算法除了推薦商品，相同的演算法也可以應用在類似基因的族群，把你可能會罹患的疾病推薦給你。這些資料，正以新的速度，揭露各種新的理解。
公領域和私領域的界限模糊更不只發生在臉書等社交網絡，這些資料的歸屬、誰能用什麼樣的方式紀錄什麼、如何應用或交易這些資料，更正在加劇衝擊我們以往所熟悉的隱私。提升，或者破壞我們的生活。
三、資料所帶來的權力。
我們還缺乏一個允許或不允許、哪些政府或企業、在什麼情況下、可以或不可以紀錄和使用、哪些資料到什麼程度，的成熟理解與機制。
從另外一個面向來看，擁有資料的組織，會比沒有資料的組織擁有更大的權力。擁有資料規模較大的組織，會比擁有資料規模較小的組織擁有更大的權力。擁有較完整的資料的組織，會比擁有較不完整資料的組織擁有更大的權力。擁有更即時資料的組織，會比擁有更不即時資料的組織擁有更大的權力。擁有消費者信任、主動提供資料的組織，會比缺乏消費者信任、背後蒐集資料的組織，擁有更大的權力。
數據被大量地釋放出來，權力便被大量地釋放出來。知識被大量地創造出來，權力便被大量地創造出來。
缺乏這些數據的組織、缺乏能力將數據加值為知識的組織，就缺乏和這個世界互動的基礎，就無能成為這個新世界的一部分。
資訊焦慮只是個人遭受資訊時代衝擊產生的課題，那只是前菜。
歡迎來到瀰漫「資料焦慮」的大數據時代。

（作者為《TechOrange科技報橘》創辦人暨發行人、
《WIRED國際中文版》創刊總編輯）

推薦序
衝擊社會文化的大趨勢
張善政

「海量資料」（Big Data）就是過去沒辦法儲存、分析，但今天已可以駕馭管理的資料，是資訊產業裡最夯的新名詞；而更令各方垂涎的，是其背後隱藏的龐大商機。誰先開發出海量資料的創新應用，就可以領先對手。但是海量資料的衝擊層面絕對不僅於此，商業價值只是其冰山的一角。
讓我們退一步，從歷史與文化層面來想。人類的歷史，乃是把過去先人的活動加以有系統的串接。「史前」，就是沒有文字可以記載歷史的年代；「不可考」，就是文字紀錄已經喪失的歷史。歷史記錄的對象，以達官文人等成就顯赫...

推薦序 衝擊社會文化的大趨勢 張善政
推薦序 在數據海中航向創新之地 錢大群
推薦序 連女神卡卡都愛用的新技術 黃慧珠
推薦序 一個由資料組成的人與世界 戴季全

導讀　人類生活的下一塊拼圖 李實恭　

第一部 什麼是Big Data？
第一章　海量資料新世界　
第二章　不只是大而已　

第二部 Big Data大商機
第三章　破壞式的全新競爭力　
第四章　應用案例：從行銷到反恐　
第五章　零售：更好、更快、更便宜　
第六章　醫療：降低成本、促進醫學研發
第七章　政府部門：提高效率、打擊犯罪　
第八章　能源：節能減碳新利器　
第九章　電信：龐大通訊資料就是寶山　
第十章　金融：防堵詐騙、有效行銷
第十一章　製造：協調產銷、管理供應鏈
第十二章　娛樂：更深入、更即時的娛樂體驗

第三部 技術與前瞻
第十三章　海量分析的技術要件
第十四章　結語與展望　　

推薦序 衝擊社會文化的大趨勢 張善政
推薦序 在數據海中航向創新之地 錢大群
推薦序 連女神卡卡都愛用的新技術 黃慧珠
推薦序 一個由資料組成的人與世界 戴季全

導讀　人類生活的下一塊拼圖 李實恭　

第一部 什麼是Big Data？
第一章　海量資料新世界　
第二章　不只是大而已　

第二部 Big Data大商機
第三章　破壞式的全新競爭力　
第四章　應用案例：從行銷到反恐　
第五章　零售：更好、更快、更便宜　
第六章　醫療：降低成本、促進醫學研發
第七章　政府部門：提高效率、打擊犯罪　...