《排除妄想的大數據實踐術》全新封面版
為什麼「大數據」是史上最常被打搶的熱門技術!
為什麼專家得到的結論,到了實務現場卻根本行不通?
本書不討論資訊技術,只是用大量的例子告訴你,
該如何讓大數據在你的公司產生真正的效果!一家日本的餐廳想知道增加熟客的來店比率是否有助於提升業績!公司總部的大數據專家把熟客的定義為一周來店三次的客人。打算對他們推出促銷方案,但是實際進行時發現一周來店三次的客人根本沒有幾個,於是只好改變熟客的定義!
一家公司聘用了外部的資料科學家,來進行資料分析,得到的結果興沖沖的和現場的銷售人員分享!但對方的回應是:你的資料有問題,和現況完全不符!
由於大數據是科技浪潮的代表性名詞,因此大家對它的作用存在很大的幻想,期望它對公司產生快速而巨大的影響。
當你聽到大數據在行銷領域的運用,是不是想到類似「啤酒」與「尿布」的例子?公司檢視來自網路及實體通路收銀機的銷售資料,發現買尿布的男客人,同時買啤酒的機率很高。因此公司立刻通知通路人員,把尿布與啤酒放在一起,營業額於是快速成長。
很可惜,企業在大數據的運用上,立竿見影的發現很少出現,要透過層層的梳理,才可以找到有效的運用。因此在利用大數據的過程中必須處理一連串的問題,化解一連串的迷思才能替公司帶來實際的效果。
而且,大數據的用途多半相對平實。日本軟銀(SoftBank)的電信服務,在95%以上的區域通訊良好,但是少數地方會傳回通訊不良的訊號,於是公司針對極少數通訊不良的地方進行改進,最後在同業中,因為這些小幅的改進而贏得更高的滿意度。
同樣的,日本著名的旋轉壽司店,利用食品在轉盤上行進的距離,來決定新鮮度,再配合來店客數,預估大約15分鐘後可能的點餐量,並據以出餐,同時滿足成本及品質控制。
幾年之內,全球會有500億部可以連網的終端設備。不斷由賣場、辦公室,甚至是噴射引擎內部傳送訊息,讓大數據的分析具有3V的特徵(Volume:大量;Variety:多樣性;Velocity:即時)。不過在資料運用處於核心的人類對如何利用大數據來提升營運效率,卻還沒有準備好。
以下情況充斥於企業界,讓大量的數據無法對公司的營運產生效用:
1 認為只要蒐集資料數據就能搞定一切。
2 要追求與眾不同的事實、新奇的發現。
3 只看數據,不去看現場狀況。
而本書則以明確的模式及具體的案例,告訴你如何把大數據由「雲端」的天上拉回人間的「收銀機」。
本書特色 ◆從尖端趨勢到實務操作全說明:
物聯網(IoT)的發展將對企業營運產生重大的影響,預估全球將有500億個終端連網裝置運行。如果電力問題可以克服,那麼日本的工具機廠商,可以立刻獲得銷售往全球各地機具的使用情況,有那些零件要更換;德國則據以發展工業4.0,即在德國本土,以無人工廠,大量客製化生產產品;氣象預報可以每平方公里為預報單位,每幾分鐘就更新數據。而連鎖店則可以隨時得知店內有多少顧客上門、待了多久、有多少人沒有買東西。
除了最先進的技術發展,本書也說明在大量資訊產生時,如何利用資訊產生有助於提升營運績效的具體做法。包括「活用計畫專案」與「定型化專案」兩個階段。活用計畫專案是以資料科學家為中心,為了達成目的而蒐集、分析數據,再導出成為結果的啟發專案。其過程包括樣本的假設成立、數據的蒐集、假設驗證、樣本的最終確定(得出對策)。「定型化專案」則是以「活用計畫專案」得到的啟發為基礎,在事業現場實施對策並創造成果的專案。其分為對策的導入和監控成果兩個部分。
◆用實際案例來說明大數據運用的過程:
本書用完整的案例來說明大數據研究及運用的過程。其中一個案例為在商店街展店的餐廳「定食屋change」。
「定食屋change」的漢堡定食是店內固定的熱門菜單,另外也提供數種午餐菜單。由於會有假日的營業額比平日差的情形,該店的目標是「要設法增加平日午餐的營業額」。因此,定食屋change的店家利用每日點餐明細的資料而開始活用大數據。
於是,立刻開始進行「大數據活用計畫專案」。成立假設、活用可能取得的數據、進行各種分析的結果,發現了「連續兩天來吃漢堡定食的所有客人,隔天都不會來店裡消費」的傾向。
這是以前從未注意到的新發現,從這個結果中就能知道「如果針對連續兩天吃漢堡定食的客人,設法讓他們隔天也來消費的話,就能確實增加營業額」。因此,可以說「大數據活用計畫專案」暫時是達成目標了。
雖然「大數據活用計畫專案」本身是順利結束了,但這時候其實尚未出現成果。這是因為要在現場實踐的「讓連續兩天來吃漢堡定食的客人,隔天也會來店」的對策還沒有落實。因此,要落實對策付諸實踐、檢驗成果的就是「大數據定型化專案」。這個專案所進行的就是「導入和監控」以及「成果」這兩項。
例如,以「定食屋change」的情形來說,如果沒有決定要如何辨別「連續兩天吃漢堡定食的人」,以及如何應對的話,那麼這個對策就無法運作。因此,如何辨別「連續兩天吃漢堡定食的人」、如何促使目標顧客隔天來店消費,還有如何掌握實際上連續3天來店的人、在結帳時該如何應對等,這些事項都要一一給予定義。而且,在掌握到進行此對策的成果之前,都是屬於這個專案的範圍之內。
本書以具體的步驟來說明大數據研究的運用,讓讀者可以確實遵循。
◆全面的實作經驗分享,讓你少走冤枉路:
由於大數據的運用成為風潮,因為形成許多新的專業工作,如分析資料的「資料科學家」,由於許多企業沒有相關的專業人士,因此常常用外聘的方式進行。這些外聘人士往往與公司內部人士,特別是現場人員的溝通不足,因此取得的研究往往無法推動。為了避免以上問題發生,本書建議在組成大數據相關專案時,要將現場的人員納入聽取其意見。
而在許多大數據方案的進行過程中,大家都會有以下的看法:如果只是用數據來證明「大家都能感受得知的事實」,就談不上有什麼價值。但是,假如對大數據抱持過度幻想,想盡辦法要找出「無法找到的事實」,就會步上一條辛苦的道路。
作者指出大數據並不是要強行從數據中找出在工作現場大家都感受不到的傾向,而是要證實現場的專家或老手等一部分的人所感受得知的傾向。也就是說,要將內隱知識(tacit knowledge)變成外顯知識(explicit knowledge)。面對數據分析時如果沒有瞭解這一點,就只會白白浪費時間了。
本書作者輔導過大量企業進行大數據的研究,在本書中分享他們的迷思與經驗,讀者不必重蹈覆轍。
作者簡介:
高橋範光(たかはし のりみつ)
日本首創專研大數據的線上雜誌『大數據雜誌』總編輯,change股份公司的董事。
於東京工業大學研究所專攻經營工學及集團決策模型等領域。畢業後進入外資公司Cosulting Firm Andersen Consulting(現在的埃森哲)。從事於業務系統開發、Web系統開發、市場行銷投資回報率(ROI)分析等跨領域的IT諮詢顧問工作。2005年進入change股份公司服務,從事於超過100家IT&系統開發企業的人才培育。現在專注於資料科學家的培育及數據解析諮詢。除了在『日經情報戰略』連載有關大數據的文章,也在日本航空等多家企業開設有關大數據的研習、講座等,積極投入工作。
譯者簡介:
蔡姿淳
淡江大學日文系畢業。曾任出版社編輯,目前為專職文字SOHO,從事翻譯、採訪與企畫等文字相關工作。
鄭睿芝
淡江大學日文系畢業,曾任職時代外語、健峰企管顧問公司,現為專職翻譯。譯作有《免捏御飯糰》、《蛋營養‧常備蛋料理100道》、《狗狗這樣吃,癌細胞消失!》等書。
章節試閱
序章:大數據從熱門話題邁向「活用」的階段
在報章或電視新聞中頻繁出現的「大數據」,雖說是一個掀起熱潮的流行術語,但最近活用的事例卻正在逐漸增加。序章中所觸及的內容,就是在不遠的未來,大數據將會帶來的未來面貌,以及我們應該思考的事項等相關方面。
0-1利用大數據能夠做什麼?
◆利用大數據,打造出事先知道「會發生○○」的世界
假如能夠事先知道「會發生○○」,那我們的日常一切將有怎樣的變化呢?以天氣為例,如果可以「正確得知接下來的24小時內,日本全國會出現的天候或氣溫的變化」,那麼日常生活應當會變得非常便利。
「下午兩點起的40分鐘內,會有間歇驟雨,由於不是通勤時段,因此不用帶傘」,「明日傍晚六點會降雪達5公分,要準備長靴和防寒用品」,「明日會有強烈雷雨,一定要做好農作物的防護措施」等等,如此一來,在工作或日常生活上就能事先做出最適宜的措施計畫,應該也能大幅減少天災所造成的損害。
還有,假如變成「正確得知在接下來的二十四小時內,鐵路、公路、飛機、船舶等所有交通網絡中會發生什麼事」的話,將是怎樣的狀況呢?「這條高速公路從早上開始將持續5小時的塞車,因此抵達目的地的時間會是下午三點」,「明日山手線的上下車乘客人數是○○萬人,尖峰時段有兩個,分別是早上8點後的兩個小時以及下午6點後的兩個小時。這段期間會調整發車班距,因此從涉谷車站到東京車站需要28分鐘。」
假如能事先得知像這樣的資訊,就可以調整上班時間或外出時間。而且,交通轉乘等的移動過程也會非常順利。如果你的工作是業務人員,就不會在重要的公事洽談時遲到;如果你是在物流公司上班,就能訂立出準確的配送流程。
不只是工作,個人的生活也一樣。以飲食生活為例,如果有一套系統能配合自己的身體狀況或健康狀態,提供最適合的餐廳和最適合的菜單建議,就可以預防肥胖或生活習慣病。
還有,假如有一項服務是能根據體溫、血壓、心跳數等生命徵象資料,給予最適當的睡眠或運動建議,應該就能度過更健康的生活。或許,大家現在的衣櫃裡可能會有一些在特賣會時過度購物,買來後就放著沒穿的衣服吧。
假如有一套系統能根據手邊現有衣服的款式或顏色、品牌、類別等,提供最適宜的服裝建議,就不會出現像這樣浪費的購物情形了。另外,假設經過百貨公司附近時,就會有優惠的特賣會資訊或打折優待券傳送到手機裡,那麼就可以享受既能控制支出,又能得到高度滿足的消費生活。
這樣的購物效率化,在每天採買食品時也能發揮很大的效果。不浪費冰箱的現有食材,並搭配超市的特價品資訊,手機的APP會以此為前提,提供我們便宜又美味的食譜。而且,再配合上評估健康狀況的生命徵象資料,那麼就能利用家庭料理來預防生活習慣病。
然而,在現實生活中,總是不斷遇到「通勤時段降下豪雨造成電車延誤,於是上班遲到了」、「出乎意外的塞車,可能會耽誤到洽談公事的時間」等等的突發狀況。
我們或許會覺得只是偶發的意外狀況,因此不以為意,但如果是物流或零售等會受到天候或交通狀況影響的企業,重大的估計錯誤就可能造成公司的損失。還有,從事農業、水產或林業等第一級產業的人們,只要能正確地預測天候或氣溫,銷售業績或產量成果就會有天壤之別的差異。
在這裡列舉出的「事先知道會發生○○」的情況,大數據可以將它們化為可能。所謂的大數據,指的就是將世界中存在的各式各類資料加以活用的分析,還有實現的一種技術。更進一步的說,也還包含了「要活用資料」的意識或現象。
0-2大數據帶給我們瑰麗色彩的未來!?
◆經常被鎖定的「不悅感」
大數據為我們帶來更方便的生活,這是無庸置疑的。但另一方面,也有人針對為了取得數據而被鎖定的「不悅感」,還有「受到數據控管」的厭惡感提出批評。
以前者的「不悅感」為例來說,被稱為「追蹤型(或標的型)廣告」的橫幅廣告(Banner Ad),就是其中之一。所謂的追蹤型廣告,就是利用自己曾瀏覽過的商品或店舖的橫幅廣告,會顯示在自己的網路瀏覽器上的結構,以網路瀏覽器的cookie資訊(在電腦裡將使用者資訊暫時做記錄、參考的資訊)為基礎,用來識別瀏覽使用者的機制。
最近,由於數據分析技術的進步,也做得到跨裝置(電腦的內部裝置和周邊機器)的追蹤,因此像「在電腦的網路瀏覽器上看到的鞋子廣告,也會出現在平板的網路瀏覽器上」的例子也很常見。
雖然在發送廣告的網路上有識別瀏覽記錄的功能,但並不會特別記錄地址或姓名,可是因為「被鎖定」的狀態而感到不悅的人卻不在少數。更進一步地說,當自己的真實行動記錄被某人掌握,或是在未被告知的情況下被交易該數據的話,應該有許多人會大喊「No!」即使事實上並沒有特別鎖定個人,是不會造成任何問題的數據,但還是會有人不斷提出「真的沒有被特別鎖定嗎?」之類的質疑。
儘管在大量的數據裡,個人並未被特別鎖定,但是和自己有關的數據卻在自己完全不知道的情況下被交易,有些人應該會覺得不太開心。
◆對於受到控管的「厭惡感」
說到後者「受到數據控管」的案例,則又更複雜了一點。舉例來說,有一種APP軟體會分析個人在推特上發牢騷的傾向或追蹤的網路文章的傾向,然後以此為根據發送所喜好的新聞。這樣確實很方便,可以立刻接收到感興趣領域的最新消息,也帶來許多助益。
但是,決定「這則新聞是想看(之前想看)」的,是電腦還是當事人本身呢?選擇「適合自己的事物」的標準,是依據之前待過的環境或生活等條件而形成。如果電腦推測出這些標準,搶先提示「這是你會感興趣的新聞」、「這件洋裝很適合你」,或許會讓人覺得「自己的行動受到電腦的控管」。
像這種「人類的意識和行動受到電腦或政府等他物的控管」的狀態,就是在以喬治歐威爾的『1984』為首的各種科幻作品中出現,人們正在追求從前巴斯卡主張的「會思想的蘆葦」的人類尊嚴。
◆電腦超越人類智能的2045年奇點
再延伸下去,還有令人惶恐不安的警訊,那就是被稱為「2045年奇點」的未來預測。這是引用「電腦晶片的性能每1年半成長2倍」的「摩爾定律」,做出「到了2045年,電腦將具備凌駕人類智能的人工智慧」的預測。
這裡說的電腦晶片,相當於人類的大腦。根據摩爾定律,這個性能將會呈現指數函數式的增長,總有一天,具有優於人腦的資訊分析能力的人工智慧將會在電腦裡誕生。
光是提高晶片的性能並不會產生智慧,但是,將電腦比擬成「人腦」,解析龐大的數據或資訊的人工智慧技術,還有提升自律性思考機能的「機器學習」科技的發展都相當驚人。
那麼,接下來會發生什麼事呢?誕生的人工智慧會集結其智慧,創造出優於自己的智能,進而開發出更優秀的智能……不斷地重複此循環,人類的智能已經完全趕不上電腦。
超越人類智慧的世界會是什麼樣的世界?這已是無法想像的問題。這種無法預測解讀的未來即將來臨的瞬間,被稱為「技術性的奇點(Singularity)」,預估這個時刻將於2045年到來。2045年以後可能會發生的現象,可以列舉如下,
•電腦毀滅人類
•電腦離人類而去
•電極穿過人腦,人類在電腦勾勒出的宇宙(世界)裡生活
這樣的推測,簡直就像是科幻電影ㄧ般。
◆電腦不僅給予人類,也剝奪人類
是不是真的會發展成那樣,目前誰也不知道。不過,可以確定的是,以往認為「只有人才辦得到」的工作會被電腦搶走。舉例來說,如果累積到一定數量的資訊,客服中心的諮詢也能夠形式化時,電腦就可以根據過去的形式,從中提出最佳的解決問題方案。
另外,以商業企畫立案等為首的「唯有人類才具備的創造性的工作」,可能也會被電腦取代。因為在現實生活中,已經有支援行銷對策立案的系統,或許在不久的將來,由電腦提出「根據分析結果,這種宣傳活動對20~34歲稱為『F1層』的女性顧客層很有效」這種分析的狀況也是完全可以理解的。
大數據持續進展的世界,為我們的生活帶來便利,另一方面也有可能把我們帶向不知變得如何的未來。
序章:大數據從熱門話題邁向「活用」的階段
在報章或電視新聞中頻繁出現的「大數據」,雖說是一個掀起熱潮的流行術語,但最近活用的事例卻正在逐漸增加。序章中所觸及的內容,就是在不遠的未來,大數據將會帶來的未來面貌,以及我們應該思考的事項等相關方面。
0-1利用大數據能夠做什麼?
◆利用大數據,打造出事先知道「會發生○○」的世界
假如能夠事先知道「會發生○○」,那我們的日常一切將有怎樣的變化呢?以天氣為例,如果可以「正確得知接下來的24小時內,日本全國會出現的天候或氣溫的變化」,那麼日常生活應當會變得非常便...
作者序
前言
大約從2011年出現「大數據」(Big Data)這個關鍵字以來,到目前為止,已經有許多和「大數據」相關的書籍出版上市。
在這段期間,大數據成了掀起熱潮的流行術語,被說成像是不可思議的魔法棒,和「大數據」有關的各類新聞幾乎每天都在報導,另一方面也逐漸開始進行了實際具體的議論。
然而,深入探討這議論的人還是少數,也一直處於認知度不高的狀態。而且,積極致力於應用大數據的企業也不多。至今蔚為話題、也被稱為魔法棒的「大數據」,為什麼活用它的企業會如此少呢?
「因為資料的分析相當困難」,有人會提出這樣的意見吧,或許也有意見認為「並不保證一定成功,所以才無法全力進行」。
的確,雖然出現了許多論及大數據的概念或事例的書籍,或是針對各種統計分析手法與實踐應用而寫的書籍,但卻很少有寫到「資料分析是簡單的」、「只要努力進行就必定成功」的著作。
事實上,大數據並不是魔法棒。但是,它的確是非常有效的工具。這項工具雖然在用法上需要耗費不少功夫,但只要能完整地善加運用就一定可以獲得成果。而且,隨著技術的進步,這項工具還能提供從適合初學新手到適合高階使用者的各種多元選擇。
筆者參與過許多為了培養從事大數據專案人才、資料科學家(data scientist)而舉行的演講或研討會,在本書中,就是根據累積至今的登台演說經驗,整理出在具體進行活用大數據方面容易陷入的錯誤要點,以及如何成功的know how祕訣。
為了能讓更多人對大數據抱持關注、努力加以應用,因此書內記載的是以進行程序或方法的理解說明為主,完全不會出現任何計算公式。
那麼,接下來就開始進入大數據的世界吧。
筆者
前言
大約從2011年出現「大數據」(Big Data)這個關鍵字以來,到目前為止,已經有許多和「大數據」相關的書籍出版上市。
在這段期間,大數據成了掀起熱潮的流行術語,被說成像是不可思議的魔法棒,和「大數據」有關的各類新聞幾乎每天都在報導,另一方面也逐漸開始進行了實際具體的議論。
然而,深入探討這議論的人還是少數,也一直處於認知度不高的狀態。而且,積極致力於應用大數據的企業也不多。至今蔚為話題、也被稱為魔法棒的「大數據」,為什麼活用它的企業會如此少呢?
「因為資料的分析相當困難」...
目錄
前言
序章 大數據從熱門話題邁向「活用」的階段
0-1 利用大數據能夠做什麼?
0─2 大數據帶給我們瑰麗色彩的未來!?
0─3 要思考的並非「做或不做」,而是「如何去做」
第1章 理解大數據這項「工具的特性」
1-1 為什麼大數據會受到注目呢?
1-2 大數據的3個「V」
1-3 將大數據當成工具——第四個「V﹙Value價值﹚」
1-4 圍繞著大數據的社會環境
1-5 熟練運用工具的「資料科學家」
第2章 大數據的活用要以「目的」為前提
2-1 無法順利活用大數據的3個模式
2-2 沒有目的的大數據計畫就無法順利進行
2-3 向『魔球Moneyball』學習活用大數據的重點
2-4 在商業上活用大數據的4種模式
2-5 利用大數據開展「新經濟」
2-6 「增加銷售額」是活用大數據的第一步
2-7 大數據也有助於「提升品質」或「降低風險」
第3章 活用大數據的進階方法
3-1 理解活用大數據的兩種設計
3-2 設計大數據活用計畫的程序
3-3 設計大數據固定化的程序
3-4 小動作串聯出大成果
第4章 活用大數據邁向成功的8個法則
4-1 大數據是工具,而非目的
【更深入的認知】大數據與IoT、Industrie4.0
4-2 「創意」是從資料中啟發而生
4-3 過度「深信不疑」就會分析錯誤
4-4 為了正確掌握實際情況,就得組合複數的資料
4-5 資料的查證不能只做一次就結束
【interview 1】資料的假說驗證當然要經過不斷的嘗試和錯誤
國際大學國際交流中心(GLOCOM)準教授中西崇文先生
4-6 大數據的關鍵就在細節處
4-7 除了分析,還要串聯現場的行動才能產生成果
【interview 2】分析與成果是兩回事
GiXo股份有限公司CEO網野知博先生
4-8 傾聽現場的聲音,打動現場並持續進行
【interview 3】將現場想知道的數據可視化
akindo sushiro股份有限公司情報系統部長田中覺先生
第5章 透過大數據的活用,我們的生活會如何改變
5-1 持續活用大數據的未來會是什麼樣貌
5-2 大數據的活用在協調社會中能展現豐盛成果
【interview 4】將大數據當成表演
Rhizomatiks Research真鍋大度先生
結語
參考文獻
前言
序章 大數據從熱門話題邁向「活用」的階段
0-1 利用大數據能夠做什麼?
0─2 大數據帶給我們瑰麗色彩的未來!?
0─3 要思考的並非「做或不做」,而是「如何去做」
第1章 理解大數據這項「工具的特性」
1-1 為什麼大數據會受到注目呢?
1-2 大數據的3個「V」
1-3 將大數據當成工具——第四個「V﹙Value價值﹚」
1-4 圍繞著大數據的社會環境
1-5 熟練運用工具的「資料科學家」
第2章 大數據的活用要以「目的」為前提
2-1 無法順利活用大數據的3個模式
2-2 沒有目的的大數據計畫就無法順利進...