玩轉社群：文字大數據實作

1.1 　社群媒體大數據
大數據在今天已經無處不在，數據成為大量、高速度和高價值的資產，需要有效益的形式來處理數據，提升資料洞察力和決策力。感測器、網路文章、電子郵件、網路點擊、供應鏈訊息，數據正淹沒到每一個業務中，擁有最具效率流程來分流洪水般數據的企業，才有機會爆發性成長。數據不僅僅是大型企業的問題，中小型企業也越來越多透過數位管道與客戶互動，同樣擁有網站、數據庫等複雜資料內容。
許多學者對「大數據」的定義有「數據集的大小超出了傳統數據庫儲存，管理和分析的能力」、「必須使用機器學習演算」等等都有著不同的詮釋，但可以確定的是「數據」不斷在進化，而4V以大量性（volume）、多樣性（variety）、高速性（velocity）、價值性（value）等面向，成為描述大數據的共同框架。在資料多樣性中，普遍易於使用的結構化數據僅占15～20%，這意味著80% 的數據都是非結構化，如果企業僅分析其數據的20%，那麼可以期待分析非結構化數據，有巨大的商業價值等著被挖掘。
網路時代的社群興起，加上行動上網便利性，幾乎上網查資料、閱讀別人的心得評論、聊天互動已經是生活的日常習慣，現在想買個3C商品、看電影、選餐廳都離不開先到社群中逛逛看別人的分享經驗，我們在社群中的對話都成為非結構化資料的主要來源，而且數據相當驚人：
•Google 每月要處理超過1萬億次搜尋。
•Twitter 每天有超過5億個推文。
•Facebook 每月活躍使用者直逼20億用戶的狀態更新。
包含臉書、論壇、部落格、電子郵件和產品評論網站等非結構化內容，不僅數量龐大、來源眾多，而且格式複雜，無時無刻都有網路住民在生產數據，這些蘊含各種寶貴聲音的資料，都可以稱為社群媒體大數據。對於這些內容，我們通常想知道得更多，例如：從客戶服務交易的語音記錄中反應哪些資訊？網路新聞或推文該如何解讀？產品評論、開箱文中可以得到消費者的觀感？或者撥出視頻時引起的討論話題？
在過去要得到這些答案，當然您可以選擇逐一讀完所有的推文和評論，然後手動記錄其中的特徵轉換成結構化數據，這聽起來不是很有效率的作法。多數人會採取的模式只是稍微瀏覽他們的Facebook 頁面的留言，或者讀讀幾篇google 搜尋首頁的文章，試圖得到一個氛圍或主觀見解。不然透過問卷調查的方式，取樣推估多數人的意見，而忽略了非結構化數據的潛藏價值，反觀在社群媒體大數據，不僅有網民即時性的發言，在社群上各種意見毫無保留的表達，既真實又有取之不盡的題材，這聽起很棒，卻仍無法普及使用，因為分析社群數據不是件簡單的事。非結構化數據的文本挑戰，碰上大數據的解決方案正是文字探勘，也稱為文本分析或自然語言處理，文本分析是將非結構化文本轉換為結構化數據的科學。

1.2 　 文字探勘與社群媒體大數據一拍即合
隨著各種社群媒體服務產生的大量數據，文字探勘提供了一種滿足不同訊息需求的有效途徑。社群媒體如Facebook、PTT、論壇和自媒體網站越來越多，用戶隨時發出突發性新聞，引起網路參與和連接，而文本分析的重點就是從對話中提取關鍵的訊息以及內容語氣。
文本分析在社群媒體大數據的商業價值，協助各個領域的需求者能夠聽取所有的對話，將對話的情緒從非結構化數據轉換為結構化數據，這樣就可以併入企業現有的大數據商業智慧的分析之中，產生更多元的綜效。文字探勘在社群媒體大數據的時代，碰撞出新的解決方案「社群輿情分析」，也可以稱為「社群聆聽」（social listening）。
多數人開始認識社群媒體大數據，可能從政治話題及公共議題最容易接觸到，經歷過太陽花學運以及六都市長選舉，網軍開始受到各方重視，當網軍對某些議題形成共同看法時，引起的意見群聚效應很可能成為主流民意，加上眾多的社群網站提供發表言論以及訊息交換的平台，所以看風向、預測「社群輿情」走向逐漸成為顯學。
完整的社群聆聽系統可以作為用戶社群媒體監控的工具，將社群媒體和客戶聲音融合，聽取線上體驗分享或者與客戶對話，提升客戶關係管理。一些案例，如：品牌管理，品牌經常贊助活動像奧運、足球聯賽、馬拉松賽或慈善活動，如果品牌贊助的活動管理不善，本來要提升形象或推廣的目的，反而招來更多的非議，除非企業正在聆聽活動中的網路對話，否則可能不知道消極情緒正在醞釀，也可能不了解導致銷售下降的原因。如飯店、渡假村和餐廳的客戶回饋，多數都抒發在網路上，業者多數以人工尋找及解讀片面對話，若透過社群聆聽系統，可以更快速評估應該在哪些方面需要改善；也可用於了解客戶的喜好和動機，調整忠誠激勵計畫提高回購率、樂於對朋友分享。
文本分析的技術已趨於成熟，不同規模的企業都可以透過社群聆聽網路對話，挖掘商業價值性。從國際大廠的動作，足以顯示了文本分析的重要性。例如：IBM 收購深度學習技術的業者AlchemyAPI，其深度學習平台可協助進階資料分析的認知能力，包含分類、關鍵字萃取、情感分析與網頁清理，整合進Watson 核心平台，擴大分析面向。另外，微軟收購了以色列文本分析公司Equivio 專注在eDiscovery 的文本分析公司，開發的演算法對大量文本進行歸類分析，適用於郵件、社群網路或者法律事務等文本內容。
既然分析社群媒體大數據可以讓我們從社群中取得主動性，而不是對發生的事情互動聾啞。那可以開始怎麼做呢？本書主要目的就是讓對於社群輿情分析有興趣的入門者，經由筆者所述的文本資料處理程序，以及介紹不同的探勘分析方式，輕鬆上手文本分析，接著操作社群聆聽平台，實際體驗這一類型的工具可以帶來什麼樣的價值資訊，最後將以案例闡述如何解讀社群，如何運用！ 讓讀者懂得挖掘出更意想不到的商業價值。

1.1 　社群媒體大數據
大數據在今天已經無處不在，數據成為大量、高速度和高價值的資產，需要有效益的形式來處理數據，提升資料洞察力和決策力。感測器、網路文章、電子郵件、網路點擊、供應鏈訊息，數據正淹沒到每一個業務中，擁有最具效率流程來分流洪水般數據的企業，才有機會爆發性成長。數據不僅僅是大型企業的問題，中小型企業也越來越多透過數位管道與客戶互動，同樣擁有網站、數據庫等複雜資料內容。
許多學者對「大數據」的定義有「數據集的大小超出了傳統數據庫儲存，管理和分析的能力」、「必須使用機器學習演算」等等都有著...

第1章　緒論
　1.1　社群媒體大數據
　1.2　文字探勘與社群媒體大數據一拍即合
第2章　文本分析概念
　2.1　文本資料取得
　2.2　 文本分析程序
第3章　網路文本資料爬蟲
　3.1　Python簡介
　3.2　整合開發環境
　3.3　Python網路爬蟲9
第4章　文字資料預處理
　4.1　編碼處理
　4.2　建立詞庫
　4.3　斷詞處理
　4.4　分析語料庫
　4.5　正則表達式
第5章　文字探勘分析
　5.1　詞頻統計
　5.2　文本—字詞矩陣（DTM）
　5.3　關鍵字萃取
　5.4　 關聯分析
　5.5　文本集群分析
　5.6　主成分分析
　5.7　 word2vec 詞項聚類
第6章　社群輿情大數據
　6.1　 什麼是社群輿情
　6.2　 聆聽社群輿情重要嗎
　6.3　社群聆聽有什麼幫助
第7章　 社群聆聽平台介紹　
　7.1　關於eyeSocial
　7.2　eyeSocial可以做什麼
　7.3　eyeSocial進入操作
　7.4　議題追蹤操作說明
　7.5　品牌分析操作說明
第8章　社群分析應用案例　
　8.1　 公共議題探討：「前瞻計畫」事件簿
　8.2　社會公共案例：流浪狗議題
　8.3　輿情剖析案例分享

第1章　緒論
　1.1　社群媒體大數據
　1.2　文字探勘與社群媒體大數據一拍即合
第2章　文本分析概念
　2.1　文本資料取得
　2.2　 文本分析程序
第3章　網路文本資料爬蟲
　3.1　Python簡介
　3.2　整合開發環境
　3.3　Python網路爬蟲9
第4章　文字資料預處理
　4.1　編碼處理
　4.2　建立詞庫
　4.3　斷詞處理
　4.4　分析語料庫
　4.5　正則表達式
第5章　文字探勘分析
　5.1　詞頻統計
　5.2　文本—字詞矩陣（DTM）
　5.3　關鍵字萃取
　5.4　 關聯分析
　5.5　文本集群分析
　5.6　主成分分析
　5.7　 w...