貝氏統計導論：EXCEL應用

1.1 21世紀是貝氏統計的世紀
揭開21世紀序幕的2001年，微軟公司的總裁比爾蓋茲（Bill Gates）曾明言：「21世紀微軟的基本策略是貝氏科技（Bayes technology）」。事實上，微軟公司的研究中心聚集了世界上首屈一指的貝氏統計專家。
正如比爾蓋茲所說，在目前電腦的各種領域中已利用著貝氏科技。譬如，網際網路的「攔截垃圾郵件」（Spam mail），利用個人電腦時可提供適切的「說明（Help）」資訊等，它的研究成果正受到活用。
並且，貝氏科技的應用，不限於電腦的領域。像心理學、財務工程等，在各種領域中開始受到活用。
貝氏科技的各種應用領域
那麼，比爾蓋茲原本所說的「貝氏科技」是什麼？那是依據「貝氏定理」此極為簡單的機率統計理論。雖然是稱不上「定理」的簡單定理，但因發想的轉變讓貓變成了老虎。
另外，「貝氏（Bayes）」之名是來自18世紀後半的Scotland長老教會的牧師湯姆士‧貝葉斯（Tomas Bayes）。（註：貝約斯是姓，故簡稱為貝氏）。
「咦？在200年前就已經發現此定理！」
你也許會感到吃驚，但事實的確如此。雖然早在200年前就已發現此定理，直到21世紀的今日才受到關注。
順便一提，貝氏所屬的長老教會是基督教新教（Protestant）的一派，即卡爾文（Calvin）派。身為該教會牧師的貝氏，也是業餘的數學家。他所想出的方法即為「貝氏定理」。
「竟然是業餘的數學家所發現的！」
業餘的數學家所發現的定理，卻被比爾蓋茲（Bill Gates）所引用，成為本書主題「貝氏定理」的主幹。
話說，200多年前就已發展的定理為何到了今日才亮相呢？有點不可思議吧！原因在於貝氏理論具有的「模糊性」。
在利用貝氏定理的統計學中，是假定事前機率的想法再去求解。從後面會說明的貝氏統計的計算中似乎可以理解，以數學的方式嚴密決定此「事前機率」許多時候是有困難的。雖然是數學，卻在「模糊」的理論之下成立。因之，貝氏統計所處理的機率稱為「主觀機率」的情形也有，它是具有此「模糊」性，因而受到近代統計學者的批評。
貝氏統計是在「事前機率」的基礎下成立的，因此受到費雪與尼曼等近代統計學者的批評，因為受質疑「要如何才可以嚴謹地求出事前機率？」而被抹殺。
由於被20世紀的近代統計理論主流派視為「不嚴謹」，貝氏統計因而被漠視了。亦即，貝氏統計被建立起近代統計學基礎的英國統計學者費雪（Fisher; 1890～1962年）與美國統計學者尼曼（Neyman; 1894～1981年）視為「不嚴謹」而遭到封殺。
可是，短處與長處相通。費雪與尼曼等人批評的「不嚴謹」，可以解讀成「柔軟性」。亦即，似乎可以將人的經驗法則與感性，以「事前機率」此種貝氏定理的特有想法為媒介，引進到統計學中。並且，經此解讀之後，貝氏定理能利用在人介於其間的各種領域中，像IT、財務工程、心理學、人工智慧等。
以應用貝氏統計為主的統計學者稱為貝氏理論人士（Baysian）。目前在美國的貝氏理論人士，比費雪與尼曼所倡導的近代統計學的信奉者還多。貝氏定理是從底部重新塗改我們原有的「統計」理論而成為「新的統計學」，在該提倡者死後200年才開始進入黃金時期。
1.2 貝氏理論是何種想法
貝氏理論是何種想法呢？嚴謹的說法容後敘述，此處是以印象式的理解作為目標。此後擬敘述的A君就職，其合格錄用的「機率變化」，正是貝氏理論的思考過程。
現今，大學生正面臨求職期，A君周遭的友人開始求職。首先，在毫無任何資訊的情況下，合格錄取的機率必然是一半一半，亦即 ，這就是「事前機率」（如此模糊行嗎？不要懷疑！貝氏理論所探討的機率稱為「主觀機率」，就是這個意思！）。
A君為了求職，接受筆試的模擬考。對筆試有自信的A君得到了高分。從「得到高分」的資訊來看，A君合格錄取的機率應該很高。接受考試前的合格錄取機率是1/2，在筆試的模擬考中「得到高分」的新數據發揮作用，合格錄取的機率由1/2提高至2/3。
接著，接受面試的模擬考。A君不擅於面試，得到，「不乾脆、持續性不足」的負面評價。像目前這樣著重在面試的求職考試是很大的傷害。因此，新的數據讓合格錄取機率由之前的2/3降到2/5。（像這樣，為了得到新的數據，機率呈現變化的情形，稱之為「貝氏更新」）。
可是，當天晚上公司中擔任品管圈管理職的前輩來電，告知「已向人事負責人轉達A君要就職的意願」。此新的資訊，再度提高合格錄取的機率。合格機率由之前的2/5提高至3/4。
以上的機率變化過程，即為利用貝氏理論計算機率的演算過程（像1/2或2/3等的數值，當然是合適的值）。
此處，讓人實際感覺到貝式理論計算機率的過程，與平常我們心中的感受是一致的。對已經擁有的機率資訊，加上手中取得的數據資訊，計算新的機率資訊，此種演算過程，與平常我們所採行的想法與方法是一致的。此種一致性正是貝氏統計在廣泛的領域中可以活用的原理。

1.1 21世紀是貝氏統計的世紀
揭開21世紀序幕的2001年，微軟公司的總裁比爾蓋茲（Bill Gates）曾明言：「21世紀微軟的基本策略是貝氏科技（Bayes technology）」。事實上，微軟公司的研究中心聚集了世界上首屈一指的貝氏統計專家。
正如比爾蓋茲所說，在目前電腦的各種領域中已利用著貝氏科技。譬如，網際網路的「攔截垃圾郵件」（Spam mail），利用個人電腦時可提供適切的「說明（Help）」資訊等，它的研究成果正受到活用。
並且，貝氏科技的應用，不限於電腦的領域。像心理學、財務工程等，在各種領域中開始受到活用。
貝氏科技的各種...

此10幾年來，貝氏理論在廣泛的領域中受到活用。譬如，以網站搜尋聞名的谷歌（Google），以效率佳的搜尋理論來說利用著貝氏邏輯想法。另外，在電子郵件的寄件收件軟體中，區分出垃圾郵件（Spam mail）也是活用此想法。
像這樣，雖然是利用頻繁的貝氏理論，但在國內所出版的許多解說書，遺憾的都是令人難於理解的。鎖定的對象是統計學的專家或特定領域中的讀者，對貝氏理論的入門者來說，談不上親切。在國內，貝氏理論還只是在狹隘的領域中加以活用就是最好的證明。
統計學是實際的學問，貝氏統計也不例外，廣泛的加以利用，它的真正價值才得以發揮。只是當作一部分專家的工具使用，實在有些可惜，期望可在各種領域中受到更多人的利用。
本書是針對貝氏理論以及其發展而成的貝氏統計學，以容易理解的方式去解說基礎概念的一本入門書。為了使幾乎不具有統計知識的人也可理解，本書使用具體例子且以插圖的方式解說，許多貝氏統計的解說書所省略的計算式，也儘可能不省略地予以記載。
另外，使用Excel說明具體例的處理方法。大多數的解說書是利用專門的統計處理軟體，未明示計算部分，但本書以廣泛應用的Excel使實施例更為明確。因此，貝氏統計的計算部分不再是黑箱作業，它的本質更可明確地表達出來。
貝氏統計將是統計學的主流，今後在國內將會更為普及。本書如能對貝氏理論與貝氏統計的普及有少許的助益，我們將感到莫大榮幸。

此10幾年來，貝氏理論在廣泛的領域中受到活用。譬如，以網站搜尋聞名的谷歌（Google），以效率佳的搜尋理論來說利用著貝氏邏輯想法。另外，在電子郵件的寄件收件軟體中，區分出垃圾郵件（Spam mail）也是活用此想法。
像這樣，雖然是利用頻繁的貝氏理論，但在國內所出版的許多解說書，遺憾的都是令人難於理解的。鎖定的對象是統計學的專家或特定領域中的讀者，對貝氏理論的入門者來說，談不上親切。在國內，貝氏理論還只是在狹隘的領域中加以活用就是最好的證明。
統計學是實際的學問，貝氏統計也不例外，廣泛的加以利用，它的真正價值才...

Ch1 谷歌與微軟都使用貝氏統計
1.1　21世紀是貝氏統計的世紀
1.2　貝氏理論是什麼
1.3　過去的統計學與貝氏統計學在想法上之差異
1.4　貝氏統計學與MCMC法
Ch2 進入貝氏統計前的準備
2.1　條件機率與乘法定理
2.2　機率變數與機率分配
2.3　有名的機率分配
2.4　概似函數與最大概似估計法
Ch3 貝氏定理與其應用
3.1　何謂貝氏定理
3.2　貝氏定理的變形
3.3　壺子的問題
3.4　從大學的入學考試問題挑戰貝氏統計
3.5　犯人A得救的機率是否提升?
3.6　以貝氏過濾網攔截垃圾郵件
3.7　貝氏網路的效用是什麼？
Ch4 貝氏統計的基本概念
4.1　貝氏統計是簡單的強力工具
4.2　貝氏統計的基本公式
4.3　硬幣問題
4.4　藥的效用問題
Ch5 貝氏統計的應用
5.1　貝氏統計與自然共軛分配
5.2　概似服從二項分配時
5.3　概似服從常態分配時（其一）
5.4　概似函數服從常態分配時（其二）
5.5　概似服從卜式分配時
5.6　使用貝氏因子的統計模式的評估法
5.7　貝氏估計與傳統的統計估計
5.8　貝氏統計與最大概似估計法的關係
Ch6 以MCMC法求解的貝氏統計
6.1　何謂MCMC法
6.2　吉普斯法（Willard Gibbs）的體系
6.3　吉普斯法的具體例子
6.4　吉普斯法與Excel
6.5　Metropolis法的體系
6.6　Metropolis法的具體例子
6.7　應用Excel執行Metropolis法
Ch7 階層貝氏法
7.1　可因應複雜統計模式的階層貝氏法
7.2　以傳統的最大概似法求解看看
7.3　階層貝氏法的模式化
7.4　以常態貝氏法求解階層貝氏模式
7.5　經驗貝氏法所需Excel工作表解說
7.6　以MCMC法求解階層貝氏模式
7.7　以MCMC法解說Excel試算表
Ch8 貝氏估計與貝氏決定
8.1　事後期待損失最小化，是貝氏學派的估計、決定的基本
8.2　MAP估計文字類型
8.3　從樣本估計洋芋片內容量的分配函數
8.4　基於經驗資訊MAP決定計畫實施
8.5　使事後期待損失最小化的決定法是貝氏的決斷
Ch9 貝氏理論在線性迴歸模型中的應用
9.1　迴歸分析的複習
9.2　貝式應用在簡單迴歸分析
9.3　貝氏也可應用在複迴歸分析
附　錄
參考文獻

Ch1 谷歌與微軟都使用貝氏統計
1.1　21世紀是貝氏統計的世紀
1.2　貝氏理論是什麼
1.3　過去的統計學與貝氏統計學在想法上之差異
1.4　貝氏統計學與MCMC法
Ch2 進入貝氏統計前的準備
2.1　條件機率與乘法定理
2.2　機率變數與機率分配
2.3　有名的機率分配
2.4　概似函數與最大概似估計法
Ch3 貝氏定理與其應用
3.1　何謂貝氏定理
3.2　貝氏定理的變形
3.3　壺子的問題
3.4　從大學的入學考試問題挑戰貝氏統計
3.5　犯人A得救的機率是否提升?
3.6　以貝氏過濾網攔截垃圾郵件
3.7　貝氏網路的效用是什麼...