人工智慧(AI)與貝葉斯(Bayesian)迴歸的整合...

自　序

測不準原理究竟是我們觀察的原因，還是物質本身的內秉性質？這要先對機率進行一番哲學思辯。人工智慧(AI) 的精神，就是科學的結果非全部都屬「決定論(determinism)」，而應再融入「機率論(probability theory)」。目前人工智慧(AI) 基於仿生學、認知心理學、Bayesian 迴歸、機率論、統計學和經濟學的演算法等等也在逐步發酵中。AI 又稱機器智能，是指由人製造出來的機器所表現出來的智能。通常人工智慧是指通過普通電腦程式的手段實現的人類智能技術。該詞也指出研究這樣的智慧型系統是否能夠實現，以及如何實現的科學領域。

AI 又稱「製造智慧機器的科學與工程」，迄今，已是一門顯學，屬於自然科學和社會科學的交集。AI 實際應用，包括：FinTech、財經預測、機器視覺、指紋識別、人臉識別、視網膜識別、虹膜識別、掌紋識別、專家系統、自動規劃等貝氏迴歸的預測。機器學習演算及Bayesian 後驗機率等貝氏推論，不僅適合傳統科學研究法，更適合於大數據(big data) 時代的來臨。

機器要達到具備思考能力的統合強人工智慧，比較流行的方法包括統計方法，計算智慧和傳統意義的AI。目前有大量的生產線工具應用了人工智慧，其中包括搜尋和數學最佳化、邏輯推演「貝葉斯定理(Bayesian theorem)」。

迄今STaTa 己提供45 種Bayesian 迴歸，供人工智慧、機器學習等自然科學及社會科研究者使用，這種AI 統計應用技術已非常成熟。但坊間仍無「人工智慧」貝氏迴歸分析的書，殊實可惜。

數學中的貝氏定理，只要「前提( 先驗) 越清楚、預測就越精準」，例如「颱風對臺北市帶來災情」在沒有絕對的把握時，就在規定期限前蒐集最多的資料，再做最後決定。

本書貝氏45 種迴歸，採用貝氏條件機率的原理，故適合學科，包括：生物醫學、財經、物理學、哲學和認知科學、邏輯學、數學、統計學、心理學、電腦科學、控制論、決定論、不確定性原理、社會學、教育學、經濟學、犯罪學、智慧犯罪等。

STaTa 是地表最強統計軟體，作者撰寫一系列STaTa 書籍，包括：
1. 《 STaTa 與高等統計分析的應用》一書，該書內容包括：描述性統計、樣本數的評估、變異數分析、相關、迴歸建模及診斷、重複測量等。
2. 《 STaTa 在結構方程模型及試題反應理論》一書，該書內容包括：路徑分析、結構方程模型、測量工具的信效度分析、因素分析等。
3. 《 STaTa 在生物醫學統計分析》一書，該書內容包括：類別資料分析 ( 無母數統計)、logistic 迴歸、存活分析、流行病學、配對與非配對病例對照研究資料、盛行率、發生率、相對危險率比、勝出比(Odds Ratio) 的計算、篩檢工具與ROC曲線、工具變數(2SLS)⋯Cox 比例危險模型、Kaplan-Meier 存活模型、脆弱性之Cox 模型、參數存活分析有六種模型、加速失敗時間模型、paneldata存活模型、多層次存活模型等。
4. 《 Meta 統計分析實作：使用 Excel 與 CMA 程式》一書，該書內容包括：統合分析(meta-analysis)、勝出比(Odds Ratio)、風險比、4 種有名效果量(ES) 公式之單位變換等。
5. 《 Panel-data 迴歸模型：STaTa 在廣義時間序列的應用》一書，該書內容包括：多層次模型、GEE、工具變數(2SLS)、動態模型等。
6. 《 STaTa 在總體經濟與財務金融分析的應用》一書，該書內容包括：誤差異質性、動態模型、序列相關、時間序列分析、VAR、共整合等。
7. 《 多層次模型 (HLM) 及重複測量：使用 STaTa》一書，該書內容包括：線性多層次模型、vs. 離散型多層次模型、計數型多層次模型、存活分析之多層次模型、非線性多層次模型等。
8. 《 模糊多準評估法及統計》一書，該書內容包括：AHP、ANP、TOPSIS、Fuzzy 理論、Fuzzy AHP⋯等理論與實作。
9. 《邏輯斯迴歸及離散選擇模型：應用 STaTa 統計》一書，該書內容包括：邏輯斯迴歸、vs. 多元邏輯斯迴歸、配對資料的條件Logistic 迴歸分析、MultinomialLogistic Regression、特定方案Rank-ordered logistic 迴歸、零膨脹orderedprobit regression 迴歸、配對資料的條件邏輯斯迴歸、特定方案conditional logit model、離散選擇模型、多層次邏輯斯迴歸等。
10《有限混合模型(FMM)：STaTa分析(以EM algorithm做潛在分類再迴歸分析)》一書，該書內容包括：FMM：線性迴歸、FMM：次序迴歸、FMM：Logit 迴歸、FMM：多項Logit 迴歸、FMM：零膨脹迴歸、FMM：參數型存活迴歸等理論與實作。
11《多變量統計之線性代數基礎：應用 STaTa 分析》一書，該書內容包括：平均數之假設檢定、多變量變異數分析(MANOVA)、多元迴歸分析、典型相關分析、區別分析(discriminant analysis)、主成份分析、因素分析(factor analysis)、集群分析(cluster analysis)、多元尺度法(multidimensional scaling, MDS)等。
12《人工智慧 (AI) 與貝葉斯 (Bayesian) 迴歸的整合：應用 STaTa 分析》，該書內容包括：機器學習及貝氏定理、Bayesian 45 種迴歸、最大概似(ML) 之各家族(family)、Bayesian 線性迴歸、Metropolis-Hastings 演算法之Bayesian 模型、Bayesian 邏輯斯迴歸、Bayesian multivariate 迴歸、非線性迴歸：廣義線性模型、survival 模型、多層次模型。

此外，研究者如何選擇正確的統計方法，包括適當的估計與檢定方法、與統計概念等，都是實證研究中很重要的內涵，這也是本書撰寫的目的之一。為了讓研究者能正確且精準使用Bayesian 迴歸，本書內文儘量結合「理論、方法、統計」，期望能夠對產學界有拋磚引玉的效果。

最後，特感謝全傑科技公司(http://www.softhome.com.tw)，提供STaTa 軟體，晚學才有機會撰寫STaTa 一系列的書，以嘉惠學習者。

張紹勳 敬上

自　序

測不準原理究竟是我們觀察的原因，還是物質本身的內秉性質？這要先對機率進行一番哲學思辯。人工智慧(AI) 的精神，就是科學的結果非全部都屬「決定論(determinism)」，而應再融入「機率論(probability theory)」。目前人工智慧(AI) 基於仿生學、認知心理學、Bayesian 迴歸、機率論、統計學和經濟學的演算法等等也在逐步發酵中。AI 又稱機器智能，是指由人製造出來的機器所表現出來的智能。通常人工智慧是指通過普通電腦程式的手段實現的人類智能技術。該詞也指出研究這樣的智慧型系統是否能夠實現，以及如何實現的科學領域。

...

自 序

Chapter 01 人工智慧的基礎：機器學習理論及貝氏定理(Bayes' theorem) 1
1-1 人工智慧(Artificial Intelligence, AI) .........................................................................9
1-1-1 AI 研究的議題 .............................................................................................10
1-1-2 強人工智慧vs. 弱人工智慧 .......................................................................14
1-1-3 AI 研究方法 .................................................................................................15
1-2 機器學習(machine learning) ...................................................................................19
1-2-1 監督vs. 非監督機器學習 ...........................................................................24
1-2-2 機器學習的演算法(algorithm) ...................................................................26
1-2-3 何謂Features( ≈自變數)、Training、Label( ≈類別依變數)？ ...............40
1-2-4 監督機器學習⊃多變數線性迴歸(machine learning: linear regression with
multiple variables) ........................................................................................42
1-2-5 機器學習：梯度下降演算法(gradient descent algorithm) ........................67
1-2-6 機器學習：特徵縮放(feature scaling) .......................................................81
1-3 參數估計：最大概似估計、最大後驗(Max posterior)、貝葉斯估計 ................81
1-3-1 何謂參數估計？ ..........................................................................................83
1-3-2a 估計法一：最大概似估計(MLE) ≠概似比(LR) ....................................87
1-3-2b 最大概似估計法(MLE) 做分類 .................................................................97
1-3-3 估計法二：最大後驗(Max posterior) 估計 ............................................ 101
1-3-4 估計法三：貝葉斯估計 ........................................................................... 105
1-4 期望最大化(EM) 演算法 ..................................................................................... 107

Chapter 02 貝葉斯(Bayesian) 迴歸有45 種 117
2-1 貝氏定理與條件機率( 重點整理) ...................................................................... 118
2-1-1 貝氏機率(Bayesian probability) .............................................................. 121
2-1-2 貝氏(Bayes) 定理、條件機率................................................................. 123
2-2 貝葉斯推論(Bayesian inference) ......................................................................... 136
2-2-1 貝葉斯法則(Bayesian rule) ..................................................................... 138
2-2-2 推論「排他性和窮舉命題」的可能性(inference over exclusive and
exhaustive possibilities) ............................................................................ 143
2-2-3a 貝葉斯推論之數學性質(mathematical properties) ................................. 145
2-2-3b 貝葉斯決策理論 ....................................................................................... 153
2-2-4 貝葉斯推論之案例 ................................................................................... 160
2-2-5 頻率統計和決策理論之貝葉斯模型，誰優？Bayesian Information
Criterion (BIC) .......................................................................................... 165
2-2-6 貝葉斯認識論(Bayesian epistemology) .................................................. 167
2-2-7 貝葉斯推理的影響因素 ........................................................................... 170
2-3 常見的分布有15 種 .............................................................................................. 175
2-4 STaTa likelihood-based Bayesian 迴歸有45 種 ................................................... 204
2-4-1 STaTa 共12 類：45 種Bayesian 迴歸 .................................................... 205
2-4-2 Metropolis-Hastings 演算法(bayesmh 指令) 和Monte Carlo ............... 215
2-4-3 貝葉斯線性迴歸的基本原理 ................................................................... 225
2-5 貝葉斯統計及正規化(Bayesian statistics and Regularization) ........................... 228
2-5-1 過度適配vs. 不足適配(overfitting and underfitting) ............................. 229
2-5-2 Bayesian statistics 及正規化(regularization) ........................................... 231
2-5-3 最佳成本函數之正規化(optimize cost function by regularization) ....... 232

Chapter 03 最大概似(ML) 各家族(family)：機器學習技術 237
3-1 最大概似(ML) 之Regression 家族(family) ....................................................... 238
3-1-1 迴歸分析介紹 ........................................................................................... 239
3-1-2 線性迴歸(linear regression) ..................................................................... 241
3-2 多元迴歸的自變數選擇法有三：子集合選取法、正規化、資訊準則法
(bayesstats ic 指令) ............................................................................................... 246
3-2-1 迴歸模型與正規項(regulation)：Ridge 迴歸、Lasso 迴歸原理 .......... 253
3-2-2 脊迴歸／嶺迴歸(ridge) 的原理：多重共線性(ridgeregress 外掛指令)
................................................................................................................... 262
3-2-3a 迴歸正規項(regulation)：lasso 迴歸、Ridg 迴歸、elastic-net 迴歸
(lassoregress、ridgeregress、elasticregress 外掛指令) .......................... 266
3-2-3b 機器學習演算法：套索迴歸(Lasso Regrission)(lassoregress、lasso2、
elasticregress 指令) .................................................................................. 283
3-2-4a 機器學習演算法：脊迴歸(Ridge Regression)(rxridge、rxrcrlq、rxrmaxl
等14 個指令) ........................................................................................... 288
3-2-4b Ridge 迴歸分析：解決共線性(rxridg 外掛指令) ................................. 293
3-2-5 機器學習演算法：彈性網路多工Lasso 迴歸(multi task Lasso)
(elasticregress 指令) ................................................................................. 299
3-2-6 邏輯斯迴歸(logistic regression) .............................................................. 301
3-3 機器學習法：隨機森林( 外掛指令randomforest)、支援向量機( 外掛指令
svmachines) ............................................................................................................ 314
3-3-1 機器學習法：隨機森林( 外掛指令：randomforest) ............................. 314
3-3-2 機器學習法：支援向量機SVM( 外掛指令：svmachines) ................... 326
3-4 最大概似的Kernel-Based 家族：小樣本、非線性及高維模型識別 ................ 349
3-4-1 非線性分類之核函數 ............................................................................... 353
3-4-2 支援向量機(SVM) 分類器：原型、對偶型、核技巧、現代方法 ...... 354
3-4-3a 支援向量機(SVM) 原理：小樣本、非線性及高維模型識別 .............. 361
3-4-3b 支援向量機做分類(svmachines 外掛指令) ........................................... 368
3-4-4 核迴歸／分段加權迴歸(kernel regression)：非單調函數(lpoly、
npregress、teffects 指令) ......................................................................... 377
3-5 最大概似(ML) 之Bayes-Based 家族( 前導字「bayes: 某迴歸」指令) ......... 399
3-5-1 判別模型(discriminative model) 與生成模型(generative model) ......... 404
3-5-2 高斯判別分析(Gaussian discriminant analysis) ...................................... 407
3-5-3 樸素貝葉斯(naive bayes) 演算法............................................................ 412

Chapter 04 貝葉斯(Bayesian) 線性迴歸之原理 421
4-1 貝葉斯(Bayesian) 分析 ........................................................................................ 425
4-2 參數估計：最大概似估計、最大後驗估計、貝葉斯估計 ................................ 430
4-3 貝葉斯(Bayesian) 線性迴歸 ................................................................................ 433
4-3-1a 線性迴歸之參數估計最小平方法 (OLS) ................................................ 433
4-3-1b 貝葉斯(Bayesian) 迴歸之原理 ................................................................ 436
4-3-2 貝葉斯線性迴歸：參數分布、預測分布、等價核 ............................... 440
4-3-3 貝葉斯線性迴歸：學習過程、優缺點、貝葉斯脊迴歸 ....................... 447
4-4 貝葉斯多元線性迴歸之原理(Bayesian multivariate linear regression) ............. 451

Chapter 05 Bayes 線性迴歸(「bayes: regress」、「bayesgraph
diagnostics」、「bayesstats ic」指令) 457
5-1 線性Bayesian 迴歸( 先rsquare、再「bayes: regression」指令) ..................... 459
5-1-1 OLS 先挑所有自變數的最佳組合( 再Bayes 線性迴歸) ..................... 460
5-1-2 OLS 先挑所有自變數的最佳組合，再Bayes 線性迴歸
(bayes : regress y x1 x2 x3) ....................................................................... 477
5-2 方法一Bayes 線性迴歸(bayes : regress ⋯指令) ............................................... 483
5-2-1 Bayes 線性迴歸及預測值：使用內定概似及先驗(uninformative data)
(bayes : regress ⋯指令) ........................................................................... 483
5-2-2 Bayes 線性迴歸：自定概似及先驗(informative data)(bayes : regress
⋯指令) ..................................................................................................... 491
5-3 方法二Bayes 線性迴歸(bayesmh : regress ⋯指令) ......................................... 501
5-4 線性Bayesian 迴歸模型( 改用bayesmh 指令) ................................................. 512
5-4-1 Bayesian 估計之原理及實作(「bayes: regress」指令) ......................... 516
5-4-2 MCMC 收斂性(convergence) 及假設檢定(hypotheses testing) ............ 525
5-4-3 先驗(Priors)：Gibbs 採樣(sampling) ..................................................... 529
5-4-4 自定先驗(Custom priors)......................................................................... 533
5-5 Bayes 迴歸：縮減模型vs. 完全模型，誰優？(bayesmh、bayesstats ic 指令) ... 535

Chapter 06 Metropolis-Hastings 演算法之Bayesian模型(bayesmh 指令) 545
6-1 bayesmh 指令：「線性vs. 非線性」、「單變量vs. 多變量」、「連續vs. 間斷」
模型有8 大類 ........................................................................................................ 552
6-2 bayesmh 指令之範例 ............................................................................................ 573
6-2-1 範例1：OLS 線性迴歸(regress)vs. Bayesian 線性迴歸(bayes : regress)
................................................................................................................... 574
6-2-2 範例2：Bayesian normal linear regression with noninformative prior
( 未自定參數的分布) .............................................................................. 583
6-2-3 範例3：Bayesian linear regression with informative prior( 自定參數
的分布) ..................................................................................................... 588
6-2-4 範例4：Bayesian normal linear regression with multivariate prior ........ 591
6-2-5 範例5：檢查收斂性(Checking convergence) ........................................ 594
6-2-6 範例6：貝氏事後估計值摘要(Postestimation summaries) .................. 599
6-2-7 範例7：敵對模型的比較(Model comparison) ...................................... 601
6-2-8 範例8：假設檢定(Hypothesis testing)( bayestest model、interval
interval) ..................................................................................................... 603

Chapter 07 Bayesian 邏輯斯模型、多項邏輯斯模型(bayes: logistic、bayes: mlogit 指令) 607
7-1 邏輯斯迴歸原理 .................................................................................................... 608
7-2 Bayesian logit 迴歸分析(bayes: logit、bayes : logistic 指令) ........................... 612
7-2-1 範例1：貝氏Logistic 迴歸(bayes: logit 指令) ..................................... 614
7-2-2 範例2：自定之資訊先驗(informative prior)：貝氏Logistic 迴歸
(bayes: logit 指令) .................................................................................... 618
7-3 對照組：multinomial logistic 迴歸分析(bayes: mlogit 指令) ........................... 621
7-3-1 多項(multinomial) 邏輯斯迴歸之原理 ................................................... 622
7-3-2 Multinomial Logit 迴歸分析：職業選擇種類(mlogit 指令) ................ 628
7-3-3 多項邏輯斯迴歸分析：乳房攝影(mammograph) 選擇的因素
(mlogit 指令) ............................................................................................ 637
7-4 實驗組：Bayesian multinomial logistic 迴歸分析：健康保險(bayes: mlogit
指令) ..................................................................................................................... 650

Chapter 08 聯立方程式：Bayesian multivariate 迴歸(bayes: mvreg 指令) 659
8-1 多變量Bayesian 迴歸分析(bayes: mvreg 指令) ................................................ 660

Chapter 09 非線性迴歸：廣義線性模型(GLM)(Baye: glm 指令) 667
9-1 廣義線性模型之原理 ............................................................................................ 668
9-2 當依變數是比例(proportion) 時，如何做迴歸(glm 指令)？ .......................... 671
9-3 廣義線性迴歸(glm、baye: glm 指令) ................................................................ 684

Chapter 10 Survival 模型(baye: streg 指令) 693
10-1 存活分析的原理 .................................................................................................... 694
10-1-1 存活分析之定義 ....................................................................................... 695
10-1-2 為何存活分析是臨床研究最重要的統計法？ ....................................... 698
10-1-3 存活分析之三種研究目標 ....................................................................... 703
10-2 存活分析Bayesian 迴歸 (baye: streg 指令) ........................................................ 704

Chapter 11 多層次(multilevel) 模型(bayes: mixed 指令)717
11-1 多層次模型的原理 ................................................................................................ 720
11-2 Bayesian 多層次模型：重複測量(bayes: mixed 指令) ..................................... 726

Chapter 12 計數(count) 模型、Zero-Inflated 模型(bayes: tpoisson、baye: zinb 指令) 743
12-1 傳統原理：Count 依變數：Zero-Inflated Poisson 迴歸 vs. negative binomial
迴歸 ........................................................................................................................ 744
12-1-1 Poisson 分配 ............................................................................................. 745
12-1-2 負二項分配(Negative Binomial Distribution) ......................................... 751
12-1-3 零膨脹(Zero-Inflated)Poisson 分配 ......................................................... 753
12-2 單層次：Zero-Inflated Poisson 迴歸vs. 負二項迴歸(zip、zinb 指令) ............ 755
12-2-1 傳統：Zero-Inflated Poisson 迴歸vs. 負二項迴歸(zip、zinb 指令) ... 755
12-2-2 Bayesian Poisson 迴歸(bayes: poisson)、Bayesian 零膨脹Poisson
迴歸(bayes: zip 指令) ............................................................................. 776
12-2-3 Zero-Inflated negative binomial 模型(bayes: zinb 指令) ....................... 792
12-3 Zero-Inflated ordered probit regression 練習：釣魚(zip 指令) .......................... 804
12-4 零膨脹Ordered probit 迴歸分析：抽菸嚴重度(zioprobit 指令) ...................... 805
12-5 截斷(truncated) Poisson 迴歸分析(bayes: tpoisson 指令) ................................ 813
12-5-1 截斷迴歸(truncated regression)(truncreg 指令) ..................................... 813
12-5-2 Bayesian 截斷Poisson 迴歸(truncated regression)(bayes: tpoisson 指令)
................................................................................................................... 832

Chapter 13 Bayesian 自我迴歸模型 (bayes : regress yL1.y 指令) 841
13-1 時間列序之統計：自我迴歸(autoregressive models) ........................................ 842
13-1-2 ARIMA 建構模型之步驟 ......................................................................... 844
13-2 穩定數列之自我迴歸模型(AR) .......................................................................... 846
13-2-1 AR(1) 模型 ................................................................................................ 848
13-2-2 AR(2) 模型 ................................................................................................ 854
13-2-3 何謂穩定性( 定態)？ ............................................................................. 858
13-3 Bayesian 自我迴歸之建模過程(bayes : regress y L.y 指令) ............................. 859

參考文獻 875

自 序

Chapter 01 人工智慧的基礎：機器學習理論及貝氏定理(Bayes' theorem) 1
1-1 人工智慧(Artificial Intelligence, AI) .........................................................................9
1-1-1 AI 研究的議題 .............................................................................................10
1-1-2 強人工智慧vs. 弱人工智慧 .......................................................................14
1-1-3 AI 研究方法 ..................................................................