理論到實作都一清二楚 - 機器學習原理深究

2012年《統計學習方法(第1版)》出版，內容涵蓋監督學習的主要方法，2019年第2版出版，增加了無監督學習的主要方法，都屬於傳統機器學習。在這段時間裡，機器學習領域發生了巨大變化，深度學習在人工智慧各個應用方向獲得了巨大突破，成為機器學習的主流技術，徹底改變了機器學習的面貌。有些讀者希望能看到與之前風格相同的講解深度學習的書籍，這也觸發了作者在原來《統計學習方法》的基礎上增加深度學習內容的想法（計畫今後再增加強化學習）。從2018年開始，歷時3年左右，完成了深度學習的寫作。

考慮到內容的變化，現將書名更改為《機器學習原理深究》。第1篇監督學習和第2篇無監督學習基本為原來的內容，增加第3篇深度學習，希望對讀者有所裨益。傳統機器學習是深度學習的基礎，所以將這些內容放在一本書裡說明也有其合理之處。雖然深度學習目前是大家關注的重點，但傳統機器學習仍然有其不容忽視的地位。事實上，傳統機器學習和深度學習各自有更適合的應用場景，比如，深度學習長於巨量資料、複雜問題的預測，特別是人工智慧的應用；傳統機器學習善於小資料、相對簡單問題的預測。

本書的定位是講解機器學習的基本內容，並不完全是入門書。介紹的內容都是最基本的，在這種意義上適合初學者。但主旨是把最重要的原理和方法做系統的複習，方便大家經常閱讀和複習。在寫第3篇的時候也接受大家對第1篇和第2篇的回饋意見，在力求文字簡練清晰的同時，也確保敘述的詳盡明了，以方便讀者理解。在各章方法的匯入部分適當增加了背景和動機的介紹。

第3篇中使用的數學符號與第1篇和第2篇有一定的對應關係，但由於深度學習的特點也有一些改變，也都能自成系統。將符號完全統一於一個框架內還需要做大量的工作，希望在增加第4篇強化學習之後再做處理。對第3篇的原稿，鄭詩源、張新松等幫助做了校閱，對一些章節的內容提出了寶貴的意見。責任編輯王倩也為本書的出版做了大量工作。在此對他們表示衷心的感謝。

李航

2012年《統計學習方法(第1版)》出版，內容涵蓋監督學習的主要方法，2019年第2版出版，增加了無監督學習的主要方法，都屬於傳統機器學習。在這段時間裡，機器學習領域發生了巨大變化，深度學習在人工智慧各個應用方向獲得了巨大突破，成為機器學習的主流技術，徹底改變了機器學習的面貌。有些讀者希望能看到與之前風格相同的講解深度學習的書籍，這也觸發了作者在原來《統計學習方法》的基礎上增加深度學習內容的想法（計畫今後再增加強化學習）。從2018年開始，歷時3年左右，完成了深度學習的寫作。

考慮到內容的變化，現將書名更改為...

◎ 第1篇 監督學習
1 機器學習及監督學習概論
1.1 機器學習
1.2 機器學習的分類
1.3 機器學習方法三要素
1.4 模型評估與模型選擇
1.5 正規化與交叉驗證
1.6 泛化能力
1.7 生成模型與判別模型
1.8 監督學習應用

2. 感知機
2.1 感知機模型
2.2 感知機學習策略
2.3 感知機學習演算法

3. k 近鄰法
3.1 k 近鄰演算法
3.2 k 近鄰模型
3.3 k 近鄰法的實現：kd 樹

4. 單純貝氏法
4.1 單純貝氏法的學習與分類
4.2 單純貝氏法的參數估計

5. 決策樹
5.1 決策樹模型與學習
5.2 特徵選擇
5.3 決策樹的生成
5.4 決策樹的剪枝
5.5 CART 演算法

6. 邏輯回歸與最大熵模型
6.1 邏輯回歸模型
6.2 最大熵模型
6.3 模型學習的最佳化演算法

7. 支持向量機
7.1 線性可分支持向量機與硬間隔最大化
7.2 線性支持向量機與軟間隔最大化
7.3 非線性支持向量機與核函數
7.4 序列最小最佳化演算法

8. 提升方法
8.1 提升方法AdaBoost 演算法
8.2 AdaBoost 演算法的訓練誤差分析
8.3 AdaBoost 演算法的解釋
8.4 提升樹

9. EM 演算法及其推廣
9.1 EM 演算法的引入
9.2 EM 演算法的收斂性
9.3 EM 演算法在高斯混合模型學習中的應用
9.4 EM 演算法的推廣

10. 隱馬可夫模型
10.1 隱馬可夫模型的基本概念
10.2 機率計算演算法
10.3 學習演算法
10.4 預測演算法

11. 條件隨機場
11.1 機率無向圖模型
11.2 條件隨機場的定義與形式
11.3 條件隨機場的機率計算問題
11.4 條件隨機場的學習演算法
11.5 條件隨機場的預測演算法

12. 監督學習方法總結

◎ 第2篇 無監督學習
13. 無監督學習概論
13.1 無監督學習基本原理
13.2 基本問題
13.3 機器學習三要素
13.4 無監督學習方法

14. 聚類方法
14.1 聚類的基本概念
14.2 層次聚類
14.3 k 均值聚類

15. 奇異值分解
15.1 奇異值分解的定義與性質
15.2 奇異值分解的計算
15.3 奇異值分解與矩陣近似

16. 主成分分析
16.1 整體主成分分析
16.2 樣本主成分分析

17. 潛在語義分析
17.1 單字向量空間與話題向量空間
17.2 潛在語義分析演算法
17.3 非負矩陣分解演算法

18. 機率潛在語義分析
18.1 機率潛在語義分析模型
18.2 機率潛在語義分析的演算法

19. 馬可夫鏈蒙地卡羅法
19.1 蒙地卡羅法
19.2 馬可夫鏈
19.3 馬可夫鏈蒙地卡羅法
19.4 Metropolis-Hastings 演算法
19.5 吉布斯抽樣

20. 潛在狄利克雷分配
20.1 狄利克雷分佈
20.2 潛在狄利克雷分配模型
20.3 LDA 的吉布斯抽樣演算法
20.4 LDA 的變分EM 演算法

21. PageRank 演算法
21.1 PageRank 的定義
21.2 PageRank 的計算

22. 無監督學習方法總結
22.1 無監督學習方法的關係和特點
22.2 話題模型之間的關係和特點

◎ 第3篇 深度學習
23. 前饋神經網路
23.1 前饋神經網路的模型
23.2 前饋神經網路的學習演算法
23.3 前饋神經網路學習的正規化

24. 卷積神經網路
24.1 卷積神經網路的模型
24.2 卷積神經網路的學習演算法
24.3 影像分類中的應用

25. 循環神經網路
25.1 簡單循環神經網路
25.2 常用循環神經網路
25.3 自然語言生成中的應用

26. 序列到序列模型
26.1 序列到序列基本模型
26.2 RNN Search 模型
26.3 Transformer 模型

27. 預訓練語言模型
27.1 GPT 模型
27.2 BERT 模型

28. 生成對抗網路
28.1 GAN 基本模型
28.2 影像生成中的應用

29. 深度學習方法複習
29.1 深度學習的模型
29.2 深度學習的方法
29.3 深度學習的最佳化演算法
29.4 深度學習的優缺點

◎ 第1篇 監督學習
1 機器學習及監督學習概論
1.1 機器學習
1.2 機器學習的分類
1.3 機器學習方法三要素
1.4 模型評估與模型選擇
1.5 正規化與交叉驗證
1.6 泛化能力
1.7 生成模型與判別模型
1.8 監督學習應用

2. 感知機
2.1 感知機模型
2.2 感知機學習策略
2.3 感知機學習演算法

3. k 近鄰法
3.1 k 近鄰演算法
3.2 k 近鄰模型
3.3 k 近鄰法的實現：kd 樹

4. 單純貝氏法
4.1 單純貝氏法的學習與分類
4.2 單純貝氏法的參數估計

5. 決策樹
5.1 決策樹模型與學習
5.2 特徵選擇
5.3 決策樹的生成
5.4 決策樹...