第 0 章 行前準備：NumPy 陣列快速上手
0-0 陣列的 shape 與軸、階、維度
0-1 NumPy 陣列的屬性與型別轉換
0-2 建立 NumPy 陣列 (array)
0-3 陣列切片 (slicing)：截取陣列片段
0-4 陣列的重塑與轉置
0-5 陣列間對應元素 (element-wise) 的運算
0-6 陣列擴張 (broadcasting)
0-7 組合多個索引來批次設值或取值
0-8 沿著陣列的某一軸做運算
第 1 章 初探 Keras：建構第一隻神經網路
1-0 神經網路基礎
1-1 神經網路的學習方式
單一神經元的學習方式
整個神經網路的學習方式
1-2 Keras 及 tf.keras 速覽
多後端的Keras
Tensorflow的tf.keras
1-3 用 6 行程式建構神經網路
建立空的神經網路模型
加入第一層的神經層(兼具輸入層功能)
加入第二層的神經層(做為輸出層)
指定訓練及評量方式來編譯模型
1-4 訓練神經網路的流程 - 以辨識手寫數字圖片為例
0. 準備訓練所需的資料
1. 資料預處理(Preprocess)
2. 建立與編譯模型
3. 訓練模型
4. 評估模型成效及修正
5. 用模型預測答案
6. 模型的儲存及載入
1-5 實驗：以自製手寫數字圖片測試
動手製作3種手寫數字圖片
實驗1：測試原始圖片, 但不做前置影像調整
實驗2：做前置影像調整後再測試
實驗3：測試數字位置對準確率的影響
實驗4：測試數字大小對準確率的影響
實驗5：測試線條邊緣漸層對準確率的影響
實驗6：測試線條粗細對準確率的影響
實驗7：測試線條深淺對準確率的影響
實驗8：找出自製圖片的最佳調整方式
實驗9：用最佳調整方式重新訓練模型
1-6 NumPy 陣列的點積運算 (dot product)
向量的點積運算
矩陣的點積運算
多軸陣列的點積運算
1-7 密集神經網路的張量運算
第 2 章 序列模型與密集神經網路
2-0 再論序列模型
2-1 存取模型的結構或權重參數
2-2 模型的編譯：compile()
2-2-0 Compile()的loss參數
實驗：加大或縮小損失值對訓練成效的影響
2-2-1 Compile()的metrics參數
2-2-2 Compile()的optimizer參數
2-2-3 compile()全部參數的詳細用法
2-2-4 compile()可能發生的例外
2-3 模型的訓練：fit()
fit()的傳回值
fit()可能發生的例外
實驗：不同batch_size對訓練成效的影響
2-4 模型的評估：evaluate()
2-5 模型的預測：predict()
2-6 用一小批資料做訓練、評估、或預測
2-7 密集層 (Dense Layer)
2-8 實例：二元分類 - 使用 IMDB 做正負評分類
2-9 實例：多元分類 - 將路透社新聞分類成 46 個主題
2-10 實例：迴歸預測 - 使用美國研究所錄取資料集來預測錄取機率
實驗：使用不同的神經層數、神經元數、及批次量做測試
2-11 火力加強 – 使用生成器及 Sequence 物件
第 3 章 卷積神經網路 (CNN)
3-0 從密集神經網路到卷積神經網路
3-1 卷積層 (Convolutional Layer)
3-2 池化層 (Pooling Layer)
最大池化MaxPooling2D
平均池化AveragePooling2D
降維方式的抉擇
3-3 展平層 (Flatten)
3-4 密集層 (Dense Layer)
3-5 丟棄層 (Dropout)
3-6 實戰：訓練 CNN 辨識 CIFAR-10 圖片資料集
第 4 章 循環神經網路 (RNN)
4-0 以 SimpleRNN 找到資料中的週期
4-1 時序資料預處理 Sequence Preprocessing
4-2 Stateful RNN
實例：Dense VS RNN VS Stateful RNN
4-3 文件資料預處理 Text Preprocessing
文字轉序列
Token 法
雜湊法
序列對齊
文字轉 one-hot
文字轉 multi-hot
文字轉詞向量
4-4 以嵌入層(Embedding layer)實作 IMDB 分類效果
4-5 使用循環丟棄法避免過度配適問題
4-6 堆疊循環層
4-7 長短期記憶 (LSTM) 和閘控循環單元 (GRU)
4-8 雙向循環層
4-9 結果與討論
第 5 章 函數式 API
5-0 函數式 API (Functional API) 快速上手
函數式 API 的建模方式
Input() 及 Model() 的參數設定
5-1 多輸入模型
5-1-0 可以合併多個分支的合併層
5-1-1 實例：建立有 3 個輸入層的模型
5-1-2 用程式產生訓練樣本及答案
5-1-3 訓練有 3 個輸入層的模型
5-1-4 利用 EMA 找出訓練成效最好的週期
5-1-5 重新訓練到最佳週期並評估成效
5-1-6 實驗：如果改用 2 種樣本資料來訓練模型呢？
5-2 多輸出模型
5-2-0 實例：將前面範例多加一個「評價」輸出層
5-2-1 產生「評價」標籤資料, 並依評價修改銷量
5-2-2 編譯多輸出模型
5-2-3 自訂評量函式
5-2-4 訓練多輸出模型
5-2-5 找出並訓練到最佳週期, 然後產生測試資料評估成效
5-2-6 實驗：增加樣本數量以提升準確率
5-3 函數式 API 的更多應用
5-3-0 內部分岔的有向無循環模型
5-3-1 層的共用與權重共享
5-3-2 層內的節點 (node)
5-3-3 實例：判斷 2 張手寫數字圖片是否為同一個數字
5-3-4 將模型做為層來使用
5-3-5 實例：在新模型中套用已訓練好的 CNN 模型
5-4 繪製模型的結構圖
5-5 實例：用「故事與問題」訓練雙輸入的 RNN 問答模型
5-5-0 資料集說明：The (20) QA bAbI tasks 資料集
5-5-1 下載 QA 資料集
5-5-1 撰寫解析檔案內容的 get_sqa() 函式
5-5-2 直接讀取壓縮檔的內容並轉換為 QA 資料集
5-5-3 資料預處理
5-5-4 建立及編譯雙輸入模型
5-5-5 訓練模型並評估成效
5-5-6 實驗 0：測試所有適用的 QA 任務
5-5-7 實驗 1：在故事樣本中加入無關 (非支持答案) 的敘述
第 6 章 預先訓練自己的中文詞向量
6-0 為什麼要預先訓練詞向量
6-1 Word2vec 實作原理
CBOW 連續詞袋模型
Skip-gram 跳字模型
進階 Skip-gram 模型
6-2 建立並訓練 Word2vec 神經網路
6-2-0 建立完整的 Word2vec 架構
6-2-1 取得原始資料 (語料)
6-2-2 資料預處理的介紹
6-2-3 資料預處理：產生訓練 Word2vec 所需的資料集
6-2-4 訓練 Word2vec
6-3 訓練新的神經網路進行中文文本分類
6-3-0 製作資料集：取得回答資料與話題種類
6-3-1 將資料集整理成神經網路可以接收的形式
6-3-2 訓練神經網路對回答資料進行話題分類
6-4 實驗
6-4-0 實驗 0：詞向量的差異
6-4-1 實驗 1：訓練資料筆數
6-4-2 實驗 2：訓練資料的字詞數量
6-4-3 實驗 3：另一種訓練資料不足的可能
6-4-4 實驗 4：多話題的分類
6-4-5 實驗 5：神經網路結構測試
第 7 章 進階應用
7-0 用 Callback 監控訓練過程
7-0-0 EarlyStopping
7-0-1 ModelCheckpoint
7-0-2 ReduceLROnPlateau
7-0-3 LearningRateScheduler
7-0-4 CSVLogger
7-0-5 撰寫你自己的 Callback
7-1 用 TensorBoard 解析訓練過程的歷史記錄
7-1-0 基本使用方式
7-1-1 tf.TensorBoard Callback 的其他參數
7-2 圖檔及影像處理技巧
7-2-0 檢視本節所附的樣本圖檔：貓狗資料集
7-2-1 可提供批次影像資料的 ImageDataGenerator
7-2-2 實例：用貓狗的照片檔來訓練、驗證、評估、預測模型
7-2-3 ImageDataGenerator 的資料擴增功能
7-2-4 實例：使用資料擴增提升訓練成效
7-2-5 實驗：進一步提升貓狗辨識的準確率
7-2-6 實驗：將資料擴增法及 Dropout 層應用在樣本不足的案例
7-3 各種 CNN 經典模型的建構祕方
7-3-0 LeNet
7-3-1 AlexNet
實驗：梯度消失 (Vanishing gradient)
7-3-2 VGG
7-3-3 Network in Network (NiN)
7-3-4 GoogLeNet：Inception-V1
7-3-5 Inception-V2、V3
實驗：在 40 層以上的神經網路中使用 BN 層
實驗：BN 層讓 Sigmoid 復活了
7-3-6 Inception-V4、Inception-ResNet
7-3-7 Xception
實驗：SeparableConv2D vs Conv2D
7-3-8 ResNet
7-3-9 DenseNet (Densely Connected Convolutional Networks)
7-4 遷移學習 - 以預訓練好的經典模型 VGG16 為例
7-4-0 什麼是遷移學習 (transfer learning)
7-4-1 萃取出資料的特徵
7-4-2 將經典 CNN 移植到新模型之中
7-4-3 模型的微調 (fine-tuning)
附錄 A 使用 Google 的 Colab 雲端開發環境
A-0 Colab 快速上手
A-1 Colab 雲端虛擬主機的管理與設定
A-2 Colab 的目錄窗格與檔案管理
A-3 Colab 的偏好設定
2024專利防護中