LLM 大型語言模型的絕世祕笈：27 路獨步劍法...

Ch 01 語言模型能吃嗎？
1.1 語言模型不能吃
1.2 語言模型的種類
　　1.2.1 N-Gram 模型
　　1.2.2 隱藏式馬可夫模型
　　1.2.3 循環神經網路
　　1.2.4 Transformer
1.3 Bigram 語言模型實作
　　1.3.1 爬取文本
　　1.3.2 統計建模
　　1.3.3 文本生成
1.4 結論

Ch 02 神經網路語言模型
2.1 文字向量
2.2 遞歸神經網路
2.3 Transformer 模型與注意力機制
2.4 Transformer 語言模型架構種類
　　2.4.1 Encoder 語言模型
　　2.4.2 Encoder-Decoder 語言模型
　　2.4.3 Decoder 語言模型
2.5結論

Ch 03 ChatGPT
3.1 ChatGPT 狂熱
3.2 提示 Prompt
　　3.2.1 Zero-Shot & Few-Shot Prompt
　　3.2.2 Chain-of-Thought
　　3.2.3 System Prompt
3.3 ChatGPT Plus
3.3.1 GPT-4
　　3.3.2 My GPTs
　　3.3.3 Ai PDF
3.4 結論

Ch 04 OpenAI API
4.1 Token
4.2 Tiktoken
4.3 Pricing
4.4 ChatGPT API
　　4.4.1 認證
　　4.4.2 基礎用法 Non-Streaming
　　4.4.3 串流用法 Streaming
　　4.4.4 文字介面聊天範例
　　4.4.5 文字向量 API
　　4.4.6 Rate Limits
4.4 結論

Ch 05 AI 實戰應用：貓貓塔羅
5.1 Gradio
　　5.1.1 基本用法 gr.Blocks
　　5.1.2 圖片元件 gr.Image
　　5.1.3 聊天室元件 gr.Chat
5.2 貓貓塔羅
　　5.2.1 素材蒐集
　　5.2.2 核心應用
　　5.2.3 完整應用
5.3 結論

Ch 06 ChatGPT 的挑戰者們
6.1 土豆挑戰 Peanut Challenge
6.2 Google Gemini
6.3 Anthropic Claude
6.4 Microsoft Copilot
6.5 訊飛星火
6.6 BreeXe
6.7 結論

Ch 07 ChatGPT 相關應用
7.1 ChatPDF
7.2 CloudGPT
7.3 Gogolook 袋鼠金融
7.4 Hotoke 佛祖 AI
7.5 AutoGPT & AgentGPT
7.6 OSENSE Qubby AI
7.7 薯條塔羅
7.8 結論

Ch 08 檢索與生成
8.1 生成式資訊檢索
　　8.1.1 封閉生成式資訊檢索
　　8.1.2 開放生成式資訊檢索
8.2 論文閱讀問答機器人實做
　　8.2.1 索引階段 Index Phase
　　8.2.2 查詢階段 Query Phase
　　8.2.3 分析
8.2 結論

Ch 09 走訪 LLM 訓練流程
9.1 監督式微調
　　9.1.1 預訓練
　　9.1.2 指令微調
9.2 增強式學習
　　9.2.1 獎勵模型
　　9.2.2 近端策略最佳化 PPO
　　9.2.3 直接偏好最佳化 DPO
　　9.2.4 增強式學習框架 TRL
9.3 結論

Ch 10 建立開發環境
10.1 作業系統
10.2 NVIDIA 顯示卡驅動程式
10.3 虛擬環境管理 Conda
　　10.3.1 安裝 Miniconda
　　10.3.2 Conda 基本操作
10.4 常用套件安裝
　　10.4.1 CMake
　　10.4.2 CUDA
10.5 Docker
10.6 Colab
10.7 GPU
10.8 結論

Ch 11 擁抱開源的微笑 Hugging Face Transformers
11.1 讀取模型
11.2 讀取分詞器
11.3 自動類別
11.4 文本生成
11.5 串流輸出
11.6 提示樣板
11.7 取樣參數
11.8 設定停止點
11.9 自迴歸解碼
11.10 多顯卡推論
11.11 到底是在「大」什麼？
11.12 結論

Ch 12 數若繁星的語言模型們
12.1 英文模型
　　12.1.1 Llama
　　12.1.2 Alpaca
　　12.1.3 Vicuna
　　12.1.4 TinyLlama
　　12.1.5 Phi
　　12.1.6 Mistral & Mixtral
12.2 中文模型
　　12.2.1 Qwen
　　12.2.2 Yi
12.3 臺灣模型
　　12.3.1 Breeze & BreeXe
　　12.3.2 Taiwan LLM
　　12.3.3 TAIDE
　　12.3.4 Bailong
　　12.3.5 FFM
12.4 其他資源
　　12.4.1 Awesome LLM
　　12.4.2 Open LLMs
　　12.4.3 Open LLM Leaderboard
12.5 結論

Ch 13 語言模型也懂寫程式！
13.1 StarCoder
13.2 CodeGen
13.3 CodeLlama
13.4 DeepSeek Coder
13.5 結論

Ch 14 貧民英雄，量化超人
14.1 基礎概念
　　14.1.1 說文解字
　　14.1.2 簡單推論
14.2 量化方法
　　14.2.1 BitsAndBytes
　　14.2.2 Quanto
　　14.2.3 GPTQ
　　14.2.4 AWQ
14.3 困惑度
14.4 結論

Ch 15 ggml & llama.cpp
15.1 ggml
15.2 llama.cpp
15.3 環境建置
15.4 格式轉換
15.5 主程式 main
15.6 量化工具 quantize
15.7 伺服器 server
15.8 Python Binding
15.9 速度比較
15.10 結論

Ch 16 Text Generation Inference
16.1 架設服務
16.2 基本用法
16.3 量化選項
16.4 Token 數量設定
16.5 TGI Client
16.6 速度測試
16.7 結論

Ch 17 vLLM & Paged Attention
17.1 Key-Values Cache
17.2 Paged Attention
17.3 基本用法
17.4 LLM Service
17.5 速度比較
17.6 結論

Ch 18 情境學習In-Context Learning
18.1 起源
18.2 基本
18.3 翻譯應用
18.4 文字正規化應用
18.4 結論

Ch 19 再訪檢索模型
19.1 關鍵字
19.2 BM25 Best Matching Ranking
19.3 文本向量
19.4 Text Embedding Inference
19.5 相似度
19.6 Faiss
19.7 結論

Ch 20 任務導向聊天機器人
20.1 任務導向到底是什麼呢？
20.2 有了 LLM 的 TOD 系統天下無敵？
20.3 Rasa
20.4 結論

Ch 21 LangChain
21.1 題目發想
21.2 資料來源
21.3 資料爬取
21.4 LLM
21.5 Prompt Template
21.6 Embedding Model
21.7 Vector Store
21.8 Few-Shot Prompt Template
21.9 Example Selector
21.10 Chain!
21.11 結論

Ch 22 微調語言模型DIY！
22.1 任務設計
22.2 建立資料集
22.3 訓練流程
22.4 評估測試
22.5 結論

Ch 23 PEFT & LoRA
23.1 LoRA 簡介
23.2 LoRA 原理
　　23.2.1 FFT 運算
　　23.2.2 LoRA 運算
　　23.2.3 合併 運算
23.3 回顧 LoRA 程式碼
23.4 LoRA 推論
23.5 QLoRA
23.6 權重合併
23.7 訓練細節
23.8 結論

Ch 24 永遠不夠長！
24.1 ChatGPT & Claude
24.2 Gradient Checkpointing
24.3 內插法 & 外插法
24.4 LongLoRA
24.5 StreamingLLM & Attention Sinks
24.6 結論

Ch 25 資料何其多，硬碟何其小
25.1 Hugging Face Datasets
25.2 預訓練資料集
　　25.2.1 Common Crawl
　　25.2.2 Project Gutenberg
　　25.2.3 The Pile
　　25.2.4 C4 & mC4
　　25.2.5 Stack Exchange
　　25.2.6 RedPajama & SlimPajama
　　25.2.7 The Stack & StarCoderData
25.3 對話資料集
　　25.3.1 Databricks Dolly
　　25.3.2 OASST
　　25.3.3 ShareGPT
　　25.3.4 LMSYS Chat
25.4 中文資料來源
　　25.4.1 政府資料開放平台
　　25.4.2 維基文庫
　　25.4.3 開放文學
　　25.4.4 漢籍全文資料庫
　　25.4.5 TAIDE
25.5 評估資料集
25.6 模型生成資料
25.7 結論

Ch 26 授權條款與社會責任
26.1 什麼是「權」？
26.2 常見授權條款
　　26.2.1 MIT
　　26.2.2 GPL & LGPL
　　26.2.3 Apache 2.0
　　26.2.4 BSD
　　26.2.5 CC
26.3 特殊授權條款
　　26.3.1 OpenRAIL
　　26.3.2 Llama2 License
26.4 相關爭議
26.5 結論

Ch 27 學海無涯，學無止境
27.1 論文
27.2 GitHub趨勢
27.3 Hugging Face
　　27.3.1 Blog
　　27.3.2 Trending
　　27.3.3 Daily Paper
27.4 iThome
27.5 與人互動
27.6 未來發展

Ch 01 語言模型能吃嗎？
1.1 語言模型不能吃
1.2 語言模型的種類
　　1.2.1 N-Gram 模型
　　1.2.2 隱藏式馬可夫模型
　　1.2.3 循環神經網路
　　1.2.4 Transformer
1.3 Bigram 語言模型實作
　　1.3.1 爬取文本
　　1.3.2 統計建模
　　1.3.3 文本生成
1.4 結論

Ch 02 神經網路語言模型
2.1 文字向量
2.2 遞歸神經網路
2.3 Transformer 模型與注意力機制
2.4 Transformer 語言模型架構種類
　　2.4.1 Encoder 語言模型
　　2.4.2 Encoder-Decoder 語言模型
　　2.4.3 Decoder 語言模型
2.5結論

Ch 03 ChatGPT
3.1 ChatGPT 狂熱
3.2 提...