(Ken Cen出品)Generative AI第23部 訓練大語言模型必修 - LoRA & Quantization

想讓您的 AI 模型在邊緣設備上跑得更快、更小、更智能？加入我們的課程，帶您從原理到實操，徹底掌握：

1. 參數高效、成本低
   LoRA 僅透過低秩矩陣 AAA 和 BBB 的更新，凍結原始權重，使得微調參數量相比傳統方法大幅縮減，無需重訓整個模型，省時、省算力、省錢。

2. PyTorch 直擊實戰
   從 torch.nn.utils.parametrize 開始，手把手教你如何在線性層中注入 LoRA 參數化邏輯；以 MNIST 分類示範，讓你快速上手微調流程。

3. 細節解密、數據驗證
   不僅帶你凍結原始權重、訓練與測試，還深入探討如何對比 LoRA 啟用／禁用時的性能差異，並驗證原始權重是否真正保持不變。

4. 參數效率深度分析
   計算並對比原始模型參數量與 LoRA 額外引入的參數量，用數據說話，讓你更加清晰地掌握技術優勢與取捨。

5. 完整數學推導與程式實現
   從 SVD（奇異值分解）基礎概念，到低秩近似矩陣生成，再到 W+BA⋅scaleW + B A\cdot\text{scale}W+BA⋅scale 的數學邏輯，理論與實作一氣呵成。

6. 對稱 vs. 非對稱：深度對比兩大量化策略，掌握 S（Scale）與 Z（Zero‐Point）的配置技巧，讓零點映射更“零失真”；

7. PTQ 實戰：手把手演示「訓練後量化」流程：插入觀察器、校準統計、S/Z 計算，一鍵生成 INT8 模型，輕鬆部署；

8. QAT 精髓：揭開「量化感知訓練」原理，在訓練圖中插入“假量化”模塊，讓模型在訓練時就學會“自我修正”，大幅減少量化誤差；