(Ken Cen出品)Generative AI第26部 Mistral 語言模型的架構秘密

本課程延續Generative AI 第 18～25 部，繼續講解大語言模型架構技術的原理，圍繞Mistral 大語言模型與原始 Transformer 之間的架構差異展開。

其中包括如下技術：

Sliding Window Attention - 滑動窗口注意力：

限制注意力計算在固定大小窗口內，減少計算量

Rolling Buffer Cache - 滾動緩衝區緩存：

一種用於推理時保存中間計算結果的緩存技術

Sparse Mixture of Experts (MoE) - 稀疏混合專家模型：

利用多個專家子網絡並行處理，提升模型容量與效率

KV 緩存 - Key-Value Cache：

儲存注意力機制中Key和Value的緩存，加速推理

Feedforward Networks (Experts) - 前饋網絡（專家）：

MoE中多個獨立的前饋子網絡，負責不同輸入的處理

Model Sharding - 模型分片：

將模型參數分散到多個設備上以減少單設備負擔