(Ken Cen 出品) Generative AI 第 32 部：多模態融合：視覺+語言模型高效推論 (下)

Name: (Ken Cen 出品) Generative AI 第 32 部：多模態融合：視覺+語言模型高效推論 (下)
Rating: 5.0 (3 reviews)

Multi Modal，RoPE，GQA，KVCache，MLP，RMS 歸一化

Created byKen Cen

Last updated 10/2025

Chinese (Traditional)

Chinese (Traditional) [Auto],

What you'll learn

3 sections • 9 lectures • 7h 34m total length

如何用Pytorch製作 RoPE 旋轉位置編碼56:31
學員將學會如何用Pytorch製作 RoPE 旋轉位置編碼
如何用 Pytorch編寫 GQA 分組查詢注意力1:38:53
學員將學會如何用 Pytorch編寫 GQA 分組查詢注意力
如何用 Pytorch 編寫 KVCache & RMS 歸一化 & MLP 多層感知器1:07:39
學員將會學會如何用 Pytorch 編寫 KVCache & RMS 歸一化 & MLP 多層感知器
為什麼需要殘差連接 & 為什麼Gemma 要設定前置層歸一化 & 為什麼要乘以sqrt(hidden_size)1:12:13
學員將學會為什麼需要殘差連接 & 為什麼Gemma 要設定前置層歸一化 & 為什麼要乘以sqrt(hidden_size)
如何合併圖片特徵 & 文字特徵 & Pad Token ID1:20:25
學員將學會如何合併圖片特徵 & 文字特徵 & Pad Token ID

本課程會繼續在Generative AI 第 31 部的視覺模型的基礎上，繼續多模態模型的架構的編寫。

深入瞭解多模態模型如何在一個投影層上合併文字嵌入和圖像嵌入。

而多模態模型要同時處理文字+图像信息時會有明顯的差異。

而 PaliGemma 多模態模型為什麼要把歸一化放在注意力層 & MLP 層的前面？

輸入的嵌入為什麼要乘以sqrt(hidden_size)，而不是除以sqrt(hidden_size)？

殘差連接對於防止梯度消失有什麼意義？

這些問題會在課程中，一一為您解答。

課程內容：

如何用Pytorch製作 RoPE 旋轉位置編碼

如何用 Pytorch編寫 GQA 分組查詢注意力

如何用 Pytorch 編寫 KVCache & RMS 歸一化 & MLP 多層感知器

為什麼需要殘差連接 & 為什麼Gemma 要設定前置層歸一化 & 為什麼要乘以sqrt(hidden_size)

如何合併圖片特徵 & 文字特徵 & Pad Token ID

如何使用Pytorch 實現 PaliGemma 推理過程