GPTを自作して大規模言語モデルを理解する：PythonでTransformerとAttentionを学ぶLLM機械学習
What you'll learn
- TransformerのAttentionメカニズムとGPTの仕組みを学びます。
- 自然言語処理の流れを学びます。
- Python言語を学びながらGPTのプログラムを作ります。
- 機械学習フレームワーク、PyTorchを教材として学びます。
Requirements
- ＧＰＴの仕組みを理解したいという気持ち
Description
初期のGPTを１から作ってみます。ChatGPTのような役立つ生成モデルを再現することはできませんが、学問的な視点から、基本的なGPTを作ってみることで、どうして自然言語が使えるＡＩが実現するようになったのか、手を動かしながら学びます。イラスト解説と平行して、前半は自然言語処理の成り立ちを学び、後半では、Attentionメカニズムを搭載したTransformerの部品を作っていきます。臨機応変に機械学習に関係することも紹介しています。とにかく、掴める内容にしようと思って愚直に青臭くコースを作成しました。生の生成ＡＩに触れてみたい方にお勧めです。
Who this course is for:
- ＧＰＴや自然言語に興味のある方
- 機械学習の応用を学びたい方
- 人工知能（ＡＩ）に興味のある方
Instructor
- 4.1 Instructor Rating
- 729 Reviews
- 6,884 Students
- 10 Courses
Michiyasu Uchiyama
JDLA（日本ディープラーニング協会）認定 E資格取得
ＡＩというと「研究所」で行うものに感じますが一般人は扱えないのでしょうか？そういった疑問から当コースでは「パソコン」を使ってどこまで再現できるのか、個人向け講座として挑戦してみることにしました。
大学数学など習ったことがないため全て独学で習得しましたので、機械学習初心者の方も気軽に質問してみてください。まずは紙と鉛筆のレベルから「手で触れる」ＡＩを体感してみましょう。
（初めて機械学習というものに接した頃、ネットで公開されているコードを必死に動かしていましたが、サンプルデータではうまくいっても、自前のデータでは全く効果がありませんでした。しかし、コードレベルで理解していくと、簡単に正答率が上がりました。そのとき機械学習というものの中身を「手で触った」という感じがしたのです）
今はフレームワークもあり、ネット上のサンプルを実行すれば簡単に結果を得られますが、ひとたび実用化を計ろうとするとすると、たちまち使い物にならなくなります（例えばMnistの手書き数字の認識は、実用面では、ほとんど効果を発揮しません）。しかし機械学習がどのような理屈で動いているのか知っていれば、プログラムを加筆修正することができます。
途中で分からなくなってきたときは．．．
人工知能・機械学習初心者の方は、以下の順序でコースを受講していただくと分かりやすいと思います。イラストを多めに用いた解説を行っています。
画像認識（ディープラーニング）
習うより慣れよう Visual AI さわって覚える人工知能「ディープラーニング編」
ニューラルネットワークを大量の絵を使ってわかるように解説しています。紙と鉛筆で計算できるようになります。
↓
GAＮ（生成モデル）
条件付の手書数字を生成しよう。Conditional GANで学ぶ生成モデル
初級～中級です。その後、CycleGANやStyleGANに進むとわかりやすいと思います。
↓
自然言語処理
ＡＩ機械翻訳（付録：日本語対応ソースコード付）
まずはRNN（再帰型ニューラルネットワーク）で自然言語処理を身に着けておきましょう。