直感！Pytorchで始める深層学習実装入門（実践編）

本講座では、Colabを利用したPytorchハンズオンで全結合型ニューラルネットワークの説明と実装から始めて、順を追ってBERTの転移学習までステップアップしていきます。コアとなる考え方はどの深層学習においても共通です。講座を順に進めていったり、途中の課題を解いていくことにより、受講者は任意のデータを利用して深層学習のモデルを構築・訓練できるようになるでしょう。

※取り扱う内容：BERTが追加されています。 

【深層学習モデル】

１）全結合型ニューラルネットワーク

２）畳み込みニューラルネットワーク

３）再帰型ニューラルネットワーク

４）BERT

【データ】

１）FashionMNIST

２）MNIST

３）LOVE（講師の自作データ）

４）IMDB

１）全結合型ニューラルネットワークの仕組み理解

２）深層学習における共通処理

３）loveのデータの形

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※Lecture12は、CNN_修正版の方ご確認下さい。失礼いたしました。

修正前

self._to_linear = x[0].shape[0] *  x[0].shape[2]

修正後

self._to_linear = x[0].shape[0] * x[0].shape[1] * x[0].shape[2]

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

※Lecture12は、CNN_修正版の方ご確認下さい。失礼いたしました。

修正前

self._to_linear = x[0].shape[0] *  x[0].shape[2]

修正後

self._to_linear = x[0].shape[0] * x[0].shape[1] * x[0].shape[2]

※動画で解説しているコードは2023/10/25時点で、一部バージョンのちがいにより動作しないコードがございます。２０．２０のコースリソース「CNN_修正版2.ipynb」の方に2023/10/25時点で動作するフルソースを掲載しておりますので合わせてご確認ください。

映画レビューコメントとポジティブ・ネガティブ判定のデータセットIMDBを

利用して、BERTの転移学習を実装していきます。

BERT自体の説明は本家の論文やQiita記事などをご参照下さい。

今回の実装では、BERT自体の重みは事前学習されたもので固定して、

出力層に全結合層を追加して学習させるという転移学習を行っています。

事前学習モデル自体の12層のTrasformerたちは重みを更新させなくても特定の分類タスクを解くことができるようにネットワークを学習させることが可能です。

2023/10/30時点でtorchtext/transformersのビデオ収録時のバージョンがcolabからpipで呼べなくなっていましたので動作可能なver.のBERT2.ipynbに書き換えました。ご確認お願い致します。

huggingfaceでGoogleのT5(Text To Text Transfer Transformer)を使った、英語のニュース記事の抽象的要約を行うプログラムを一行ずつColabで書きながらご説明いたします。

Starbucksのウィキペディアの記事本文を要約するプログラムを記載してください。Lecture31 - 35まで実践してきた内容の集大成ですので、ご自身で解かれることをオススメいたします。

Lecture36 の課題の解説です。再学習したT5で、一件のみを要約できます。

Vision Transformer（ViT）は、自然言語処理でRNNを駆逐したtransformer(transformerベースの事前学習モデルは、BERTやEARNIE、GPT3等が有名）を画像分類にストレートに応用したものです。本レクチャでは、Google Colabを使ってViTを用いた任意の画像の分類タスクに挑戦します。