BERTによる自然言語処理を学ぼう! -Attention、TransformerからBERTへとつながるNLP技術-
What you'll learn
- BERT、Transformer、Attentionの仕組み。
- PyTorch、ライブラリTransformersを使用したBERTの実装。
- 学習済みモデルのファインチューニングによる調整。
- 日本語の文章、および英文のBERTによる分類。
- 自然言語処理技術の概要。
Requirements
- Pythonの基礎を学ぶためのテキストがダウンロード可能ですが、動画によるPythonの解説はありません。
- 何らかのプログラミング経験があった方が望ましいです。
- Google Colaboratoryを使用するため、ローカル環境はWindowsでもMacでも大丈夫です。
- Google Colaboratory、およびGoogle Driveを使用するためにGoogleアカウントが必要になります。
- 海外のライブラリや文献を紹介するので、英語に抵抗感が小さい方が望ましいです。
- ディープラーニングに関する基礎的な知識が必要になります。
Description
自然言語処理の様々なタスクで高い性能を発揮する、「BERT」を学ぶコースです。
BERT(Bidirectional Encoder Representations from Transformers )は2018年10月にGoogleが公開して以来、世界中のAI関係者の注目を集めています。
BERTは「Transformer」と呼ばれるモデルを利用することで、離れた単語間の関係、すなわち「文脈」を考慮した自然言語処理を実現します。
タスクによっては人間並みの精度を発揮する可能性もあり、「応答文の生成」や「文書の要約」といった様々なタスクでの活用が期待されています。
本コースで学ぶことにより、BERTの仕組み、実装方法を理解し、BERTによる日本語文章の処理ができるようになります。
新しい時代の、有用な自然言語処理技術を身に付けましょう。
注: 本コースに先立ちYouTubeでのライブ講義【Live人工知能】がありました。本コースの動画はこのライブ講義をUdemy用に再構成したものになります。
コースの内容は以下の通りです。
Section1. 講座とBERTの概要
→ 自然言語処理、Transformer、BERTについて概要を学びます。
Section2. シンプルなBERTの実装
→ 最小限のPythonのコードでBERTを実装します。
Section3. BERTの仕組み
→ Transformer、BERTなどについて仕組みを詳しく学びます。
Section4. ファインチューニングの活用
→ ファインチューニングの概要、そしてBERTにおける活用について解説します。
Section5. BERTの応用
→ BERTを使って、自然言語処理のタスクに取り組みます。
なお、今回の講座でプログラミング言語Pythonの解説は最小限となりますが、Pythonの基礎を解説するノートブックがダウンロード可能です。
本コースはディープラーニング用フレームワークとしてPyTorchを使用します。
PyTorchはオープンソースの機械学習ライブラリで、簡潔さ、柔軟性、速度のバランスに優れているため人気が急上昇中です。
また、簡潔な記述が可能なため、最新の研究成果の実装によく使われています。
開発環境にはGoogle Colaboratoryを使用します。
Who this course is for:
- 分かりやすい解説でBERT、Transformer、Attentionについて学びたい方。
- 一歩進んだ自然言語処理技術を身に付けたい方。
- PyTorchによる自然言語処理の実装を学びたい方。
- 自然言語処理を活用し、文章の分類などを行いたい方。
Instructor
「ヒトとAIの共生」がミッションの会社、SAI-Lab株式会社の代表取締役。
AIの教育/研究/アート。
東北大学大学院理学研究科、物理学専攻修了。博士(理学)。
法政大学デザイン工学部兼任講師。
オンライン教育プラットフォームUdemyで、十数万人にAIを教える人気講師。
複数の有名企業でAI技術を指導。
「AGI福岡」「自由研究室 AIRS-Lab」を主宰。
著書に、「はじめてのディープラーニング」「はじめてのディープラーニング2」(SBクリエイティブ)、「Pythonで動かして学ぶ!あたらしい数学の教科書」「あたらしい脳科学と人工知能の教科書」「Google Colaboratoryで学ぶ! あたらしい人工知能技術の教科書」「PyTorchで作る!深層学習モデル・AI アプリ開発入門」「BERT実践入門」「生成AIプロンプトエンジニアリング入門」(翔泳社)。共著に「No.1スクール講師陣による 世界一受けたいiPhoneアプリ開発の授業」(技術評論社)。