【 TensorFlow・Python3 で学ぶ】深層強化学習入門
4.0 (253 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
2,985 students enrolled

【 TensorFlow・Python3 で学ぶ】深層強化学習入門

Qラーニングや方策勾配など強化学習の基礎理論を学び、Pythonでプログラムを書いてエージェントを作成し、理解を深めましょう。
4.0 (253 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
2,985 students enrolled
Last updated 5/2019
Japanese
Current price: $58.99 Original price: $84.99 Discount: 31% off
5 hours left at this price!
30-Day Money-Back Guarantee
This course includes
  • 3.5 hours on-demand video
  • 7 articles
  • 4 downloadable resources
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • 強化学習の基本的な原理(Q学習や方策勾配)を理解できるようになります。
  • Q学習の基本原理を理解することができます
  • DQN(深層Q学習)の仕組みを理解することができるようになります。
  • OpenAI Gymのライブラリを使用してゲームをプレイする学習をさせることができます。
  • アルファ碁を解説している論文を解読するための基礎知識が習得できます。
Course content
Expand all 40 lectures 03:22:22
+ 環境構築(Windows)
3 lectures 17:45
Anaconda3 5.0.0 のインストール
04:36
仮想環境の追加とTensorFlowのインストール
05:31
TensorFlow 1.3 GPU版のインストール(NVIDIA GPU搭載機のみ可能)
07:38
+ 環境構築(macOS)
2 lectures 09:33
Anaconda3のインストール
05:31
TensorFlowのインストール(macOS)
04:02
+ Qテーブルによる学習
5 lectures 27:38
FrozenLake問題に取り組む上での注意
00:22
OpenAI GymとJupyter Notebookをインストールしよう
06:16
Qテーブルを更新するプログラムを書こう
15:33
課題: Qテーブル
00:12
+ Qネットワーク学習
6 lectures 32:58
QテーブルからQネットワークへ
03:07
Qネットワーク学習(1/3)ノートブックの追加
09:59
Qネットワーク学習(2/3)学習の流れ
02:37
Qネットワーク学習(3/3)学習の実行
11:48
課題: Qネットワーク学習
00:17
コードサンプル(課題)
05:10
+ 多腕バンディット問題(方策勾配)
5 lectures 25:15
プログラムの処理の流れ
02:48
Pythonでコードを書いてみよう(1/2)
09:48
Pythonでコードを書いてみよう(2/2)
08:23
課題: 多腕バンディット(腕の数を変更して実行)
00:10
+ カートポール問題(方策勾配法 その2)
13 lectures 01:03:10
このセクションの概要
01:48
カートポール問題のGymを動かしてみよう
04:05
倒れたら環境をリセットしよう
05:16
DQNとエクスペリエンス・リプレイ
03:43
TensorFlowで実装してみよう(ネットワークのクラス定義)
12:11
Experienceを格納するMemoryクラスの定義
05:31
パラメーター初期化とエクスペリエンスの保存
03:08
エクスペリエンスメモリーを蓄積しよう
04:05
トレーニングを実行しよう(1/2)
07:43
トレーニングを実行しよう(2/2)
05:53
matplotlibで結果を可視化しよう
04:30
テスト(エージェントにゲームをプレイさせてみよう)
05:11
このセクションで使用したノートブック
00:06
+ ボーナスセクション
4 lectures 20:31
外部リファレンスや参考図書
01:08
AI・ディープラーニングのおすすめコース
02:26

GPU版を入れるためのCUDA 8.0のインストール手順です。

CUDAのインストール(TensorFlow入門より)
07:22

cuDNN 5.0の導入手順です。6.0対応版も収録しますが、それまでは適宜読み替えてください。

cuDNNのインストール(TensorFlow入門より)
09:35
Requirements
  • macOS, Windows, またはUbuntu(Linux)
  • インターネット接続
  • Python3, Anaconda Navigator, Jupyter Notebook
  • TensorFlow, OpenAI Gym
Description

【更新情報】

2017/11/9 カートポール問題の結果の可視化、エージェントのプレー表示をアップロードしました。これで基本的なトピックは一通りカバーしました。あとはリクエストに応じてPythonのコーディングの補足解説や、発展的なトピックの紹介を追加していきたいと思いますので、ぜひリクエストください。

2017/11/8 カートポール問題のトレーニングのレクチャーを掲載しました。

2017/11/1  カートポール問題のイントロを掲載しました。

2017/10/30   多腕バンディット問題を解くチュートリアルを掲載しました。

2017/10/29 方策勾配のセクションのイントロをアップロードしました。

【コース概要】

この講座は、AlphaGo Zeroの活躍などで大注目されている強化学習についての基礎知識を、プログラムを作成しながら学ぶコースです。

強化学習を使うと、画像を入力として与えるだけでゲームや囲碁、将棋などの対戦を機械が自分で繰り返し、最適な方策を学んで、人間よりも高いスコアを出す学習ができることが知られています。

(主なトピック)

このコースでは、こうした強化学習を理解するための

・マルコフ決定過程

・ベルマン方程式

・Q学習(Q-テーブルとQ-ネットワーク)

・方策勾配(ポリシーグラディエント)

・DQN(深層Qネットワーク学習)

などの基礎的な概念を理論解説と、Pythonでコードを書く演習を通して学びます。

(プログラミング題材)

題材としては、非営利のAI研究機関OpenAIが公開しているOpen AI Gymから

1.フローズンレイク問題(凍った湖の上を穴に落ちずにゴールする)

(1)Qテーブル法でQ値を求める

(2)Qネットワーク法(ニューラルネットワーク)で解く

2.多腕バンディット問題(マルチアームのスロットマシーン)

3.カートポール問題(倒立振り子)

  DQN(Deep-Q学習、ディープラーニング、多層ニューラルネットワーク)で解く

  ポール(棒)が倒れないようにカート(台車)を操作する問題

などのパッケージを入手して、強化学習を実践します。


ぜひこの機会に強化学習の考え方や基礎知識を身につけ、ビジネスや開発に活かしましょう。

【受講上の注意】

このコースはビデオでの学習をしたくない方には向いていませんので、ご注意ください。

Who this course is for:
  • 強化学習の基本的な仕組みを学びたい方
  • 画像分類やRNNなど機械学習を学んできたが、強化学習にチャレンジしたい方
  • 自力でコードを書くのが嫌でない方
  • ビデオを視聴するのが苦痛でない方