PythonによるWebスクレイピング 〜Webアプリケーション編〜
4.2 (408 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
4,322 students enrolled

PythonによるWebスクレイピング 〜Webアプリケーション編〜

BeautifulSoupを用いたデータの収集、データ可視化特化のPythonライブラリであるDash、便利なPaaSであるHerokuを使いこなし、データ可視化アプリケーションをWeb上に公開することができます。
4.2 (408 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
4,322 students enrolled
Created by 今西 航平
Last updated 5/2019
Japanese
Current price: $132.99 Original price: $189.99 Discount: 30% off
5 hours left at this price!
30-Day Money-Back Guarantee
This course includes
  • 4.5 hours on-demand video
  • 5 downloadable resources
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • Python のライブラリの一つで、 HTML の構造と python の基礎を 理解していれば活用できる、スクレイピングに特化したモ ジュール「 BeautifulSoup 」を用いて、データ収集を行う
  • Web アプリケーション 用 Python フレームワークで、 Web 上 のデータの可視化に特化している「 Dash 」を用いた可視化アプ リケーションを作成することができる
  • Dash を使用し、棒グラフ、散布図等、リアルタイムに情報を反 映させ、動きのある複数のグラフ を作成することができる
  • スクレイピングを組み合わせたアプリケーションを作成できる
  • 基本的なデータベース操作を学ぶことができる
  • アプリケーションを Web 上に公開することができる
  • 開発した WEB アプリケーションを面倒な手続きなく簡単に公開 することができる PaaS Platform as a Service )である 「 Heroku 」 を使用した定期実行を組むことができる
Course content
Expand all 43 lectures 04:34:46
+ Dashによる可視化
8 lectures 56:18
Dashの基本的な構造2
11:18
アレンジを加える
11:57
散布図の作成1
09:41
散布図の作成2
03:38
折れ線グラフの作成
10:32
+ Dash応用編
4 lectures 26:39
ドロップダウン・ラジオボタン
07:54
チェックボックス・テキスト入力・スライダー
06:41
Callback関数
08:34
+ データの収集
5 lectures 30:57
BeautifulSoupでデータ抽出2
05:32
取得データをCSVへ書き込む
08:29
必要な処理の関数化
07:10
+ 可視化アプリケーションの作成
5 lectures 40:07
スクレイピング用のファイルを作成
04:53
必要なデータの抽出
10:42
受講生総数の可視化
07:45
受講生増加数の可視化
10:31
レビュー総数と増加数の可視化
06:16
+ DBを組み込んだアプリケーションの作成
9 lectures 58:47
(Macの方)データベース適用のための準備
01:08
(Windowsの方)データベース適用のための準備
03:47
アプリケーションにDBを組み込む(scraping.py)の変更
05:59
アプリケーションにDBを組み込む(database.pyの変更)
10:32
アプリケーションにDBを組み込む(view.pyの変更)
08:10
可視化アプリケーションの起動
03:20
+ Herokuにデプロイ
10 lectures 57:17
(Macの方)Herokuの登録とインストール
02:20
(Windowsの方)Herokuの登録とインストール
03:25
(Windowsの方)Git Bashのインストールと設定
04:46
Gitとは
03:51
Heroku上にアプリケーションを作成
07:37
Herokuに必要なファイル
09:39
PostgreSQL適用の準備
04:41
Heroku上にファイルを一式アップ
08:27
アプリケーションをWeb上に公開
07:38
定期実行を設定
04:53
Requirements
  • Pythonの基礎文法を理解している
  • HTML, CSSの基礎文法を理解している
  • Webスクレイピングの基礎を把握している
Description

受講生15,000人を超えるキカガクの講師によるPythonによるWebスクレイピング~Webアプリケーション編~が登場。
Webスクレイピングで収集したデータを可視化するアプリケーションを作成し、Web上に公開する力を身につけましょう。

前作となるPythonによるWebスクレイピング入門では、Webスクレイピングのみにフォーカスしお伝えしました。
しかし、実際には収集して終わりではなく、その先にはデータを可視化することであったり、プロトタイプを作成するなどの工程が待ち望んでいます。まずは、簡単な形式でも構わないから、データを可視化しアプリケーションを公開する。この一連の流れを実装したいという方に非常にオススメな講座です。

【コース概要】

以下、本コースで扱う大枠の内容となっております。

  1. Dashによる可視化アプリケーションの作成

  2. BeautifulSoupを用いたデータの収集

  3. スクレイピングを組み合わせた可視化アプリケーションの作成

  4. DBを組み込んだ可視化アプリケーションの作成

  5. Herokuを用いてアプリケーションをWeb上に公開

  6. スクレイピングを定期実行させる仕組みを構築


【注意】

  • 本講座は初学者・中級者向けであり、Webスクレイピング、
Webアプリケーション作成の基礎をしっかりと身につけていただきたいので高度な内容は抑えております。

  • Dashやデータベース等の詳細の説明は行いません。

  • しっかりとカリキュラム、特に講座紹介動画をご覧になった上でご受講ください。

  • 前作となる「 Python による Web スクレイピング入門」の知識を前提としています。

    このコースを未受講の方でも、ざっくりとスクレイピングがどんなものであるかを理解していれば問題ありません。

  • HTML, CSSの基礎的な知識がある前提で講座を進めております。

    理解できていない方はprogateで勉強してから受講してください。

  • Pythonの基本的な文法がわかる方を対象にしています 。JupyterNotebook で 、 変数 ・ 基本構文 ・ 制御構文 ・ 代表的な関数を用いたプログラミングができる方に適しています 。Pythonに触れたことがない 、 ご自身のレベルが本コースを受講できるレベルに達しているか心配な方は 、以下 2つの動画(Udemy )で勉強してから受講されるのをおすすめします 。

    • 【キカガク流】人工知能・機械学習 脱ブラックボックス講座 - 初級編 -

    • 【キカガク流】プログラミング力向上のためのPythonで学ぶアルゴリズム論(前編)

  • HerokuのAdd-ons使用の際にクレジットカード登録の必要があります。

    • 本講座の範囲内の使用であれば無料なのでご安心ください。

Who this course is for:
  • データ可視化アプリケーションを作成したい方
  • Dashを使ったアプリケーション作成を行ってみたい方
  • webスクレイピングを組み合わせたアプリケーションを作成してみたい方
  • WebアプリケーションをWeb上に公開したい方
  • Herokuを用いた定期実行の方法を学びたい方