Pythonによるウェブスクレイピング(Python Web Scraping)

ウェブデータの収集やブラウザの自動操作を実装する方法
Rating: 4.0 out of 5 (64 ratings)
869 students
Japanese
Pythonによるウェブスクレイピングの方法
Seleniumの使い方
BeautifulSoupの使い方
ブラウザの自動操作の方法

Requirements

  • Pythonを利用できるスキル(ビギナーレベル以上)
  • Mac、WindowsなどのPythonプログラム実行環境

Description

Pythonという言語の魅力は色々あるかと思いますが、その魅力のうちの一つとして、ウェブスクレイピング(Web Scraping)などが容易に実装できることがあると思います。


本コースでは、Pythonパッケージ(ライブラリ)である、BeautifulSoupSeleniumなどを使って、スクレイピングする方法について紹介します。


【レクチャー例】

  • スクレイピングとは(スクレイピングやクローラーについて説明します)

  • スクレイピングでできること(この技術を使ってデータをダウンロードしたり、ブラウザを自動操作ができることを説明します)

  • スクレイピングする際の注意点(スクレイピングする際の注意点について説明します)

  • HTML基礎(スクレイピングする上で必要なHTMLの基礎を説明します)

  • classとid(CSSセレクタのclassとidの概念を説明します)

  • HTMLタグ(要素)(タグや要素の概念について説明します)

  • BeautifulSoup イントロダクション(このパッケージの概要から環境準備の方法を説明します)

  • クイックスタート デモ(まずはサンプルを動かして、どのように扱うかを概要を理解します)

  • ローカルファイルのParse(ローカルのHTMLファイルを分析します)

  • ウェブ上のHTMLのParse(ウェブ上のHTMLファイルを分析します)

  • HTML要素を取得するfindとselect(2つの選定メソッドであるfindとselectの違いを説明します)

  • 様々な要素の選定の方法(様々な選定方法について紹介します)

  • Tips:うまくスクレイピング処理するコツ(応用的な技術を紹介します)

  • Tips:画像ダウンロード(BS4を使って画像をダウンロードする方法を紹介します)

  • Selenium イントロダクション(このパッケージの概要から環境準備の方法を説明します)

  • サンプルプログラムの実行(まずはサンプルを動かして、どのように扱うかを概要を理解します)

  • dummy_sleep(自動操作時のスリープテクニックを紹介します)

  • find_element_by_css_selector(CSSを使った要素選定方法を紹介します)

  • find_element_by_xpath(XPathを使った要素選定方法を紹介します)

  • リンククリック(自動的にHTMLリンクをクリックする方法を紹介します)

  • 自動ログイン(自動的にサイトのログイン処理する方法を紹介します)


本コースを修了した方は、Pythonを使ったスクレイピングに関する体系的な知識が身につきます。この知識があれば、ちょっとした自動化スクリプトを書いて業務効率を上げるのに役立てたり、ウェブ上の様々なデータを自動的に取得するプログラムを実装することができるようになります。

Who this course is for:

  • スクレイピングによりウェブページからデータを収集したいと考えている方
  • Pythonによるウェブデータ取得を自動化したいと考えている方
  • ブラウザの自動操作により業務効率を考えている方

Course content

4 sections17 lectures1h 56m total length
  • Slackとクラスノートについて
    05:05
  • スクレイピングとは
    05:24
  • スクレイピングでできること
    06:09

Instructor

ITソフトウェアエンジニア
菊川正人 Kikukawa
  • 3.9 Instructor Rating
  • 170 Reviews
  • 1,768 Students
  • 4 Courses

早稲田大学情報理工学科でソフトウェア工学について研究。修士課程修了。


大手オフィス機器製造メーカーでソフトウェア開発および医療SEで大病院のシステム構築を経験した後、医療地域連携システムを開発しているベンチャー企業に転職しました。ITソフトウェアに関わる業務を15年ほど経験した後、現在はフリーランスエンジニアとして活動しております。


会社勤めしているときはC++、C#、Java、JavaScriptなどを経験しましたが、そのときから興味があったPythonにふれる機会はありませんでした。


フリーになってからは、独学でPythonを勉強しましたが、やはりPythonは面白い言語だと感じています。簡単な便利ツールを作る際にもサクッとスクリプトを作成できますし、最近流行りの機械学習などの実装にも向いています。


大学以降はサッカーを趣味としていますが、少年時代はプロ野球選手を夢見る西武ライオンズファンの少年でした。最近は、ふと4番打者の意義について疑問に思い、もっとも高得点が取れる打順のオーダーは、どのようなものなのかPythonプログラミングで確認してみようと企んでいます(笑)


これからもPythonをもっと勉強し、Udemyで皆様に役立つコースを開発していきたいと思いますので、どうぞよろしくお願いいたします。