Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup、Selenium、Requests）

現役のデータサイエンティストが提供するWebスクレイピングに関する講座で、データサイエンスの実務における経験を基に、デザインされた講座になります。

近年、ビジネスでのデータ活用においては、世界中のWebサイトから様々なデータを取得することが求めらています。 また変化も激しい環境において、それぞれのWebサイトの構造や内容も頻繁に更新され、日々変わっていきます。

スクレイピングが難しい理由として、次のようなポイントが挙げられます。

1. Webサイトにより構造が異なる

2. Webサイトの構造が複雑・頻繁に変わる

3. JavaScriptでユーザーの操作によって新たなページが読み込まれるなど、特殊な技術が使われている

しかし、ビジネスでスクレイピングを用いるには、これらのポイントに適切に対処していくことが求められます。

これら難しいポイントに適切に対処し、ビジネスでスクレイピングを活用できるよう、このコースはデザインされています。

このコースの特徴は次のようなものになります。

1. 様々なニーズや場面に応じて使い分けできるよう、Pythonのスクレイピングライブラリの中でも幅広いライブラリをカバーします。

   •    Beautiful Soup、Selenium、Requests、newspaper3k、Pandasのread_html

2. ビジネスで活用するにおいて必要となる、スクレイピングにおける一連のプロセスをカバーします。

   •    データ取得・抽出から、整形、グラフ化、保存まで

3. 特殊な技術が使われているWebサイトも考慮し、幅広いスキルを身につけれるよう、レクチャーを提供します。

   •    JavaScriptを用いた動的なサイトへの対処方法

   •    ログイン画面への対処方法

   •    リンクをたどり、複数のWebページを巡回する方法

   •    テキスト情報・画像ファイルの取得方法

                                                                          など多数

これらを通じてこのコースの受講後は、世界中のWebサイトから効率的に情報を取得することができるようになります。

このWebスクレイピングの講座では、次のトピックをカバー致します。

1. AnacondaでのPython3の環境構築、Jupyter Notebookの使い方

2. HTMLとCSSの基本

3. newspaper3kによるニュース記事・要約の取得と保存

4. Pandasでスクレイピングによる株価の取得とグラフ化・保存

5. RequestsとBeautiful Soupの基本的な使い方

6. Beautiful Soupでリンクをたどり、複数のWebページを巡回する方法

7. Beautiful Soupでの必要な情報の抽出方法

      a) HTMLの階層を移動して、HTMLタグの該当する箇所を検索する方法

      b) find、find_allメソッドにより、HTMLタグの該当する箇所を検索する方法

      c) selectメソッドにより、CSSセレクタで該当する箇所を指定する方法

8. XPathやCSSセレクタの記述方法

9. 正規表現の使い方

10. Seleniumの基本的な使い方

11. SeleniumによるJavaScriptを用いた動的なサイトへの対処方法

12. Seleniumによるログイン画面への対処方法

13. Selenium、Requestsによる画像ファイルのダウンロード・保存方法

14. 実践プロジェクト

なお、Classなどオブジェクト指向の記述は、初心者向きでは無いので本コースの対象外としております。本コースでは、これらの記述を使わずに解説しておりますので、ご注意ください。