【Python】Webスクレイピング入門　ブラウザ操作とデータ収集を自動化しよう!!

コースで使用するVisual Studio Codeのダウンロードリンクです。

コースで使用するVisual Studio Codeのダウンロード方法と初期設定を解説します。

Pythonでツール開発を行う際に「なぜ仮想環境を利用するのか?」について解説します。

macOSでのPython仮想環境の作成方法と削除方法を解説します。

macOSにて作成済みの仮想環境の起動方法と停止方法を解説します。

仮想環境を使用する場合と使用しない場合のパッケージ管理ツールpipの中身を比較して、
パッケージ管理内容の違いを確認します。

WindowsでのPython仮想環境の作成方法と削除方法を解説します。

Windowsにて作成済みの仮想環境の起動方法と停止方法を解説します。

Python仮想環境の起動後に簡単な.pyファイルを実行して、仮想環境でPythonが動作することを確認します。

Webスクレイピングで使用するライブラリのインストール方法を解説します。

リリースされている ChromeDriver の更新に伴い、

webdriver-manager ライブラリをアップグレードしてください。

seleniumライブラリを使ったWebドライバーの起動方法を解説します。

こまめなプログラム実行と実行結果の確認に適したJupyter Notebook形式を利用します。

Visual Studio Code内で.ipynbファイルを使用する方法を解説します。

コースで利用するGoogleトップページのURLリンクです。

seleniumで起動したWebドライバーで任意のURLにアクセスする方法を解説します。

seleniumで起動したWebドライバーの画面を撮影(スクリーンショット)して、保存する方法を解説します。

Web上の情報を取得・抽出する上で必要なHTML構造とCSSセレクタについて解説します。

seleniumで操作するWebドライバー上で、Webページの要素をCSSセレクタを用いて探索・取得する方法を解説します。

Webページの読み込み遅延を想定し、seleniumで読み込みを待機させる方法を解説します。

seleniumで操作するWebドライバーを用いて、
Google検索画面の検索ボックスにキーワードを入力し、検索ボタンをクリックさせる方法を解説します。

学習した内容を使って「Googleのプロダクトページのスクリーンショットを撮影する」演習問題を出題します。実装に必要な処理の流れを解説します。

演習問題の回答とプログラム実装を解説します。

seleniumで起動したWebドライバーを修了する方法を解説します。

本セクションで使用するYahoo! JAPANのURLリンクです。

seleniumを使ってYahoo! JAPANのニュース記事一覧を取得するための、実装方針を解説します。

seleniumを使ってYahoo! JAPANにアクセスします。
Webドライバーを起動する際の、最新バージョンインストール処理を省略する方法を解説します。

Yahoo! JAPANのニュース記事一覧の記事リンクを抽出する方法を解説します。

Yahoo! JAPANのニュース記事一覧の記事タイトルを抽出する方法を解説します。

本セクションで使用するYahoo!ショッピングのURLリンクです。

seleniumを使ってYahoo!ショッピングから商品名と価格を抽出する方法を解説します。

seleniumで取得した情報をcsvファイルに出力する方法を解説します。

seleniumで取得した情報を.xlsxファイルに出力する方法を解説します。