3日でできる Node.js Webスクレイピング
What you'll learn
- Node . js を利用したプログラムの開発ができるようになります。
- ファイルのダウンロードとHTMLのパースによる、Webスクレイピングができるようになります。
- Puppeteer を利用した、ブラウザ自動操縦によるWebスクレイピングができるようになります。
- Node . js のモジュールの利用や作成、ファイル操作など、基本的な知識を身に付けます。
Requirements
- パソコンで開発をおこないます。
- ローカルに Node . js をインストールします。Node . js は無料です。
- エディタとして Visual Studio Code を利用します。Visual Studio Code は無料です。
Description
このコースでは、Node.jsを使い、JavaScriptでWebスクレイピングをする方法を学びます。
(2023年12月に、最新の仕様の情報を追加しました)
Node.jsの環境構築から始まり、nodeコマンドやnpmコマンドといった、CLI環境での操作方法を身に付けます。
また、Node.js向けのプログラムの書き方や、モジュールの利用の仕方、自作モジュールの作り方も学びます。
そして、「node-fetch」によるネット上のファイルのダウンロード、「jsdom」によるHTMLパース、それらを利用したWebスクレイピングを身に付けます。
また、「Puppeteer」を利用したWebブラウザの自動操縦を利用したWebスクレイピングも身に付けます。
コースで紹介するコードは、サンプルコードとして、全てダウンロードできます。
依存するモジュールは全て紹介しており、npmコマンドを利用して、別のプロジェクトでもインストールできます。
このコースを習得すれば、次のような事ができるようになります。
Node.jsを利用したプログラムの開発。
ファイルのダウンロードとHTMLのパースによるWebスクレイピング。
Puppeteerを利用したブラウザ自動操縦によるWebスクレイピング。
‥‥‥‥‥‥‥‥‥‥
このコースは、以下のように進みます。
● 第1章 イントロダクション
● 第2章 プロジェクトの作成
● 第3章 ネットのファイルのダウンロード
● 第4章 requireとimport
● 第5章 Path
● 第6章 Promise
● 第7章 File System
● 第8章 パース
● 第9章 Puppeteerによる情報取得
● 第10章 Puppeteerによるフォーム操作
● 第11章 Puppeteerによるダウンロード
● 第12章 自作モジュール
● 終わりに
‥‥‥‥‥‥‥‥‥‥
Who this course is for:
- Node . js を利用したプログラミングをおこないたい人。
- Webスクレイピングをおこないたい人。
Instructor
2002年にクロノス・クラウン合同会社を設立。代表社員。ゲームやアプリケーションの開発、書籍や記事の執筆をおこなう。
SBクリエイティブより「JavaScript[完全]入門」、MdNコーポレーションより「プロフェッショナルWebプログラミング JavaScript」、秀和システムより「マンガでわかるJavaScript」「マンガでわかるAndroidプログラミング」「マンガでわかるJavaプログラミング」他、技術評論社より「JavaScript 仕事の現場でサッと使える! デザイン教科書」「プログラマのためのコードパズル」を出版。
2001年度のオンラインソフトウェア大賞に「めもりーくりーなー」で入賞。
2016年に第23回松本清張賞の最終候補となり、文藝春秋より「裏切りのプログラム」で小説家デビュー。2018年に新潮社より「レトロゲームファクトリー」を出版。