【夢月流】Pythonスクレイピング入門2~Web APIを使ってスクレイピングプログラムを素早く作るコツを教えます~
3.9 (89 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
764 students enrolled

【夢月流】Pythonスクレイピング入門2~Web APIを使ってスクレイピングプログラムを素早く作るコツを教えます~

Python+Web APIで、Webスクレイピングプログラムを、ササッと作る方法を学びましょう。難しい理屈とかは後回しでいいのです。まずはやり方を知ることが大事です。
3.9 (89 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
764 students enrolled
Created by 速水 夢月
Last updated 1/2019
Japanese
Current price: $13.99 Original price: $19.99 Discount: 30% off
5 hours left at this price!
30-Day Money-Back Guarantee
This course includes
  • 1 hour on-demand video
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • Python+Web APIを使ってのWebスクレイピングをすることができるようになります。
  • Web APIのPythonでの利用のしかたが理解できるようになります。
  • requestsモジュールの基本的な使い方を学びます。
Requirements
  • Pythonの基本的なプログラミングができることが前提となります。
  • httpプロトコルが、ある程度理解できていることが前提となります。(ぼやっとした理解でも大丈夫です)
  • 何らかのPython開発環境があることが前提です。
  • 「Pythonスクレイピング入門~seleniumを使ってスクレイピングプログラムを素早く作るコツを教えます~」(無料)を視聴していただくと、より一層理解が深まります。
Description

エンジニアリングに関する知識を記録・共有するためのサービスであるQiita(キータ)のWebページを題材として、Python+Web APIでのWebスクレイピングプログラムの作り方を学びます。

Qiitaには、毎日数多くの記事が投稿されていますが、Pythonタグのついた記事には、どんな関連タグがついているのでしょうか?

まずは、過去10000記事のタグの種類と個数を数えるWebスクレイピングプログラムを作ってみましょう。

このプログラムの作り方を動画で見ることにより、いかに簡単にWebスクレイピングプログラムが作れてしまうかびっくりすることでしょう。

Who this course is for:
  • Webスクレイピングとは何かを知りたい初級Python開発者。
  • どうやって、Web APIを使えばよいかを具体的に知りたい人
Course content
Expand all 11 lectures 45:19
+ はじめに
1 lecture 01:54

本コースの紹介ビデオです。

Preview 01:54
+ このコースの目的
2 lectures 02:48

seleniumを使ってWebスクレイピングをしたときの手順についてスライドで整理します。

Preview 00:49
+ 具体的なWeb APIを見てみよう
3 lectures 10:05

Web APIの見方を学びます。(QiitaのWeb APIを具体的に見てみます)

Preview 04:06

Web APIの探し方のコツを学びます。(QiitaのWeb APIを具体的に見てみます)

  1. Pythonタグが付けられた記事を探すAPIは?

  2. その記事に付けられたタグを探すAPIは?

Preview 04:03

Web APIを使ってのスクレイピング手順を整理します。

Web APIを使ったスクレイピング手順の整理(スライド説明)
01:56
+ pythonタグが付いた記事一覧を表示してみよう
1 lecture 07:28
  1. requestsモジュールを使って、Web APIを呼び出してみます。

  2. またその結果(Json形式)を、Json形式のオブジェクトにして扱いやすくします。

Pythonタグが付いた記事一覧を表示してみよう
07:28
+ URIクエリのパラメータの外出しと認証について
1 lecture 05:34
  1. URIクエリを、URLから独立させてrequests.getする方法を学びます

  2. Qiitaのアクセストークンを取得し、リクエストヘッダとしてrequest.getに指定する方法を学びます。

URIクエリーの外出しと、アクセストークンによる認証について
05:34
+ 記事についているタグの個数を数えてみよう
2 lectures 14:57

Web APIの使用例を学びます

記事一覧からタグを取り出してみよう
07:21
タグの出現個数を数えてみよう
07:36
+ まとめ
1 lecture 02:33
seleniumとWeb APIとのどちらを使えばよいか(比較)
02:33