Python Scrapy: Capture Dados Web de forma rápida e escalável
4.1 (571 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
2,927 students enrolled

Python Scrapy: Capture Dados Web de forma rápida e escalável

Aprenda a utilizar o framework Scrapy para capturar informações de páginas web de forma automática de escalável
Highest Rated
4.1 (571 ratings)
Course Ratings are calculated from individual students’ ratings and a variety of other signals, like age of rating and reliability, to ensure that they reflect course quality fairly and accurately.
2,927 students enrolled
Last updated 7/2018
Portuguese
Portuguese [Auto-generated]
Current price: $27.99 Original price: $39.99 Discount: 30% off
5 hours left at this price!
30-Day Money-Back Guarantee
This course includes
  • 9.5 hours on-demand video
  • 1 article
  • 27 downloadable resources
  • Full lifetime access
  • Access on mobile and TV
  • Certificate of Completion
Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business
What you'll learn
  • Entender o funcionamento de um Web Crawler
  • Construir seus próprios scripts para capturar informações da Web
  • Saber como extrair informações de uma página web
Course content
Expand all 58 lectures 09:16:19
+ Introdução a linguagem Python
29 lectures 04:00:34

Nesta aula você verá terá uma visão geral sobre o mundo Python, conhecendo as PEP's, o PyPI e o curso Python para Zumbis

Preview 03:30

Nesta aula vamos configurar nosso ambiente no Ubuntu (Linux)

Preview 09:33

Nesta aula vamos configurar nosso ambiente no MacOSX

Preview 10:03

Nesta aula vamos configurar nosso ambiente no Windows

Preview 08:38

Nesta aula vamos falar um pouco mais sobre o Jupyter e como rodar Scripts Python

Jupyter e Scripts Python
12:31

Nesta aula vamos introduzir conceitos simples da linguagem Python utilizando o Jupyter

Introdução ao Python
09:20

Nesta aula iremos começar a nosso jogo do adivinha, um jogo que consiste em tentar adivinha um número com base em chutes

Jogo do Adivinha 01
10:41
Jogo do Adivinha 02
09:18
Jogo do Adivinha 03
06:46
Jogo do Adivinha 04
08:56
Jogo do Adivinha 05
09:43

Nessa aula iremos começar o jogo do simular dados, onde será possível criar um programa que simule dados de diferentes tipos

Simulador de Dados 01
07:14
Simulador de Dados 02
09:27
Simulador de Dados 03
09:47
Simulador de Dados 04
08:36

Nesta aula iremos começar a implementar um pequeno programa para armazenar contatos

Lista de Contatos 01
08:47
Lista de Contatos 02
08:19
Lista de Contatos 03
07:32
Lista de Contatos 04
08:31
Lista de Contatos 05
11:34
Lista de Contatos 06
07:37

Nesta aula iremos começar a criar um jogo para controlar Robôs, para isso iremos utilizar Orientação a Objetos

Robôs 01
13:06
Robôs 02
07:04
Robôs 03
05:05
Robôs 04
07:15
Robôs 05
09:09
Robôs 06
08:25
+ Entendendo o Scrapy
7 lectures 01:15:18

Nesta aula iremos ver uma outra alternativa ao Scrapy, a dupla requests e beautiful soup

Preview 06:26

Nesta aula iremos ter uma visão geral do framework Scrapy

Introdução ao Scrapy
06:50

Nesta aula iremos ver como funciona a estrutura de um projeto Scrapy

Criando um Projeto Scrapy
05:43

Nesta aula iremos ver como funciona o seletor XPath

Seletor XPath
16:04

Nesta aula iremos entender a keyword yield do Python para usarmos em nosso projeto

O uso do yield
05:48

Nesta aula iremos ver como extrair os itens (informações) de uma página

Extraindo Itens da Página
15:44

Nesta aula iremos ver como criar novas requisições depois que acessamos uma determinada página

Gerando Novas Requisições
18:43
+ Projeto 1 - OLX
9 lectures 01:34:19

Nesta aula iremos começar o primeiro projeto do curso, um web crawler para o site OLX

Criando o Projeto OLX
11:52

Nesta aula iremos acessar a página de um determinado anúncio

Acessando a Página de Cada Item
07:55

Nesta aula iremos capturar os dados de um determinado anúncio

Capturando os Dados de cada Item
13:52

Nesta aula iremos seguir a paginação dos itens

Seguindo a página dos itens
12:52

Nesta aula vamos ver como funciona o Item Pipeline do Scrapy

Item Pipeline
07:27

Nesta aula iremos ver como funciona a lib sqlite3 do python

Sqlite3
11:14

Nesta aula iremos modificar nosso Item Pipeline para utilizar o sqlite3

Item Pipeline com Sqlite3
11:43

Nesta aula iremos ver como acessar o MongoDB com Python

MongoDB
09:51

Nesta aula iremos colocar o Pipeline do MongoDB para rodar com nosso crawler

Item Pipeline com MongoDB
07:33
+ Recursos do Scrapy
11 lectures 02:08:01

Nesta aula iremos ver alguns recursos do Scrapy Shell

Opções do Scrapy Shell
07:53

Nesta aula iremos ajustar nossa Spider do Coursera para acessar as categorias de cursos

Acessando Página das Categorias do Coursera
09:56

Nesta aula iremos ajustar nossa Spider do Cousera para acessar os cursos

Acessando os Cursos do Coursera
08:22

Nesta aula iremos ver como passar argumentos via linha de comando para nossas Spiders

Argumentos de linha de comando das Spiders
09:02

Nesta aula iremos ver o que são os Item's e ItemLoader's

O que são Item e ItemLoader?
14:41

Nesta aula iremos começar a spider do Veduca e colocaremos para funcionar o Item e ItemLoader visto na aula passada

Usando um Item e ItemLoader na prática
16:32

Nesta aula iremos criar uma classe que irá representar um ItemLoader customizado

Criando um Custom ItemLoader
11:50

Nesta aula iremos finalizar a spider do Veduca fazendo a páginação

Finalizando a Spider do Veduca
06:03

Nesta aula veremos um pouco sobre o protocolo HTTP (Headers e Cookies) importante para as próximas aulas

Um pouco sobre HTTP (Headers e Cookies)
08:11

Nesta aula iremos ver como fazer login em um website usando o FormRequest do Scrapy e entendendo um pouco mais sobre como usar cookies e headers no Scrapy

Usando FormRequest para fazer Login com o Scrapy
21:29

Nesta aula iremos ver mais um recurso do Scrapy, a CrawlSpider

CrawlSpider: Uma spider com regras
14:02
+ Tópicos Avançados e Aulas bônus
2 lectures 18:06

Nesta aula iremos ver como funciona páginas como javascript e as opções que temos

Páginas com Javascript, como proceder?
06:40

Nesta aula iremos ver como configurar o Scrapy para utilizar o Splash

Usando o Splash com o Scrapy
11:26
Requirements
  • Noções de Lógica de programação
  • Conhecimentos básicos de linha de comando (Prompt ou Terminal)
Description

Você já tentou acessar uma página web através de um programa? Com o framework Scrapy esse acesso a captura de informação fica bem mais fácil e organizado.

Nesse curso você irá conseguir acessar o conteúdo das páginas web de forma rápida e fácil utilizando as boas práticas de web crawlers e do framework Scrapy.

Who this course is for:
  • Estudantes de Tecnologia
  • Programadores
  • Interessados em conhecer o mundo Python