Python Scrapy: Capture Dados Web de forma rápida e escalável

2,927 students enrolled

Python Scrapy: Capture Dados Web de forma rápida e escalável

Aprenda a utilizar o framework Scrapy para capturar informações de páginas web de forma automática de escalável

Highest Rated

2,927 students enrolled

Created by Gileno Alves Santa Cruz Filho

Last updated 7/2018

Portuguese

Portuguese [Auto-generated]

Preview this course

Python Scrapy: Capture Dados Web de forma rápida e escalável

$27.99 $39.99 30% off

5 hours left at this price!

30-Day Money-Back Guarantee

9.5 hours on-demand video
1 article
27 downloadable resources
Full lifetime access
Access on mobile and TV

Certificate of Completion

Training 5 or more people?

Get your team access to 4,000+ top Udemy courses anytime, anywhere.

Try Udemy for Business

What you'll learn

Entender o funcionamento de um Web Crawler
Construir seus próprios scripts para capturar informações da Web
Saber como extrair informações de uma página web

+ – Introdução a linguagem Python

29 lectures 04:00:34

Apresentação do Curso

Preview 03:45

Nesta aula você verá terá uma visão geral sobre o mundo Python, conhecendo as PEP's, o PyPI e o curso Python para Zumbis

PEP, PyPI e Python para Zumbis

Preview 03:30

Links e referências iniciais

Preview 00:22

Nesta aula vamos configurar nosso ambiente no Ubuntu (Linux)

Instalação no Ubuntu (Linux)

Preview 09:33

Nesta aula vamos configurar nosso ambiente no MacOSX

Instalação no MacOSX

Preview 10:03

Nesta aula vamos configurar nosso ambiente no Windows

Instalação no Windows

Preview 08:38

Nesta aula vamos falar um pouco mais sobre o Jupyter e como rodar Scripts Python

Jupyter e Scripts Python

12:31

Nesta aula vamos introduzir conceitos simples da linguagem Python utilizando o Jupyter

Introdução ao Python

09:20

Nesta aula iremos começar a nosso jogo do adivinha, um jogo que consiste em tentar adivinha um número com base em chutes

Jogo do Adivinha 01

10:41

Jogo do Adivinha 02

09:18

Jogo do Adivinha 03

06:46

Jogo do Adivinha 04

08:56

Jogo do Adivinha 05

09:43

Nessa aula iremos começar o jogo do simular dados, onde será possível criar um programa que simule dados de diferentes tipos

Simulador de Dados 01

07:14

Simulador de Dados 02

09:27

Simulador de Dados 03

09:47

Simulador de Dados 04

08:36

Nesta aula iremos começar a implementar um pequeno programa para armazenar contatos

Lista de Contatos 01

08:47

Lista de Contatos 02

08:19

Lista de Contatos 03

07:32

Lista de Contatos 04

08:31

Lista de Contatos 05

11:34

Lista de Contatos 06

07:37

Nesta aula iremos começar a criar um jogo para controlar Robôs, para isso iremos utilizar Orientação a Objetos

Robôs 01

13:06

Robôs 02

07:04

Robôs 03

05:05

Robôs 04

07:15

Robôs 05

09:09

Robôs 06

08:25

+ – Entendendo o Scrapy

7 lectures 01:15:18

Nesta aula iremos ver uma outra alternativa ao Scrapy, a dupla requests e beautiful soup

Requests e Beautiful Soup

Preview 06:26

Nesta aula iremos ter uma visão geral do framework Scrapy

Introdução ao Scrapy

06:50

Nesta aula iremos ver como funciona a estrutura de um projeto Scrapy

Criando um Projeto Scrapy

05:43

Nesta aula iremos ver como funciona o seletor XPath

Seletor XPath

16:04

Nesta aula iremos entender a keyword yield do Python para usarmos em nosso projeto

O uso do yield

05:48

Nesta aula iremos ver como extrair os itens (informações) de uma página

Extraindo Itens da Página

15:44

Nesta aula iremos ver como criar novas requisições depois que acessamos uma determinada página

Gerando Novas Requisições

18:43

+ – Projeto 1 - OLX

9 lectures 01:34:19

Nesta aula iremos começar o primeiro projeto do curso, um web crawler para o site OLX

Criando o Projeto OLX

11:52

Nesta aula iremos acessar a página de um determinado anúncio

Acessando a Página de Cada Item

07:55

Nesta aula iremos capturar os dados de um determinado anúncio

Capturando os Dados de cada Item

13:52

Nesta aula iremos seguir a paginação dos itens

Seguindo a página dos itens

12:52

Nesta aula vamos ver como funciona o Item Pipeline do Scrapy

Item Pipeline

07:27

Nesta aula iremos ver como funciona a lib sqlite3 do python

Sqlite3

11:14

Nesta aula iremos modificar nosso Item Pipeline para utilizar o sqlite3

Item Pipeline com Sqlite3

11:43

Nesta aula iremos ver como acessar o MongoDB com Python

MongoDB

09:51

Nesta aula iremos colocar o Pipeline do MongoDB para rodar com nosso crawler

Item Pipeline com MongoDB

07:33

+ – Recursos do Scrapy

11 lectures 02:08:01

Nesta aula iremos ver alguns recursos do Scrapy Shell

Opções do Scrapy Shell

07:53

Nesta aula iremos ajustar nossa Spider do Coursera para acessar as categorias de cursos

Acessando Página das Categorias do Coursera

09:56

Nesta aula iremos ajustar nossa Spider do Cousera para acessar os cursos

Acessando os Cursos do Coursera

08:22

Nesta aula iremos ver como passar argumentos via linha de comando para nossas Spiders

Argumentos de linha de comando das Spiders

09:02

Nesta aula iremos ver o que são os Item's e ItemLoader's

O que são Item e ItemLoader?

14:41

Nesta aula iremos começar a spider do Veduca e colocaremos para funcionar o Item e ItemLoader visto na aula passada

Usando um Item e ItemLoader na prática

16:32

Nesta aula iremos criar uma classe que irá representar um ItemLoader customizado

Criando um Custom ItemLoader

11:50

Nesta aula iremos finalizar a spider do Veduca fazendo a páginação

Finalizando a Spider do Veduca

06:03

Nesta aula veremos um pouco sobre o protocolo HTTP (Headers e Cookies) importante para as próximas aulas

Um pouco sobre HTTP (Headers e Cookies)

08:11

Nesta aula iremos ver como fazer login em um website usando o FormRequest do Scrapy e entendendo um pouco mais sobre como usar cookies e headers no Scrapy

Usando FormRequest para fazer Login com o Scrapy

21:29

Nesta aula iremos ver mais um recurso do Scrapy, a CrawlSpider

CrawlSpider: Uma spider com regras

14:02

+ – Tópicos Avançados e Aulas bônus

2 lectures 18:06

Nesta aula iremos ver como funciona páginas como javascript e as opções que temos

Páginas com Javascript, como proceder?

06:40

Nesta aula iremos ver como configurar o Scrapy para utilizar o Splash

Usando o Splash com o Scrapy

11:26

Requirements

Noções de Lógica de programação
Conhecimentos básicos de linha de comando (Prompt ou Terminal)

Description

Você já tentou acessar uma página web através de um programa? Com o framework Scrapy esse acesso a captura de informação fica bem mais fácil e organizado.

Nesse curso você irá conseguir acessar o conteúdo das páginas web de forma rápida e fácil utilizando as boas práticas de web crawlers e do framework Scrapy.

Who this course is for:

Estudantes de Tecnologia
Programadores
Interessados em conhecer o mundo Python