Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Extração de dados da WEB com Python e Selenium
Highest Rated
Rating: 4.6 out of 5(297 ratings)
1,637 students

Extração de dados da WEB com Python e Selenium

Web scraping com Python e salvando em um banco de dados com o sqlAlchemy
Highest Rated
Created byGustavo Henrique Nunes
Last updated 7/2024
Portuguese
Portuguese [Auto],

What you'll learn

  • Extração de dados
  • Selenium
  • Python
  • sqlAlchemy
  • Web scraping

Course content

2 sections • 39 lectures • 5h 49m total length

  • Introdução4:13
  • Instalações9:15
  • Atualizando para o Selenium 4 e mudanças nos scripts14:24
  • Baixando o driver do navegador3:49
  • Abrindo uma página com o Selenium4:15
  • Extraindo dados através do seu ID7:25
  • Extraindo dados através da sua Classe7:07
  • Extraindo dados através do seu TagName5:50
  • Extraindo dados através do seu Name4:12
  • Extraindo dados através do seu Xpath4:41
  • Comandos úteis2:38
  • Clicando em botões5:11
  • Capturando atributos dos elementos5:49
  • Manipulando elementos select8:30
  • Extraindo dados e ordenando em valores crescentes12:29
  • Baixando imagens presentes nas páginas6:32
  • Realizando pesquisa e extraindo dados de tabelas12:50
  • Extraindo dados paginados13:48
  • Tirando screenShot das páginas2:20
  • Tratamento de erros5:31
  • Trabalhando com tag iframe - Parte 19:30
  • Trabalhando com tag iframe - Parte 29:47
  • Enviando textos para campos input com o sendKeys3:45
  • Acessando diferentes abas do navegador4:08
  • Baixando arquivos5:04
  • Extraindo dados paginados.12:03
  • Inserindo e extraindo dados dos Correios - Parte 112:10
  • Inserindo e extraindo dados dos Correios - Parte 210:55
  • Realizando pesquisa e extraindo dados.18:52
  • Lendo um arquivo Excel, realizando uma pesquisa e extraindo dados14:03
  • Extraindo dados e salvando em uma planilha do Excel17:04
  • Extraindo dados do site do IBGE21:40
  • Extraindo dados do site Portal da Transparência22:40

Requirements

  • Instalação dos programas apresentados no curso, nenhum é pago e as suas instalações são apresentadas no curso.

Description

No curso serão apresentados todos os conceitos teóricos e práticos para permitir que você faça a extração de textos e imagens que estão presentes nas páginas WEB (web scraping) e salvar esses dados em um banco de dados MySQL com a biblioteca sqlAlchemy. Caso você não tenha conhecimentos com Python será apresentado na primeira seção os conhecimentos necessários para realização do curso. Para fazer a extração de dados vamos aprender os seguintes tópicos:

  • Instalar o Selenium;

  • Conceitos básicos de programação do Python (For, If e listas);

  • Abrir e manipular os navegadores de forma automática (Chrome, Firefox, Opera e Edge);

  • Controlar no navegador (Fechar, Atualizar, Voltar e Avançar páginas);

  • Capturar dados através dos localizadores (class name, tag name, xpath, id, name);

  • Clicar em botões;

  • Realizar de forma automática o download de arquivos presentes nas páginas WEB;

  • Enviar valores para elementos;

  • Capturar atributos de elementos (href, src);

  • Manipular elementos do tipo Select;

  • Navegar entre abas do navegador;

  • Baixar imagens e tirar screenshots;

  • Tratamento de erros;

  • Salvar os dados extraídos arquivos CSV;

  • Salvar os dados extraídos em um banco de dados MySQL;

  • Projetos de extração na prática.

Para isso utilizaremos a linguagem de programação Python, que é uma linguagem muito utilizada em empresas e vai permitir que os dados extraídos sejam salvos de maneira fácil para serem utilizados posteriormente.

Who this course is for:

  • Pessoas interessadas em extração de dados da WEB

Report abuse