Extraindo e salvando dados da web com R, Selenium e MySQL
What you'll learn
- Extração de dados da web
- Programação em R
- Salvar os dados extraídos em um banco de dados MySQL
- Selenium
- Web scraping
Requirements
- Instalação do R e RStudio
Description
Olá, sejam bem vindos ao curso Extraindo e salvando dados da web com R, Selenium e MySQL.
No curso serão apresentados todos os conceitos teóricos e práticos para permitir que você faça a extração de textos e imagens que estão presentes nas páginas WEB. Para fazer a extração de dados vamos aprender os seguintes tópicos:
Configurar o RSelenium;
Abrir e manipular o navegador de forma automática;
Capturar dados através dos localizadores (class name, css selector, tag name, xpath, id, name);
Clicar em botões;
Enviar valores para elementos;
Capturar atributos de elementos (href, src);
Setar atributos para elementos;
Manipular elementos do tipo Select;
Baixar imagens e tirar screenshots;
Rolar o conteúdo de uma página de forma automática;
Tratamento de erros com o TryCatch;
Configurar RMySQL, Xampp;
Criar um banco de dados;
Inserir dados extraídos em um banco de dados;
Consultar dados inseridos;
Exportar dados para arquivos Excel e CSV;
Projetos de extração na prática.
Para isso utilizaremos a linguagem de programação R, que é uma das que mais cresce no mercado e o Selenium. Por fim, vamos aprender a como salvar os dados extraídos em um banco de dados MySQL e planilhas (Excel e CSV) para que possam ser utilizados posteriormente.
Who this course is for:
- Pessoas interessadas em extração de dados
- Pessoas interessadas em data science
Course content
- Preview08:02
- 05:13Fazendo a instalação do R e do RStudio
- 11:03Como utilizar o RStudio
- 10:16Fazendo a configuração do RSelenium
- 14:28Configurando o servidor
- 08:49Abrindo uma página
- 07:58Controlando o navegador
- 13:42Capturando elementos através da sua Classe
- 06:51Capturando elementos através do seu ID
- 05:37Capturando elementos através do seu Name
- 08:15Capturando elementos atráves do seu Tag Name
- 04:59Capturando elementos através do seu CSS Selector
- 06:28Capturando elementos através do seu XPath
- 14:43Como capturar o texto dos elementos
- 08:52Clicando em botões
- 06:50Diferença entre os métodos findElements e findElement
- Preview09:12
- 06:49getElementAttribute
- 08:26findChildElements
- 08:36setElementAttribute
- 06:16submitElement
- 06:01Dropdown
- 09:26Como baixar imagens
- 05:55Manipulando a barra de rolagem
- 16:00Extraindo e salvando dados de uma tabela
- 10:05Tratamento de erros com Try Catch
- Preview22:04
- Preview11:54
- 25:37Extraindo dados IMDB
- 14:43Extraindo dados em páginas
Instructor
Técnico em Informática e Engenheiro de Computação pelo Instituto Federal de Minas Gerais. Atualmente trabalho com analises de dados, classificação de questões, redes neurais artificiais e análise de dados com o R. Realizo a extração de dados utilizando a linguagem de programação Python, já ministrei um tutorial sobre Web Scraping na Python Brasil. Nos últimos anos venho utilizando também o VBA para essa tarefa.