Java Web Scraping

Name: Java Web Scraping
Rating: 4.6 (79 reviews)

Desenvolvendo um Bot para capturar dados da web, armazenar em banco de dados e expor em uma API REST.

Highest Rated

Created byPaulo Henrique da Cruz

Last updated 10/2020

Portuguese

What you'll learn

Técnicas de Web Scraping
Utilização da biblioteca JSOUP
Capturar dados da web
Agendamento de tarefas com Spring
Criação de API REST
Documentação da API utilizando Swagger 2
Utilização do banco de dados H2
Implementação de repositórios com Spring Data JPA
Utilização do ModelMapper
Utilização do Lombok
Boas práticas de desenvovimento de software
Design pattern
Versionamento de código no Github

Course content

5 sections • 48 lectures • 7h 57m total length

Apresentação do curso2:07
Apresentação do curso/projeto1:58
Demonstração do projeto6:48

Iniciando o desenvolvimento9:10
Criando o DTO base para as buscas7:05
Versionando nosso código no github2:31
Realizando a primeira conexão10:48
Obtendo o status da partida15:37
Obtendo informações do tempo real da partida15:01
Ajustes na obtenção do tempo real da partida2:56
Obtendo o nome das equipes9:31
Obtendo a url com o logo das equipes10:29
Obtendo informações sobre o placar da partida7:55
Obtendo informações os nomes dos jogadores que marcaram gols16:08
Obtendo informações sobre penalidades20:06
Refatorando o código do scraping25:29
Tornando o scraping um serviço utilitário13:29
Iniciando a contrução da API REST4:10
Configurando o properties para acesso ao DB10:03
Mapeando nossas entidades15:13
Desenvolvendo o bean de criação do pool de conexões13:16
Desenvolvendo um handler e exceptions customizadas27:30
Criando os beans do Swagger e ModelMapper13:33
Estruturação de classes e pacotes do projeto7:50
Criando os DTOs para expor na API11:37
Desenvolvendo os endpoints GET de equipe18:10
Desenvolvendo os endpoints POST e PUT de equipe24:12
Desenvolvendo os endpoints GET, POST e PUT de partida28:34
Criando o service scraping, ajustando partida service e repositório24:08
Desenvolvendo o nosso robo e ajustando serviços20:27
Executando a aplicação e validando o projeto14:51
Pull Request Github - Mergeando nossa branch na master1:47

Requirements

Conhecimento básico da linguagem Java
Conhecimento básico de HTML
Conhecimento básico de CSS

Description

Aprenda a capturar dados de páginas web utilizando de técnicas de Web Scraping com a linguagem Java.

Neste curso iremos desenvolver um bot automatizado para capturar dados de partidas de futebol na página do Google, isso mesmo, vamos capturar informações em tempo real das partidas e armazenar essas informações em um banco de dados.

Iremos utilizar o padrão arquitetural REST para construção da nossa API para expor os nossos dados, seguindo os padrões de desenvolvimento de mercado, aplicando design patterns e boas práticas de desenvolvimento.

Durante o curso abordaremos conteúdo teórico e muita prática para desenvolvermos nossa aplicação.

Ferramentas e tecnologias utilizadas

Java 11
Jsoup
Spring Boot
Spring Data JPA
ModelMapper
Swagger
Lombok
Scheduler
Hikari
H2 database
Github
Git for Windows

Ao final deste curso você será capaz de realizar a raspagem de dados em qualquer página web, utilizando os conceitos de web scraping juntamente com a linguagem Java, frameworks e bibliotecas que auxiliam na raspagem de dados em uma página web.

Who this course is for:

Desenvolvedores iniciantes na linguagem Java
Desenvolvedores intermediários na linguagem Java
Entusiastas de raspagem de dados
Curiosos por técnicas de web scraping
Profissionais de análise de dados

Java Web Scraping

What you'll learn

Explore related topics

Course content

Introdução3 lectures • 11min

Entendendo os desafios2 lectures • 8min

Conteúdo teórico6 lectures • 31min

Montagem de ambiente8 lectures • 27min

Conteúdo prático29 lectures • 6hr 42min

Requirements

Description

Who this course is for: