Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Big Data - Processamento de dados com Spark e PySpark
Highest Rated
Rating: 4.5 out of 5(1,245 ratings)
4,241 students

Big Data - Processamento de dados com Spark e PySpark

Crie o seu servidor Apache Spark, processe grandes quantidades e faça um streaming em tempo real utilizando PySpark :)
Created byFelipe Mafra
Last updated 5/2018
Portuguese

What you'll learn

  • Definir o que é Big Data
  • Definir o que é o Ecossistema Hadoop
  • Aplicar Map Reduce
  • Instalar e configurar o Apache Spark em ambiente virtualizado
  • Entender e configurar variáveis de ambiente

Course content

6 sections30 lectures5h 22m total length
  • Introdução ao curso9:06
  • O que é um cluster?8:54
  • Introdução a Big Data18:56
  • Aplicações de Big Data8:26
  • A História do Hadoop12:16
  • Infraestrutura - Crescimento Vertical e Horizontal7:40
  • Funcionamento do HDFS8:37
  • Hadoop Map Reduce9:03
  • Entenda agora! Resumão do Capítulo7:04

Requirements

  • Noções de Virtualização
  • Noções de Python
  • Lógica de Programação
  • Noções de SQL
  • Muita vontade de aprender, pois o resto a gente ensina aqui!

Description

Não se assuste mais com as tecnologias de Big Data! Aprenda o essêncial para processar grandes quantidades de dados em memória com o melhor Framework do mercado: O Apache Spark!

Iniciaremos do zero, explicando o que é Big Data e o que é necessário para que um dado seja categorizado como tal. Tudo de forma simples, com uma linguagem leve e agradável! 

Após nos situarmos entre as tecnologias explicadas, dentre elas, o Hadoop, criaremos um servidor Apache Spark em uma instalação Windows e então prosseguiremos o curso explicando todo o framework e analisando dados. Vale ressaltar que instalaremos o Spark no Windows para os usuários menos experientes. Caso você seja usuário Linux, não se preocupe: Os comandos são os mesmos!

Explicaremos detalhadamente o que são as variáveis de ambiente e como elas influenciam na instalação e configuração de programas, como por exemplo o Java e a sua máquina virtual, a JVM.

Aplicaremos Map Reduce e outras funções nativas do Spark, utilizaremos o Spark SQL, criaremos RDDs e os novos Dataframes! Tudo isso do zero, passo a passo, explicado com  que você já conhece!

Preocupado com os softwares? Você terá um drive com todos os programas e scripts do curso, exlusivo para o nosso material, além de, é claro, também ter os links oficiais, caso deseje baixar os programs direto do fabricante!

E aí? Curtiu a ementa?

Vem comigo aprender a processar Big Data!!

Who this course is for:

  • Qualquer iniciante ou universitário interessado em aprender como funciona o processamento de Big Data
  • Se você já tem experiência em Apache Spark, esse curso NÃO é pra você!