Big Data - Processamento de dados com Spark e PySpark
What you'll learn
- Definir o que é Big Data
- Definir o que é o Ecossistema Hadoop
- Aplicar Map Reduce
- Instalar e configurar o Apache Spark em ambiente virtualizado
- Entender e configurar variáveis de ambiente
Course content
- Preview09:06
- Preview08:54
- Preview18:56
- 08:26Aplicações de Big Data
- 12:16A História do Hadoop
- 07:40Infraestrutura - Crescimento Vertical e Horizontal
- 08:37Funcionamento do HDFS
- 09:03Hadoop Map Reduce
- 07:04Entenda agora! Resumão do Capítulo
Requirements
- Noções de Virtualização
- Noções de Python
- Lógica de Programação
- Noções de SQL
- Muita vontade de aprender, pois o resto a gente ensina aqui!
Description
Não se assuste mais com as tecnologias de Big Data! Aprenda o essêncial para processar grandes quantidades de dados em memória com o melhor Framework do mercado: O Apache Spark!
Iniciaremos do zero, explicando o que é Big Data e o que é necessário para que um dado seja categorizado como tal. Tudo de forma simples, com uma linguagem leve e agradável!
Após nos situarmos entre as tecnologias explicadas, dentre elas, o Hadoop, criaremos um servidor Apache Spark em uma instalação Windows e então prosseguiremos o curso explicando todo o framework e analisando dados. Vale ressaltar que instalaremos o Spark no Windows para os usuários menos experientes. Caso você seja usuário Linux, não se preocupe: Os comandos são os mesmos!
Explicaremos detalhadamente o que são as variáveis de ambiente e como elas influenciam na instalação e configuração de programas, como por exemplo o Java e a sua máquina virtual, a JVM.
Aplicaremos Map Reduce e outras funções nativas do Spark, utilizaremos o Spark SQL, criaremos RDDs e os novos Dataframes! Tudo isso do zero, passo a passo, explicado com que você já conhece!
Preocupado com os softwares? Você terá um drive com todos os programas e scripts do curso, exlusivo para o nosso material, além de, é claro, também ter os links oficiais, caso deseje baixar os programs direto do fabricante!
E aí? Curtiu a ementa?
Vem comigo aprender a processar Big Data!!
Who this course is for:
- Qualquer iniciante ou universitário interessado em aprender como funciona o processamento de Big Data
- Se você já tem experiência em Apache Spark, esse curso NÃO é pra você!
Instructor
![Felipe Mafra](data:image/svg+xml,%3Csvg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 64 64"%3E%3C/svg%3E){kind=avatar}
- 4.6 Instructor Rating
- 56,771 Reviews
- 162,082 Students
- 19 Courses
Mais de 18 anos de experiência em TI, apaixonado por tecnologia, instrutor por vocação, analista de Business Intelligence e administrador de banco de dados, certificado nas mais diversas plataformas nas áreas de Infraestrutura e Servidores, Banco de Dados, Business Intelligence, Redes e Serviços de TI.
Atuação em multinacionais como Repsol YPF, Intelig Telecom, TIM Celulares e Ceras Johnson. Experiência consultor de BI na IBM, uma das maiores empresas de TI do mundo e atuação como responsável técnico do projeto de BI na área de ETL e Cubos da gigante mundial Duty Free.
Autor do livro Business Intelligence com SQL Server 2012 na prática e mantenedor do site e blog UniDados, com foco em Business Intelligence, cursos, livros e tutoriais.
Atualmente, especializando-se em, na cidade de Kitchener, considerado o Vale do Silício Canadense.
Reconhecido em 2017, 2018 e 2019 com Udemy Instructor Top, aparecendo em entrevistas e reportagens em meios como a revista Exame e o Canal Jovem Nerd.
Conta com mais de 150.000 alunos em mais de 40 países.
Certificações:
MCT - Microsoft Certified Trainer
Microsoft Power BI Certified
MCSA 2000
MCSA 2000 + M -
MCP 2000
MCSA 2003
MCDBA SQL 2008
ITIL V3
Linux LPI I
Oracle OCE
MCTIP 2008