Big Data - Apache Spark com PySpark para Iniciantes.

Name: Big Data - Apache Spark com PySpark para Iniciantes.
Rating: 4.2 (175 reviews)

Aprenda a utilizar o Apache Spark para processar grandes volumes de dados.

Created byTechDrops Academy

Last updated 6/2022

Portuguese

Portuguese [Auto],

What you'll learn

Você terá um conhecimento sólido da estrutura do Apache Spark e será capaz de escrever e otimizar aplicativos PySpark.
Aprenda os principais conceitos, como RDDs, DataFrames, transformações e muito mais
Compreenda a arquitetura do Spark e o fluxo de execução de um aplicativo Spark

Course content

4 sections • 43 lectures • 5h 41m total length

Introdução9:20
Nesta aula, irei da uma introdução sobre o Apache Spark e explico como funciona a distribuição de tarefas em um cluster
Repositório com os fontes0:03
Fontes com o conteúdo utilizado nas aulas
Ecossistema do Apache Spark7:47
Nesta aula, iremos falar um pouco sobre o ecossistema do Apache Spark
Baixando os binários e configurando no Windows10:45
Nesta aula, iremos fazer os download dos arquivos binários no site do Apache Spark
Configuração dos binários no linux19:47
Nesta aula, iremos utilizar o docker para mostrar a configuração do Apache Spark em um ambiente Linux
Lista de download0:20
Aqui estou listando o que você precisará baixar para configurar sua máquina, caso tenha dificuldades de acompanhar no vídeo.
Acessando Spark Shell, Spark UI conhecendo transformações e ações.20:51
Nesta aula, iremos conhecer a Spark UI e também os conceitos de transformação e ação
Baixando o PyCharm e Instalando o Pyspark com o PIP7:34
Nesta aula, iremos fazer o download do PyCharm e aprender uma forma rápida de utilizar o PySpark
Criação de conta no Databricks Community3:21
Nesta aula, iremos fazer o cadastro no Databricks Community

DataFrame - Lendo arquivo csv8:48
Nesta aula, iremos fazer a leitura de um arquivo csv.
DataFrame - Select e Filter18:26
Nesta aula, iremos aprender a utilizar as funções de select e filter em um DataFrame
DataFrame - WithColumn e Cast7:21
Nesta aula, iremos aprender a criar uma nova coluna e aplicar cast de tipos
DataFrame - When e OtherWise12:51
Nesta aula, iremos aprender a fazer verificação de valores em um DataFrame
DataFrame - StructType4:56
Nesta aula, iremos aprender a criar esquemas.
DataFrame - header7:40
Nesta aula, iremos aprender várias formas de trabalhar com cabeçalho em um DataFrame
DataFrame - Métodos de execução Programas Spark5:13
Nesta Aula, iremos conhecer os tipos de execução de um aplicativo Spark
Conteúdo utilizado na aula anterior1:05
Conteúdo para consulta
DataFrame - Importando os arquivos para o Databricks10:17
Nesta aula, iremos importar o nosso código para o Databricks
DataFrame - Particionamento de Dados28:18
Nesta aula, iremos aprender conceitos de particionamentos de dados e aplicar na prática
DataFrame - Agrupamentos14:28
Nesta aula, iremos aprender agrupamentos na prática.
DataFrame - Agregação3:52
Nesta aula, iremos conhecer as funções de agregação
DataFrame - Join8:12
Nesta aula, iremos conhecer todos os tipos de agrupamentos
DataFrame - Window Function10:45
Nesta aula, iremos aprender a utilidade das funções de janela
DataFrame - Dados complexos10:37
Nesta aula, iremos aprender a trabalhar com dados complexos
DataFrame - Udf e Udf Vetorizada, leitura e escrita de arquivos json e parquet27:22
Conteúdo para utilizar como consulta da aula anterior.

Spark SQL - select, where ,show tables e input_file_name13:34
Nesta aula, iremos aprender utilizar instruções básicas no Spark SQL
Spark SQL - like, distinct e in8:07
Nesta aula, iremos aprender a filtrar dados e remover valores repetidos
Spark SQL - COUNT, GROUP BY, HAVING, ORDER BY E TEMPORARY VIEW6:40
Nesta aula, vamos aprender agrupamentos com Spark SQL
Spark SQL - SHOW TABLES, DROP TABLES e CREATE TABLE4:04
Nesta aula, iremos aprender alguns comandos utilitários
Spark SQL - JOIN4:42
Nesta aula, iremos aprender a utilizar Join's com Spark SQL
Spark SQL - CASE WHEN6:03
Nesta aula, iremos aprender a utilizar CASE e WHEN no Spark SQL
Spark SQL - Agregacao SUM, MIN, MAX e AVG4:10
Nesta aula, vamos conhecer algumas funções básicas de agregação no Spark SQL
Spark SQL - Window Function4:39
Nesta aula, vamos aprender a utilizar as Window Functions no Spark SQL

RDD - map()2:52
Nesta aula, vamos aprender a trabalhar com o map()
RDD - flatMap()3:15
Nesta aula, vamos aprender a trabalhar com o flatMap()
RDD - filter()5:44
Nesta aula, vamos aprender a filtrar dados no nosso RDD
RDD - union()2:01
Nesta aula, vamos aprender a unir dois RDD's
RDD - mapPartitions()2:35
Nesta aula, vamos aprender a trabalhar com a função mapPartitions()
RDD - distinct()1:32
Nesta aula, vamos aprender a remover valores duplicados
RDD - sortBy() e sortByKey()3:55
RDD - intersection() e subtract()3:39
Nesta aula, vamos aprender a trabalhar com duas funções intersection() e subtract()
RDD - collect(), count(), take(), top(), takeOrdered(), first() e reduce()3:31
Nesta aula, vamos aprender a trabalhar com collect(), count(), take(), top(), takeOrdered(), first() e reduce()
Finalização do Módulo e Curso0:41
Aula de finalização de módulo e curso.

Requirements

Saber o Básico de Python

Description

Apache Spark é uma estrutura flexível que permite o processamento de dados em batch e em stremming.

Seu mecanismo unificado o tornou bastante popular para casos de uso de big data. Este curso o ajudará a começar a usar o Apache Spark 3.0 e a escrever aplicativos de big data para uma variedade de casos de uso. Aqui vamos ensinar como configurar o Spark em sua máquina local. À medida que avançamos, você será apresentado a conjuntos de dados distribuídos resilientes (RDDs) e APIs de DataFrame e suas transformações e açõe. Em seguida, passamos para o ciclo de vida de um aplicativo Spark . Você também conhecerá os módulos integrados do Spark para SQL e execução de notebooks no Databricks.

Ao final deste curso, você terá um conhecimento fundamental sólido da estrutura do Apache Spark e será capaz de escrever e otimizar aplicativos Spark.

- Aprenda os principais conceitos, como RDDs, DataFrames, transformações e muito mais

- Configure um ambiente de desenvolvimento Spark

- Escolha as APIs certas para seus aplicativos

- Compreenda a arquitetura do Spark e o fluxo de execução de um aplicativo Spark

- Aprenda a executar seus aplicativos no Databricks Community

- Entenda como utilizar o Spark SQL

- Aplique na prática as Window Functions

Who this course is for:

Engenheiros de Dados
Cientistas de Dados
Analistas de Dados
Desenvolvedores no geral que estão querendo fazer a transição para área de dados
Estudantes

Big Data - Apache Spark com PySpark para Iniciantes.

What you'll learn

Explore related topics

Course content

Introdução9 lectures • 1hr 20min

Spark DataFrame API16 lectures • 3hr

Spark SQL8 lectures • 52min

Spark RDD (Low Level API)10 lectures • 30min

Requirements

Description

Who this course is for: