PYSPARK: Utilizando SPARK e Python para analisar dados

Name: PYSPARK: Utilizando SPARK e Python para analisar dados
Rating: 4.5 (158 reviews)

Trabalhando com SPARK e Python para resolver todos os seus problemas com dados

Created byMSc Grimaldo Lopes | + 65.000 alunos de Oliveira

Last updated 3/2026

Portuguese

Portuguese [Auto],

What you'll learn

O que é PYSPARK
O que é SPARK
Instalando o SPARK em um ambiente Windows, configurando
Instalando o ANACONDA
Instalando a JDK
Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
Entendendo o conceito de NÓ, CLUSTER
Conhecendo os módulos e pacotes do PYSPARK
O que é SparkContext
Entendo o que é RDD (Resilient Distributed Dataset)
Trabalhando com Spark Dataframe
Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
Aprendendo o que é uma função Lambda
Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
Monitoramento de jobs com SPARK UI
O que é SparkSession
Leitura de arquivos externos
SPARK SQL
Leitura de dados em JSON

Course content

1 section • 17 lectures • 3h 9m total length

Introdução e entendimento PYSPARK e SPARK12:36
INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
Baixa dos softwares: Apache SPARK, Anaconda e Java(JDK)8:25
Instalação dos softwares: Apache SPARK, Anaconda e Java(JDK)8:51
Configurando as variáveis de ambiente no Windows10:19
Executando os softwares: Apache SPARK e PYSPARK9:47
O que é SparkContext e RDD (Resilient Distributed Datasets)14:58
SCRIPT1: Trabalhando com RDD - Parte0117:58
SCRIPT2: Trabalhando com RDD - Text Miner - Parte0220:15
Monitorando os jobs - SPARK UI7:46
SCRIPT3: Trabalhando com RDD - JOIN, LEFTOUTERJOIN, RIGHTOUTERJOIN - Parte0313:59
SCRIPT4: Trabalhando com Dataframe - Parte0115:09
SCRIPT5: Trabalhando com Dataframe - Parte0211:44
SCRIPT6: Trabalhando com SPARK SQL13:08
SCRIPT7: Trabalhando com arquivos JSON e SPARK SQL9:29
SCRIPT8: Trabalhando com arquivos SPARK Streaming12:16
Aula Final - Entrega de atividade2:18
Vamos responder ao nosso Quiz

Requirements

Conhecimento em Python
Conhecimento básico de SQL

Description

Seja muito bem-vindo(a) ao nosso treinamento, ele foi pensado para quem deseja trabalhar com um ferramental extremamente moderno e atual que é utilizado em todas as empresas do mundo, que mescla infraestrutura e software em prol da análise de dados.

Vamos entender que o PySpark é uma API Python para Apache SPARK que é denominado como o mecanismo de processamento analítico para aplicações de processamento de dados distribuídos em larga escala e aprendizado de máquina, ou seja, para grandes volumes de dados.

O uso da biblioteca Pyspark possui diversas vantagens:

• É um mecanismo de processamento distribuído, na memória, que permite o processamento de dados de forma eficiente e de características distribuída.

• Com o uso do PySpark, é possível o processamento de dados em Hadoop (HDFS), AWS S3 e outros sistemas de arquivos.

• Possui bibliotecas de aprendizado de máquina e gráficos.

• Geralmente as aplicações criadas e executadas no PySpark são 100x mais rápidas que outras em sistemas de dados conhecidos.

Toda a execução dos scripts é realizada dentro do Apache Spark, que distribui o processamento dentro de um ambiente de cluster que são interligados aos NÓS que realizam a execução e transformação dos dados.

Vamos trabalhar com os seguintes módulos do PySpark:

• PySpark RDD

• PySpark DataFrame and SQL

• PySpark Streaming

Venha conhecer esta tecnologia que está com uma grande demanda em todas as organizações no mundo.

Who this course is for:

Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
Profissionais que já trabalham com Python para aprimorar seu conhecimento em SPARK