Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Master Querys SQL + Pipelines em Pyspark
Rating: 4.1 out of 5(5 ratings)
113 students

Master Querys SQL + Pipelines em Pyspark

Aprendendo a construir projetos em SQL e com pipelines python dentro do SPARK
Created byJuracy Araujo de Almeida Junior, MSc Grimaldo Lopes | + 65.000 alunos de Oliveira
Last updated 7/2025
Portuguese
Portuguese [Auto],

What you'll learn

  • O que é PYSPARK
  • O que é SPARK
  • Instalando o SPARK em um ambiente Windows, configurando
  • Instalando o ANACONDA
  • Instalando a JDK
  • Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
  • Entendendo o conceito de NÓ, CLUSTER
  • Conhecendo os módulos e pacotes do PYSPARK
  • O que é SparkContext
  • Entendo o que é RDD (Resilient Distributed Dataset)
  • Trabalhando com Spark Dataframe
  • Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
  • Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
  • Aprendendo o que é uma função Lambda
  • Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
  • Monitoramento de jobs com SPARK UI
  • O que é SparkSession
  • Leitura de arquivos externos
  • SPARK SQL
  • Leitura de dados em JSON
  • Consultar dados com SQL em Banco de Dados
  • Restringir e Classificar Dados utilizando a linguagem SQL
  • Inserir Dados com SQL no Banco de Dados
  • Editar Dados com SQL no Banco de Dados
  • Excluir Dados com SQL no Banco de Dados
  • Utilizar a Linguagem SQL no Oracle
  • Aprender o SQL para uso nos bancos de dados padrão ANSI
  • Exploração de Dados

Course content

2 sections • 43 lectures • 8h 54m total length

  • Introdução8:37
  • INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:23
  • Download do Oracle e SQL Developer3:26
  • Link Para Download do Banco Oracle XE e do SQL Developer0:04
  • Instalando Oracle e o SQL Developer23:08
  • Link para Download dos Bancos de Treinamento e Prática0:06
  • Criando o Banco de Treinamento e Prática21:22
  • Objetivos e Ferramentas para Conexão com o Banco de Dados Oracle20:30
  • Conceitos Importantes de Banco de Dados12:20
  • Entendendo o Modelo de Dados do Banco Treinamento e Prática14:17
  • Recuperando Dados - Conhecendo o SELECT15:21
  • Expressões Aritméticas e Valores Null19:28
  • ALIAS ou Apelidos em Consultas10:06
  • Operadores de Concatenação, DISTINCT e DESCRIBE22:49
  • Exercícios Práticos - Recuperando Dados através de SQL0:50
  • Restringindo os dados com comando WHERE15:54
  • Operadores de Comparação 110:00
  • Operadores de Comparação 219:34
  • Operadores para combinar Condições Lógicas e Regras de Precedências22:54
  • Classificando Dados12:09
  • Trabalhando com Variáveis de Substituição16:52
  • Exercícios Práticos - Restringindo e Classificando Dados0:43
  • Entendendo os Comandos DML23:15
  • Inserindo Dados com o INSERT, Editando com UPDATE e Excluindo com DELETE26:33
  • Controle de Transações22:53
  • Exercícios Práticos - Manipulação de Dados0:01
  • Respostas Exercícios SQL2:21
  • Responda nossa pergunta

Requirements

  • Conhecimento em Python
  • Conhecimento básico de SQL

Description

Este treinamento engloba duas grandes linguagens que vem revolucionando a área de dados e trazendo um interesse muito grande pelas empresas, que é a formação de profissionais que dominem tanto SQL quanto PySPARK ( Python+SPARK).

Começamos o curso trabalhando com SQL, para você ter a base, ter o conhecimento principal da construção de consultas em banco de dados, facilitando e muito seu dia a dia.

O Curso SQL na Prática para Oracle - Simples, Fácil e Rápido foi desenvolvido pensando em você que quer apreender os principais comando de Consulta e Manipulação de Dados com a Linguagem SQL. O SQL é simplesmente a linguagem de banco de dados mais solicitada e utilizada no mercado e pelas maiores organizações do mundo quando falamos de manipulação de dados em banco de dados.

Esse conteúdo também foi preparado para você que quer trabalhar como Desenvolvedor de Sistemas, Analista de Banco de dados, Analista SQL, DBA, Business Intelligence e outros afins ligados a Banco de Dados.

Neste treinamento você terá a oportunidade de ver na prática e também de praticar os comandos SQL explicados, visualizando os resultados da obtenção dos dados no banco de dados Oracle.

Depois mergulharemos no Pyspark, trabalhando com uma série de scripts em python dentro do SPARK, algo que a maioria das empresas hoje necessita que seus colaboradores aprendam.

Vamos entender que o PySpark é uma API Python para Apache SPARK que é denominado como o mecanismo de processamento analítico para aplicações de processamento de dados distribuídos em larga escala e aprendizado de máquina, ou seja, para grandes volumes de dados.

O uso da biblioteca Pyspark possui diversas vantagens:

• É um mecanismo de processamento distribuído, na memória, que permite o processamento de dados de forma eficiente e de características distribuída.

• Com o uso do PySpark, é possível o processamento de dados em Hadoop (HDFS), AWS S3 e outros sistemas de arquivos.

• Possui bibliotecas de aprendizado de máquina e gráficos.

• Geralmente as aplicações criadas e executadas no PySpark são 100x mais rápidas que outras em sistemas de dados conhecidos.

Toda a execução dos scripts é realizada dentro do Apache Spark, que distribui o processamento dentro de um ambiente de cluster que são interligados aos NÓS que realizam a execução e transformação dos dados.

Vamos trabalhar com os seguintes módulos do PySpark:

• PySpark RDD

• PySpark DataFrame and SQL

• PySpark Streaming


Então o que você está esperando, venha e comece hoje mesmo.

Who this course is for:

  • Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
  • Profissionais que já trabalham com Python para aprimorar seu conhecimento em SPARK

Report abuse