Udemy
    •  
    •  
    •  
    •  
    •  
    •  
    •  
    •  
Subscribe
Turn what you know into an opportunity and reach millions around the world.
Learn More
Your cart is empty.
Keep shopping
Databricks e PySpark: analisando dados
Highest Rated
Rating: 4.5 out of 5(530 ratings)
2,377 students

Databricks e PySpark: analisando dados

Saiba trabalhar em alto nível na área de dados
Highest Rated
Created byMSc Grimaldo Lopes | + 65.000 alunos de Oliveira
Last updated 5/2026
Portuguese
Portuguese [Auto],

What you'll learn

  • Visualização para explorar resultados de consultas de diferentes perspectivas
  • Construção de gráficos e Dashboards
  • Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
  • Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
  • Aprendizado processamento distribuído em SPARK
  • Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
  • Entendo sobre Cluster
  • Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
  • Executando scripts multilinguagens
  • Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
  • Construindo na versão community
  • Trabalhando com a biblioteca dbutils Python
  • Integrando o Databricks ao Power BI
  • O que é PYSPARK
  • O que é SPARK
  • Instalando o SPARK em um ambiente Windows, configurando
  • Instalando o ANACONDA
  • Instalando a JDK
  • Entendendo o ecossistema : Apache Spark + Anaconda + JAVA
  • Entendendo o conceito de NÓ, CLUSTER
  • Conhecendo os módulos e pacotes do PYSPARK
  • O que é SparkContext
  • Entendo o que é RDD (Resilient Distributed Dataset)
  • Trabalhando com Spark Dataframe
  • Compreendendo as diferenças entre transformações e ações, operações com PYSPARK
  • Operações: collect, count, parallelize, getNumPartitions, textFile, first, filter, cache, Show, take
  • Aprendendo o que é uma função Lambda
  • Operações: flatMap, map, reduceByKey, sortBY, join, leftOuterjoin, rightOuterjoin, select, groupBy, orderBy
  • Monitoramento de jobs com SPARK UI
  • O que é SparkSession
  • Leitura de arquivos externos
  • SPARK SQL
  • Leitura de dados em JSON

Course content

2 sections • 37 lectures • 6h 12m total length

  • Entendendo o Databricks, documentação e funções9:42
  • Passo a passo - criação de conta Databricks Community Edition0:12
  • INFORMAÇÕES IMPORTANTES - Leia antes de começar o curso0:22
  • Detalhando o funcionamento SPARK, CLUSTER12:16
  • Sobre a criação da conta no Databricks0:14
  • Como criar sua conta Databricks na Databricks Community3:13
  • Criando e entendo o funcionamento do CLUSTER9:14
  • Carregando os primeiros dados no DBFS9:15
  • Alternativa sobre BUG - Carga dados vinhos no mundo11:39
  • Criando Notebook, carregando dados e entendo Workspace11:09
  • Entendendo todas as funcionalidades do ambiente do Notebook8:35
  • Trabalhando no Notebook com Python, Scala e SQL9:04
  • Unificando resultados e gráficos dentro do Databricks11:48
  • Trabalhando com arquivos JSON, unificando e gerando saídas em SQL14:26
  • Entendo arquivos Parquet, gerando e unificando arquivos Parquet, formatando SQL12:22
  • Particionando arquivos Parquet dentro do Databricks7:07
  • Construindo arquivos Parquet a partir de estrutura de arquivos CSV13:40
  • Comandos internos Databricks19:05
  • Construção de gráficos e dashboards9:52
  • Integrando Databricks e Power BI - Ferramenta de visualização e dados8:17
  • Vamos fazer um Quiz?
  • Vamos ver se você aprendeu sobre Databricks
  • Entrega de exercício - aula final2:14

Requirements

  • É importante que você conheça um pouco de Python, R, Scala, SQL, não haverá treinamento destas linguagens neste curso
  • Importante conhecer execução de scripts em Python, R, Scala, SQL

Description

Trazemos para você o que há de mais completo e atual no uso de ferramentas da área de dados nas grandes corporações pelo mundo, o uso do Databricks e do PySpark.

O Databricks é um ecossistema completo que reúne as principais linguagens da era Data Science em um mesmo notebook, isso mesmo, um dos poucos produtos que possui multilinguagem em um mesmo notebook. Você vai trabalhar com Linguagem R, Python, Scala e ainda utilizando comandos em SQL, umas das linguagens de manipulação de dados mais utilizadas no mundo. Além disso, você produzirá gráficos no ambiente do Databricks, que já vem preparado para isso, tudo junto.

Depois mergulharemos com tudo no uso do PySpark. Para quem não conhece, é o uso do PYTHON na estrutura de processamento SPARK, que vem revolucionando o mercado pela sua rapidez na execução de suas rotinas de trabalho. Com PySpark vamos aprender conceitos diferentes,  trabalhar dados estruturados, semi-estruturados e não-estruturados, você terá vários scripts para executar durante o seu aprendizado.

Databricks e Pyspark são destaque na era BIg Data, pois utilizam os conceitos de processamento distribuído e podem ser acessados e utilizados na nuvem, que já é muito comum nas empresas.

Você vai contar com apostila, exercícios resolvidos e desafios para correção, não é o máximo?

Então venha e una-se ao nosso grupo.


Who this course is for:

  • Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados

Report abuse