APACHE KAFKA e Databricks: Streaming e Processamento
What you'll learn
- Visualização para explorar resultados de consultas de diferentes perspectivas
- Construção de gráficos e Dashboards
- Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
- Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
- Aprendizado processamento distribuído em SPARK
- Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
- Entendo sobre Cluster
- Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
- Executando scripts multilinguagens
- Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
- Construindo na versão community
- Trabalhando com a biblioteca dbutils Python
- Integrando o Databricks ao Power BI
Requirements
- É importante que você conheça um pouco de Python, R, Scala, SQL, não haverá treinamento destas linguagens neste curso
- Importante conhecer execução de scripts em Python, R, Scala, SQL
Description
Venha conhece rum dos principais cursos de mercado que trata dois grandes assuntos e que estão sendo muito utilizados nas empresas de todo o mundo, APACHE KAFKA e Databricks, veja como dividiremos este treinamento.
O Databricks é mundialmente conhecido no mercado por sua potencialidade em unificar diversos tipos de dados em uma única plataforma. Com sua interface extremamente simples e colocando aos pés dos analistas, cientista, engenheiros e profissionais de dados em geral, um portfólio digno de resolução de quaisquer problemas que envolva dados.
O que ele possui de tão importante:
Consultas em suas bases com SQL: você poderá construir seus Notebooks com a linguagem mais utilizada no mundo para banco de dados o SQL, podendo realizar consultar e analisar seus dados mais recentes com uma velocidade sem precedentes.
Uso nativo do Apache Spark: Apache Spark é o principal mecanismo de análise unificado para Big Data e aprendizado de máquina que existe no mundo, sendo utilizado pelas grandes corporações. Explorando nas suas execuções o uso de memória e outras otimizações. Anteriormente as empresas utilizavam o Hadoop.
Notebooks colaborativos: é uma plataforma que possui a multilinguagem em seu cerne, você poderá construir Notebooks híbridos, em R, Python, Scala e SQL, podendo explorar rapidamente dados, de acordo com a sua escolha e conhecimento.
Visualização de dados nativo: De forma a integrar análise de dados em resultados por scripts e gráficos poderosos, o Databricks organiza suas visualizações em painéis ricos para compartilhar insights com os seus gestores, em um ambiente integrado.
Integração com suas ferramentas de BI: é possível que suas ferramentas de BI possam conectar diretamente com o Databricks na nuvem, permitindo que você leia os dados contidos no seu Data Lake e contando com a otimização do SPARK a todo momento.
APACHE KAFKA é sistema de mensagens usado para criar aplicações de streaming
Entenderá que o APACHE KAFKA é baseado em logs, algumas vez chamado de write-ahead logs, commit logs ou até mesmo transaction logs
Então venha fazer este super treinamento e esteja pronto para as oportunidades na área de dados.
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
Instructors
- 4.5 Instructor Rating
- 12,908 Reviews
- 59,109 Students
- 202 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 20 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.
- 4.7 Instructor Rating
- 58,171 Reviews
- 237,835 Students
- 72 Courses
Fernando Amaral has been working with data related projects for over 12 years, currently as a full-time Data Engineer for a North American company. He is the author of several books about Data Science. He has dozens of published articles and videos on data science and data careers. As a teacher, he has more than 150,000 students enrolled in his more than 50 courses.