Databricks e Elasticsearch - Analisando dados como nunca
What you'll learn
- Visualização para explorar resultados de consultas de diferentes perspectivas
- Construção de gráficos e Dashboards
- Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
- Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
- Aprendizado processamento distribuído em SPARK
- Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
- Entendo sobre Cluster
- Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
- Executando scripts multilinguagens
- Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
- Construindo na versão comunnity
- Trabalhando com a biblioteca dbutils Python
- Integrando o Databricks ao Power BI
- Elasticsearch sobre o seu mecanismo criado para análise de dados e busca
- Entender como é realizada a combinação de muitos tipos de buscas — estruturadas, não estruturadas
- Compreender Elasticsearch usa APIs RESTful e JSON padrão
- Aprendizado sobre Elasticsearch, Logstash e Kibana
- Elasticsearch banco de dados NoSQL
- Logstash ferramenta para ingestão de dados
- Kibana ferramenta para criação de visualização de dados e Dashboards
- Canvas utilizado para criação de infográficos, documentos e projetos gráficos com os dados
- Compreender sobre como são armazenados os documentos
- Entender a estrutura JSON de armazenamento
- Entender sobre índices, tipos de documentos, documentos e campos
- Entendimento do que são shards, conhecimento sobre partição de índices, conhecimento sobre réplica de shards
- O que é um NÓ
- Como utilizar e o que significa um Request Body
- Como funciona a busca URI
- Trabalhando com as aplicações Discover, Viazualize
Requirements
- É importante que você conheça um pouco de Python, R, Scala, SQL, não haverá treinamento destas linguagens neste curso
- Importante conhecer execução de scripts em Python, R, Scala, SQL
- Profissionais que, de alguma forma, utilizam dados no seu dia a dia
Description
Quando pensamos em projetos que envolvam dados, imaginamos que eles devem ser resolvidos por plataformas que possuam todo o ecossistema para leitura de dados, carga de dados, visualização de dados e controle de scripts em multilingugaens, nao tem como não utilizar o Elasticsearch e o Databricks.
Com o Elasticsearch você pode trabalhar com uma variedade de fontes de dados, incluindo logs, arquivos de dados em texto, e aplicações web. Ele oferece um mecanismo de pesquisa de texto completo distribuído em uma interface web e documentos JSON. Aqui neste curso nós iremos trabalhar com o banco search-engine ElasticSearch , a ferramenta de ingestão de dados conhecida como Logstash e a ferramenta de visualização e construção de painéis chamada Kibana. Você poderá construir dashboards incríveis com um banco de dados ultra rápido.
Já com o Databricks esta é uma poderosa plataforma de colaboração entre os profissionais da área de dados. É um ecossistema fácil de usar para aqueles que desejam executar consultas em diversos conjuntos de dados.
Permite que os analistas e cientistas de dados construam seus scripts nas linguagens Python, SQL, R, Scala, fazendo consulta aos dados. Separados por células em um mesmo notebook.
Com tantos gráficos sendo criados, você pode organizar tudo em dashboards dentro do Databricks.
Então venha aprender a trabalhar com estes gigantes!
Who this course is for:
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
Instructor
- 4.5 Instructor Rating
- 14,119 Reviews
- 63,674 Students
- 217 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 20 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.