Alteryx TRIFACTA e Databricks: pipelines-preparação de dados
What you'll learn
- Preparação de dados aberta que pode se conectar a diversas fontes de dados
- Integração em todas as principais plataformas de dados em nuvem
- Decida entre ETL ou ELT, ou uma combinação ideal dos dois com base no desempenho
- Suporte para todas as principais nuvens, Google, AWS, Azure e on-premise
- Interface intuitiva e simples utilização de objetos de dados
- Perfilização de dados, ajudando na identificação de outliers
- Tratamento de dados, criação de novos campos, dentre outras tarefas
- Eliminação de dados nulos, inconsistências, criação de novos campos
- Exploração e avaliação de conteúdo e de qualidade de qualquer conjunto de dados
- Engenharia de dados com low-code, visual, direto na nuvem
- Construção, implantação e automatização de pipelines de dados
- Criação de flow de dados, que permite ao analista encadear suas ações de tratamento
- Action com os dados: Columns, Rename, Sort, Calculate, Group By, Filter Rows, Replace
- Action com os dados: Split, Create formula, dentre outros
- Exportação dos resultados automatizados
- Visualização para explorar resultados de consultas de diferentes perspectivas
- Construção de gráficos e Dashboards
- Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
- Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
- Aprendizado processamento distribuído em SPARK
- Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
- Entendo sobre Cluster
- Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
- Executando scripts multilinguagens
- Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
- Construindo na versão community
- Trabalhando com a biblioteca dbutils Python
- Integrando o Databricks ao Power BI
Requirements
- Necessário entendimento básico sobre banco de dados
- É importante que você conheça um pouco de Python, R, Scala, SQL, não haverá treinamento destas linguagens neste curso
- Importante conhecer execução de scripts em Python, R, Scala, SQL
Description
Vamos iniciar um treinamento com duas das principais plataformas de mercado, ambas trabalham com dados para qualificar, governar e gerar saída em linguagens como R, SCALA, Python e SQL, estamos falando do Databricks e do Alteryx TRIFACTA.
O Databricks é mundialmente conhecido no mercado por sua potencialidade em unificar diversos tipos de dados em uma única plataforma. Com sua interface extremamente simples e colocando aos pés dos analistas, cientista, engenheiros e profissionais de dados em geral, um portfólio digno de resolução de quaisquer problemas que envolva dados.
O que ele possui de tão importante:
Consultas em suas bases com SQL: você poderá construir seus Notebooks com a linguagem mais utilizada no mundo para banco de dados o SQL, podendo realizar consultar e analisar seus dados mais recentes com uma velocidade sem precedentes.
Uso nativo do Apache Spark: Apache Spark é o principal mecanismo de análise unificado para Big Data e aprendizado de máquina que existe no mundo, sendo utilizado pelas grandes corporações. Explorando nas suas execuções o uso de memória e outras otimizações. Anteriormente as empresas utilizavam o Hadoop.
Notebooks colaborativos: é uma plataforma que possui a multilinguagem em seu cerne, você poderá construir Notebooks híbridos, em R, Python, Scala e SQL, podendo explorar rapidamente dados, de acordo com a sua escolha e conhecimento.
Visualização de dados nativo: De forma a integrar análise de dados em resultados por scripts e gráficos poderosos, o Databricks organiza suas visualizações em painéis ricos para compartilhar insights com os seus gestores, em um ambiente integrado.
Integração com suas ferramentas de BI: é possível que suas ferramentas de BI possam conectar diretamente com o Databricks na nuvem, permitindo que você leia os dados contidos no seu Data Lake e contando com a otimização do SPARK a todo momento.
Já o ALteryx TRIFACTA é conhecido como um dos mais práticos e principais da área de preparação de dados. O Alteryx TRIFACTA, é uma ferramenta 100% na nuvem, low-code, totalmente prática e com grande destaque no mercado. Ela é uma plataforma em nuvem aberta e interativa, que permite a capacitação de engenheiros de dados e analistas a interpretar, preparar e criar pipelines de dados para acelerar suas análises.
A sua principal tarefa é ler uma base de dados, identificar os principais pontos de ajustes nos dados, permitir que sejam construídas transformações nos dados e executar um pipeline de dados (fluxo de dados) gerando as informações ajustadas em qualquer fonte de dados, tudo 100% visual.
Com isso, você comandará a governança de dados nos seus dados, pois identificará outliers, inconsistências, ausências de informações, identificações de padrões, dentre outras tarefas.
As principais características do Alteryx TRIFACTA são:
Explore e avalie o conteúdo e a qualidade de qualquer conjunto de dados.
Acelere e acompanhe transformações de dados de forma visual.
Construa, implante e automatize pipelines de dados.
Utilize os fluxos de dados para definir TODAS as suas necessidades em tratamento de dados e governança de dados
Neste curso você conhecerá todo este ecossistema e poderá usufruir de tudo para análise e gerenciamento dos seus dados.
Portanto venha conosco!
Who this course is for:
- Profissionais de TI
- Profissionais que querem trabalham na área de Engenharia de dados, Análise de dados, Ciência de Dados, Business Intelligence
- Qualquer profissional que deseja tratar dados e pretenda entender sobre qualidade dos dados
Instructor
- 4.5 Instructor Rating
- 12,871 Reviews
- 58,982 Students
- 202 Courses
Quem sou
Fui escolhido como um dos 50 profissionais mais influentes em dados no ano de 2023 pela Gama Academy, uma organização que estabelece um Rank dos profissionais com mais destaque na área de Dados/BI.
Por que estudar na área de dados comigo?
Sou profissional da área com diversos projetos desenvolvidos, tanto na área privada como na área pública, tenho um skill muito forte em atender meus alunos com alguma dúvida no máximo em 24 horas. Procuro alinhar conhecimento teórico e prático.
O que trago em meus cursos?
Acho que a área de dados é bem rica e vasta, mas ter um direcionamento do que deve ser estudado com cursos passo a passo é o que busco nas minhas aulas, fiz um mestrado na área de educação para criar aulas sob medida aos meus alunos. Estou diariamente aprimorando e trazendo novidades na área, afinal criar + de 150 cursos envolve dedicação e foco.
O que faço hoje
Sou professor das pós-graduações das universidades UNIFACS, CATÓLICA DO SALVADOR e ISL Wyden. Mestre pela Universidade do Estado da Bahia (UNEB) no Curso de Mestrado Profissional Gestão e Tecnologias Aplicadas à Educação (GESTEC). Possui Especialização em Análise de Sistemas pela Faculdade Visconde de Cairu e Bacharelado em Estatística pela Universidade Federal da Bahia. Atua profissionalmente como consultor há mais de 20 anos nas áreas de Data Warehouse, Mineração de Dados, Ferramentas de Tomada de Decisão e Estatística. Atualmente sou editor do blog BI com Vatapá. Autor do Livro: BI COMO DEVE SER - professor EAD de diversos cursos de BI na Aprenda Virtual. Idealizador do BI PRO - O maior e mais completo conteúdo sobre BI da internet.