Introdução a Engenharia de Dados

O Engenheiro de Dados é o profissional que constrói, mantém e disponibiliza dados em empresas. Com ambientes cada vez mais complexos, este profissional deve conhecer diversas estruturas e tecnologias de dados. No sei dia a dia, o profissional lida com uma diversidade de ferramentas, plataformas e modelos de dados, como Modelos Relacionais, Modelos Dimensionais, NoSQL, Processamento em Batch, Ingestão de Dados, Processamento em Tempo Real, Streaming de Dados

O cenário em relação a dados,  que tínhamos até a pouco tempo relativamente simples. As empresas possuíamos sistemas integrados, alguns sistemas satélites, normalmente todos operando em bancos de dados relacionais. Alguns produziam informações gerenciais diretamente destes bancos de dados, outras tinham armazéns de dados analíticos especializados.

Hoje na era da informação, o cenário no que diz respeito a dados é bem mais complexo. Pra começar a produção de informações: agora tudo o que acontece dentro da empresa de alguma forma produz dados. Além dos já tradicionais sistemas integrados, cada processo dentro da empresa tem algum software especializado. Existem dados sendo produzidos por sensores, por equipamentos na linha de produção, por câmeras de segurança, por fornecedores, por clientes, por redes sociais, por processos de integração com outros sistemas, sejam de parceiros comerciais, sejam de agencia reguladoras ou fiscalizadoras.

Muito além dos banco dados relacionais, hoje existem dados em uma grande diversidade de estruturas e formatos, além de dados sem qualquer estrutura definida. Os sistemas não processam mais apenas transações, mas dados em batch e em streaming

O perfil do profissional que é responsável por esse ecossistema tão diverso, também mudou. Neste contexto que entra o perfil do Engenheiro de Dados.