Big Data - Entendendo

A história até o conceito de Big Data, da criação da contabilidade, estatística, internet....

Ferramentas que contribuiram trabalhar com grande volume de dados:

Hadoop: O Apache Hadoop é uma das ferramentas mais populares para processamento de Big Data. Ele fornece um ambiente distribuído para armazenar e processar grandes volumes de dados. O Hadoop é composto por dois componentes principais: Hadoop Distributed File System (HDFS), que permite armazenar os dados de forma distribuída em clusters, e o MapReduce, que permite processar e analisar os dados em paralelo.

Spark: O Apache Spark é uma estrutura de processamento de dados em memória que permite a execução de análises avançadas em grande escala. Ele oferece suporte a várias linguagens de programação e fornece bibliotecas extensas para processamento de dados, aprendizado de máquina, análise de gráficos e processamento de fluxo de dados em tempo real.

NoSQL: Os bancos de dados NoSQL são projetados para lidar com grandes volumes de dados não estruturados e sem uma estrutura de tabela fixa. Esses bancos de dados fornecem alta escalabilidade e flexibilidade, permitindo armazenar e processar dados de diferentes formatos, como documentos, gráficos, colunas largas e pares chave-valor. Exemplos populares de bancos de dados NoSQL incluem o MongoDB, Cassandra e HBase.

Ferramentas de processamento em streaming: Com o aumento da geração de dados em tempo real, ferramentas de processamento em streaming, como o Apache Kafka e o Apache Flink, tornaram-se essenciais no ecossistema do Big Data. Elas permitem o processamento contínuo e em tempo real dos dados à medida que são gerados, permitindo análises e tomadas de decisão em tempo hábil.

Computação distribuída: A capacidade de dividir o processamento de dados em várias máquinas em um cluster distribuído permitiu a execução paralela de tarefas complexas. Isso acelerou significativamente o processamento de grandes volumes de dados.

Escalabilidade horizontal: A capacidade de adicionar mais servidores ao cluster para lidar com a crescente quantidade de dados foi um avanço importante. Com a escalabilidade horizontal, é possível aumentar a capacidade de armazenamento e processamento de dados conforme necessário.

Memória RAM: A disponibilidade de grandes quantidades de memória RAM acessível tornou possível manter grandes conjuntos de dados na memória para processamento em tempo real. Isso acelerou significativamente a velocidade de análise e consulta dos dados.

Algoritmos distribuídos: O desenvolvimento de algoritmos e técnicas otimizadas para operações distribuídas permitiu que as tarefas de processamento e análise de dados fossem executadas de forma eficiente em um ambiente distribuído. Em conjunto, essas tecnologias e ferramentas permitiram o processamento eficiente de grandes volumes de dados, viabilizando o campo do Big Data e impulsionando avanços significativos em várias áreas.

Timeline de evolução tecnológica començando pelo Google File System(GFS) em 2004 até 2015 com o Spark Beam.

Ecosistema Hadoop e Spark, explicando o processamento paralelo e distribuido, em disco e memoria, suas diferenças no processamento streaming e batch, explicando o processamento com MapReduce e RDDs.

Ecosistema Hadoop:

YARN: Hadoop YARN ( Y et A nother R esource Ngotiator ) é um componente do ecossistema Hadoop que fornece o gerenciamento de recursos. O fio também é um dos componentes mais importantes do ecossistema Hadoop. O YARN é chamado de sistema operacional do Hadoop, pois é responsável por gerenciar e monitorar as cargas de trabalho. Ele permite vários mecanismos de processamento de dados, como streaming em tempo real e processamento em lote, para lidar com dados armazenados em uma única plataforma.

HIVE: O componente do ecossistema Hadoop, Apache Hive, é um sistema de data warehouse de software livre para consultar e analisar grandes conjuntos de dados armazenados em arquivos Hadoop.

O Hive executa três funções principais: resumo de dados, consulta e análise .

O Hive usa uma linguagem chamada HiveQL (HQL), que é semelhante ao SQL. O HiveQL traduz automaticamente consultas semelhantes a SQL em tarefas MapReduce que serão executadas no Hadoop.

PIG: O Apache Pig é uma plataforma de linguagem de alto nível para analisar e consultar um grande conjunto de dados armazenado no HDFS. O Pig como um componente do Ecossistema Hadoop usa a linguagem PigLatin . É muito semelhante ao SQL. Ele carrega os dados, aplica os filtros necessários e despeja os dados no formato necessário. Para a execução dos Programas, o pig requer o Java Runtime Environment.

HBASE: Apache HBase é um componente do ecossistema Hadoop que é um banco de dados distribuído que foi projetado para armazenar dados estruturados em tabelas que podem ter bilhões de linhas e milhões de colunas. O HBase é um banco de dados NoSQL escalável, distribuído e construído sobre o HDFS. HBase, fornece acesso em tempo real para ler ou gravar dados no HDFS.

HCATALOG: É uma camada de gerenciamento de tabela e armazenamento para o Hadoop. O HCatalog oferece suporte a diferentes componentes disponíveis nos ecossistemas Hadoop, como MapReduce, Hive e Pig, para ler e gravar dados facilmente do cluster. O HCatalog é um componente chave do Hive que permite ao usuário armazenar seus dados em qualquer formato e estrutura. Por padrão, o HCatalog oferece suporte aos formatos de arquivo RCFile, CSV, JSON, sequenceFile e ORC.

AVRO: Acro faz parte do ecossistema Hadoop e é um sistema de serialização de dados mais popular. Avro é um projeto de código aberto que fornece serialização de dados e serviços de troca de dados para Hadoop. Estes serviços podem ser utilizados em conjunto ou de forma independente. Big data pode trocar programas escritos em diferentes idiomas usando o Avro. O uso de programas de serviço de serialização pode serializar dados em arquivos ou mensagens. Ele armazena a definição de dados e os dados juntos em uma mensagem ou arquivo, tornando mais fácil para os programas entenderem dinamicamente as informações armazenadas no arquivo ou mensagem Avro.

MAHOUT: Mahout é uma estrutura de código aberto para criar um algoritmo de aprendizado de máquina escalável e uma biblioteca de mineração de dados. Depois que os dados são armazenados no Hadoop HDFS, o mahout fornece as ferramentas de ciência de dados para encontrar automaticamente padrões significativos nesses conjuntos de big data.

FLUME: O Flume coleta, agrega e move com eficiência uma grande quantidade de dados de sua origem e os envia de volta ao HDFS. É um mecanismo tolerante a falhas e confiável. Este componente do Ecossistema Hadoop permite o fluxo de dados da fonte para o ambiente Hadoop. Ele usa um modelo de dados extensível simples que permite o aplicativo analítico online. Usando o Flume, podemos obter os dados de vários servidores imediatamente no hadoop.

AMBARI: Ambari, outro componente do ecossistema Hadop, é uma plataforma de gerenciamento para provisionamento, gerenciamento, monitoramento e proteção do cluster Apache Hadoop. O gerenciamento do Hadoop fica mais simples, pois o Ambari oferece uma plataforma consistente e segura para controle operacional.

ZOOKEEPER: O Apache Zookeeper é um serviço centralizado e um componente do Ecossistema Hadoop para manutenção de informações de configuração, nomenclatura, fornecimento de sincronização distribuída e fornecimento de serviços de grupo. O Zookeeper gerencia e coordena um grande cluster de máquinas.

Ecosistema Spark:

Core Apache Spark .

Spark Streaming .

Spark SQL .

Biblioteca de aprendizado de máquina (MLlib) .

GraphX .

MRJob e PySpark são bibliotecas Python que permitem aos desenvolvedores processar dados em grande escala em um ambiente de computação distribuído.

MRJob: MRJob é uma biblioteca Python que permite escrever trabalhos MapReduce e executá-los em várias estruturas de processamento, incluindo Apache Hadoop, Amazon EMR e outros. MRJob simplifica o processo de escrever tarefas MapReduce, fornecendo uma abstração de alto nível. Ele permite que você defina seu mapa e reduza as funções em Python, e o MRJob cuida dos detalhes subjacentes da execução do trabalho, como serialização de dados, distribuição de tarefas e coordenação de trabalhos. Com o MRJob, você pode executar tarefas de processamento de dados como contagem, filtragem, agregação e transformação de dados usando o paradigma MapReduce. O MRJob também oferece suporte ao encadeamento de várias etapas do MapReduce, permitindo que você crie pipelines de processamento de dados complexos.

PySpark: PySpark é a biblioteca Python para Apache Spark, uma estrutura de computação distribuída rápida e de uso geral. Spark fornece uma interface para clusters de programação com paralelismo de dados implícito e tolerância a falhas. O PySpark permite que você escreva aplicativos Spark em Python, fornecendo uma API de alto nível para processamento de dados distribuídos. Com o PySpark, você pode executar uma ampla variedade de tarefas de processamento de dados em grandes conjuntos de dados. Ele oferece várias operações de transformação de dados, como mapeamento, filtragem, agregação, junção e classificação de dados. O PySpark também fornece bibliotecas de aprendizado de máquina e processamento de gráficos, tornando-o adequado para análises avançadas e tarefas de ciência de dados. Além disso, o PySpark integra-se bem com bibliotecas Python populares, permitindo que você aproveite o rico ecossistema Python em seus aplicativos Spark.

Em resumo, o MRJob permite que você escreva trabalhos MapReduce em Python e os execute em estruturas de processamento distribuído, enquanto o PySpark fornece uma API Python para processamento de dados distribuídos, aprendizado de máquina e análises usando o Apache Spark. Ambas as bibliotecas capacitam os desenvolvedores Python a processar e analisar big data com eficiência em ambientes de computação distribuídos.

Bancos de dados NoSQL são sistemas de gerenciamento de banco de dados que diferem dos bancos de dados relacionais tradicionais, também conhecidos como bancos de dados SQL. NoSQL significa "Not Only SQL" (Não Apenas SQL), o que indica que esses bancos de dados não se baseiam exclusivamente na linguagem SQL para manipulação de dados.

Os bancos de dados NoSQL foram desenvolvidos para lidar com requisitos específicos, como escalabilidade horizontal, alta disponibilidade e flexibilidade no modelo de dados. Eles são adequados para cenários em que os dados são variados, não estruturados ou semiestruturados, e quando é necessário processar grandes volumes de dados.

Existem vários tipos de bancos de dados NoSQL, cada um projetado para atender a necessidades diferentes.

Aqui estão alguns dos tipos mais comuns:

Banco de Dados de Documentos: Os bancos de dados de documentos armazenam dados em documentos semiestruturados, como JSON ou XML. Cada documento pode ter uma estrutura diferente e é identificado por uma chave única. Exemplos populares incluem MongoDB e CouchDB.

Banco de Dados de Chave-Valor: Esses bancos de dados armazenam pares de chave-valor, onde cada valor é associado a uma chave única. Eles são simples e eficientes, adequados para cache, sessões de usuários e armazenamento em cache distribuído. Exemplos incluem Redis e Riak.

Banco de Dados de Colunas Amplas: Esses bancos de dados organizam os dados em colunas, em vez de linhas como em bancos de dados relacionais. Eles são adequados para casos em que é necessário recuperar apenas um subconjunto das colunas em uma tabela. Exemplos incluem Cassandra e HBase.

Banco de Dados de Grafos: Esses bancos de dados são otimizados para representar e armazenar dados de grafos, que consistem em nós e arestas. Eles são adequados para consultas complexas de relacionamentos e redes. Exemplos populares incluem Neo4j e Amazon Neptune.

Esses são apenas alguns exemplos dos tipos de bancos de dados NoSQL disponíveis. Cada tipo tem suas características e casos de uso específicos, e a escolha depende das necessidades e requisitos do projeto.