O essencial sobre Apache Airflow

O Airflow é um software criado pelo Airbnb e escrito em Python. Se tornou um software de código aberto em 2015 e logo depois foi cedida para a Apache Foundation.

Seu objetivo é orquestrar pipelines de tarefas agendadas por meio de arquivos python com instruções de sequenciamento definidas, chamados DAGs.

Para seu funcionamento, o Airflow conta com alguns elementos chave que permitem a existência da sinergia necessária entre tarefas, eventos, estados e filas, todos funcionando de maneira sincronizada e de acordo com configurações definidas pelo usuário. No software, temos uma estrutura composta basicamente das seguintes ferramentas:

- Airflow.cfg

- Web Server

- Scheduler

- Metadata

- Executors

Na aula de Introdução ao Software, as funcionalidades das ferramentas serão mais detalhadas.

Com a integração de todos esses componentes, o usuário é capaz então de escrever e programar a execução de diferentes conjuntos de tarefas acíclicas com uma imensa variedade de possibilidades para a execução de cada tarefa, que vão desde interpretadores Python, containers Docker e até mesmo comandos bash.

O curso é voltado para o tipo de pessoa que nunca teve o contato com o software Apache Airflow ou qualquer outro software baseado em DAGs.

Este curso foi feito como parte de um projeto em Iniciação científica da Universidade Federal do Vale do São Francisco.