Domine Apache Airflow: Pipelines de Engenharia de Dados
Aprenda com aulas práticas uma das principais ferramentas da engenharia de dados moderna!
Description
Bem vindo ao nosso moderno curso de Airflow, desenvolvido e lançado em 2023!
O Airflow é uma plataforma que permite o gerenciamento, a programação e a monitoração de fluxos de trabalho de processamento de dados (pipelines), usado por empresas como Netflix, Airbnb, Paypal, Twitter e outras.
Através de uma abordagem baseada em Directed Acyclic Graphs (DAGs), o Airflow facilita a definição de tarefas e suas dependências, permitindo a execução paralela e sequencial das etapas do processo.
O Airflow pode ser utilizado para automatizar e orquestrar uma ampla gama de fluxos de trabalho de processamento de dados. Um exemplo é a extração, transformação e carga (ETL) de dados de uma API para um banco de dados.
Neste curso você vai aprender de forma prática como criar seus próprios Pipelines de Dados utlizando esta ferramenta incrível e moderna. Entre outras coisas você vai:
Conhecer a Arquitetura do Airflow
Aprender Fundamentos de Dags e Tasks
Construir suas Próprias Dags
Implementar Dags com Operadores com PythonOperator, PostgresOperator entre muitos outros
Entender e aplicar conceitos como Pools, Variáveis, branchs e Dataset
Criar Sensores em Airflow
Conhecer e Implementar regras de Triggers
Trocar dados utilizando XCom
Enviar emails em caso de Falhas ou mesmo em uma Task
Entender e Criar Hooks
Compreender as principais configurações do Airflow
Estudar os tipos de Executers e seus características
Conectar e atualizar bancos de dados
O curso ainda inclui acesso a todos os códigos e slides utlizados.
Bons estudos!
What You Will Learn!
- Entender a Arquitetura do Airflow
- Configurar Dags com Operadores, Gatilhos e Branchs
- Criar Pools, Datasets e Sensors
- Extrair e Tratar Dados com Airflow
- Criar Diversos Tipos de Operadores, como Python, TriggerDag e Outros
- Realizar Operações em Banco de Dados
- Utilizar Hooks do Airflow
- Configurar o Airflow
- Operar o Airflow pela CLI
Who Should Attend!
- Engenheiro e Cientistas de Dados
- Interessados em Aprender Airflow