Fundamentos Engenharia de dados e Bigdata com Azure
Do Zero ao Bigdata
Description
Neste curso eu mostrarei o caminho para quem deseja começar a trabalhar com Bigdata na Azure.
Você aprenderá todo os conceitos chaves para criar pipelines usando o que há de mais inovador no mercado de dados.
Você aprenderá:
· Criação dos componentes na Azure;
· Arquitetura base para projetos de Bigdata e Analytics;
· Definição de camadas de dados no Data lake;
· Diferenças entre Data warehouse, Bigdata e Lake house;
· Ingestão de dados: Como se conectar às suas fontes de dados on-premises e trazer os dados para dentro do Data Lake na Azure.
· Transformações e manipulações de dados com Pyspark e Spark SQL;
· Utilização de particionamentos em formato Parquet e Delta lake;
No módulo Hands-on, abordaremos de forma prática a utilização básica de Azure Data Factory, Azure Data Lake Storage gen2 (ADLS gen2), Azure Databricks e muito mais.
Abordaremos desde a parte teórica até demonstrações práticas, para facilitar o entendimento de cada step de um processo de engenharia de dados utilizando stack Azure.
O curso ainda conta com alguns exercícios práticos de ingestão, manipulação e exploração de dados, onde você poderá praticar os conceitos aprendidos e estar preparado para os desafios profissionais de engenharia e análise de dados.
Após concluir o curso, você estará apto a entender como funciona um sistema de Bigdata e engenharia de dados na Azure e conseguirá dar os primeiros passos em direção ao sucesso!
What You Will Learn!
- Fundamentos de Big data
- Fundamentos de Datalake
- Fundamentos de Lake house
- Fundamentos de engenharia de dados
Who Should Attend!
- Iniciantes em Engenharia de dados
- Iniciantes em Azure