Formação Data Warehouse com Redshift, BigQuery e SnowFlake
Aprenda Engenharia de Dados e Big Data com Ferramentas de Data Warehouse Modernas e na Nuvem
Description
O que é um data warehouse? É um sistema de armazenamento de dados que é projetado para permitir a análise de informações de negócios de maneira mais eficiente. Ele é um repositório centralizado de dados que são extraídos, transformados e carregados de várias fontes de dados para fornecer informações úteis e estratégicas para a tomada de decisões em uma organização. Ele é fundamental para a empresa possua dados gerenciais de qualidade para a tomada de decisão.
Neste curso, além dos fundamentos, você vai conhecer três das principais ferramentas de Data Warehouse:
Snowflake: data warehouse nativo da nuvem que oferece escalabilidade, segurança e desempenho sem a necessidade de gerenciar infraestrutura física. Ele usa uma arquitetura de banco de dados em nuvem que separa o armazenamento de dados do processamento de consultas, permitindo que os usuários dimensionem cada camada independentemente.
Redshift: data warehouse baseado em nuvem que permite armazenar e analisar grandes volumes de dados usando SQL. Ele usa uma arquitetura em cluster massivamente paralela para processar consultas de forma rápida e eficiente, permitindo que os usuários executem análises de dados em tempo real. O Redshift é altamente escalável e pode ser facilmente dimensionado para lidar com conjuntos de dados cada vez maiores.
BigQuery: serviço de data warehouse baseado em nuvem que permite armazenar e analisar grandes volumes de dados usando SQL. Ele usa uma arquitetura de processamento em coluna para permitir consultas de dados rápidas e escaláveis, permitindo que os usuários executem análises em tempo real em grandes conjuntos de dados
O que você vai aprender neste curso:
Fudandamentos de Datawarehouse, como clusters, replicação, particionamento, armazenamento colunar, tolerância a falhas
Modelo de Dados para Datawarehouses: Modelos dimensinais star e snowflake, modelo relacional, Galaxy Schema e outros
Fundamentos e aplicações em Redshift: Conceitos como sortkey, distkey, diststyle, cache. Criação de consultas utilizando CTEs. Planos de Execução, vinculação a dados externos, importação com copy, views e views materializadas
Fundamentos e aplicações em BigQuery: Criação de Projetos, Tavela Pivot, partições, tabelas externas, view emais
Fundamentos e aplicações em Snowflake: Virtualwarehouse, cache, clustering, views, time travel, fail-safe, taks, streams e muito mais
Criação de um projeto prático: carga de dados do staging de forma incremental para um Data Warehouse, utilizando CDC, streams e tasks
Checklist comentado: dicas e truques para você considerar no seu projeto.
O curso inclui ainda:
Material de apoio, como scritps para criação de objetos de banco de dados
Slides das aulas em formato pdf
What You Will Learn!
- Modelagem de Dados para Data Warehouse
- Fundamentos de Snowflake, como time travel, streams e tasks
- Fundamentos de Redshift, como sortekeys, Distkey e Diststyle
- Fundamentos de Bigquery, como Cluster, Partições e Projetos
- Técnicas Avançadas de SQL: Windows Functions, CTEs, Pivots etc.
- Boas Práticas na Construção e Modelagem de Data Warehouses
- Fundamentos e Conceitos de Data Warehouse para Big Data
Who Should Attend!
- Engenheiros de Dados, Analistas de Dados, Cientista de Dados e Administradores de Dados