Super Curso Databricks + Delta Lake: juntos roadmap

Description

Não estamos falando de um simples treinamento, estamos falando do uso de uma das ferramentas mais utilizadas pelas empresas em todo o mundo, você virá aprender juntamente comigo sobre como gerenciar seus dados na nuvem, como orquestrar pipelines em R, Python, Scala e SQL tudo junto, como fazer com que um simples arquivo de dados, tenha o poder de controlar as suas transações como um banco de dados. Venha conhecer então tudo isso com Databricks + Databricks Delta Lake.

O Treinamento começará na imersão Databricks, tudo que precisa saber para operacionalizar a ferramenta e construir pipelines nas linguagens mais utilizadas pelos engenheiros de dados, cientistas de dados que são R, Python, Scala e SQL. Você entenderá conceitos importantes sobre cluster, nós, o uso do spark, o monitoramento dos jobs e compreenderá em diversos scripts como criamos arquivos em diversos formatos, principalmente no parquet, preparado para este mundo cloud.

Depois de compreender bem o Databricks, você irá aprender um dos seus principais componentes, o uso do Databricks Delta Lake, que consegue transformar arquivos de dados em processos de transação como fazem os bancos de dados, ou seja, conseguirá executar comandos como INSERT, UPDATE, DELETE e muito mais utilizando técnicas como Delta Travel Time e o controle de Schema de dados, conhecido como Schema Evolution.

O que é importante saber, teremos um treinamento com 2 cursos em 1, com o que realmente importa e interessa nesta área, trabalhar ativamente com dados e conseguir tirar proveito dos seus resultados, trabalhando com o que há de mais atual sobre ferramentas na nuvem.

Venha e comece hoje mesmo.

What You Will Learn!

• Entendendo a arquitetura chamada Lakehouse sobre o Data Lake no Databricks
• Construindo Delta Lake com processamento em batch, streaming em lote
• Controle de transações sobre os dados, como um banco de dados
• Trabalhando com características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao Delta Lake
• Entendendo versionamento dos dados, permite que os dados sejam acessados e revertam para versões anteriores de dados, controle de históricos
• Uso das fases de ingestão, refinamento e enriquecimento dos dados
• Diferenças das arquiteturas Data Lake x Delta Lake
• Aprendendo como otimização dos processos de coleta e tratamento dos dados, reduzindo o tempo de processamento e descartando o que não for útil
• Trabalhando a criação de tabelas Delta e como gerar históricos de dados
• Trabalhando com cluster, DBFS, Notebook em R, Scala, Pyhton e SQL
• Delta Time Travel como retornar versões de dados e comandos de controle
• Controle de auditoria, agindo na conformidade de dados quanto de depuração simples para entender como os dados mudaram ao longo do tempo
• Executando reversões nos dados, evitando duplicação e realizando refinamento, ajustes, atualizações e exclusões dos dados
• Executando scripts batch e streaming
• Entendo o que significa checkpoint e controle de gravações dos dados
• Trabalhando com Schema Evolution na inclusão de atributos as tabelas delta
• Visualização para explorar resultados de consultas de diferentes perspectivas
• Construção de gráficos e Dashboards
• Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros
• Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades
• Aprendizado processamento distribuído em SPARK
• Entendo o que é Databricks File System (DBFS) seu sistema de arquivos
• Entendo sobre Cluster
• Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL
• Executando scripts multilinguagens
• Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards
• Construindo na versão community
• Trabalhando com a biblioteca dbutils Python
• Integrando o Databricks ao Power BI

Who Should Attend!

• Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados

TAKE THIS COURSE