APACHE HOP e NIFI: construa pipelines e fluxos de dados
Duas grandes ferramentas de ingestão de dados juntos, aprenda pipelines e fluxos de dados
Description
Preparamos um dos cursos mais incríveis na área de dados, trabalhando com duas grandes ferramentas de mercado que permitem o tratamento e ingestão de dados, seja por criação de pipelines ou por meio de fluxo de dados, estamos falando do APACHE HOP e do APACHE NiFi.
Iniciaremos no treinamento com um produto 100% visual, que permite a execução de diversos plugin (componentes) de forma prática e sem código, utilizaremos o APACHE HOP. Ela veio para resolver os grandes problemas de execução e tratamento de dados em sequência, permitindo o encadeamento e diversas tarefas em um componente chamado pipeline, sendo possível (ler um arquivo de dados, gravar um arquivo de dados, ler banco de dados, gravar em banco de dados, fazer união de arquivos ou tabelas, tratar dados criando novas colunas ou eliminando outras existentes, dentre outras atividades). Você poderá criar um schedule utilizando a CRONTAB ou agendador do windows e para isso vamos utilizar o HOP-RUN. Claro, aprenderemos a trabalhar com workflow, para organizar as nossas tarefas.
Em seguida vamos adentrar no mundo do APACHE NiFi, que é uma ferramenta de ingestão e fluxo de dados criada para processar e distribuir dados entre diferentes sistemas, sua principal funcionalidade é o gerenciamento e a automatização do fluxo de dados entre os sistemas, para execução destes fluxos de dados é fornecida uma interface WEB . É a programação baseada em fluxos.
Então venha conhecer e comece hoje mesmo a trabalhar com estas duas grandes ferramentas.
What You Will Learn!
- O que é Hop Orchestration Platform
- Entendendo sobre fluxos de trabalho e pipelines
- Entendendo sobre projetos e ambientes
- Instalação do APACHE HOP
- Criando pipelines com arquivos texto
- Realizando tratamento de dados para entendimento do processo de engenharia de dados
- O que são transformações, links e ações dentro de um pipeline
- Construindo um workflow, orquestrador da sequência das operações
- Entendendo o HOP GUI e seus componentes
- Entendendo menu barras, principal e perspectivas
- Criando sua área de projetos
- Componentes pipelines: Sort, Select value, CSV file input, Value mapper, Filter rows, Dummy, Unique rows, Merge Join, Text File Output
- Entendendo o que é : View output, Preview output , Debug output
- Componentes pipelines: Number Range, Concat Field, String Operations, Replace in String, IF Field Value is Null, Split Fields, CSV File Input, Mail, File Exist
- Leitura de dados em uma API: Rest Client, JSON Input, JSON Output
- Construindo Workflow com execução de pipelines
- Entendo o uso de variáveis globais no APACHE HOP
- Automatização de pipeline ou workflow pelo HOP-RUN
- Construindo pipelines em banco de dados Postgresql: Table Input, Table Output, Configurando conexão
- Instalação de banco de dados Postgresql, usando PGAdmin
- Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
- Entendo sobre o gerenciamento e a automatização do fluxo de dados
- Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
- Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
- O que é Flow File
- O que é um Processor
- O que é um Fluxo de Dados
- O que é uma conexão
- O que é um grupo de processor
- Aprendendo sobre a barra de componentes
- Aprendendo sobre a barra de controle navegação
- Aprendendo sobre a barra de operação
- Desenvolvimento de diversos fluxos de dados
- Extensões: Putfile, Getfile, ExtractText, SplitText
- Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
- Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
- Extensões: MergeContent, ReplaceText, CompressContent
- Uso de Input Port, Funil e Process Group
Who Should Attend!
- Estudantes e profissionais de computação, Informática, estatística, data science, analista de dados, engenheiro de dados
- Pessoas interessadas em aprender os conceitos sobre ferramentas de ingestão de dados, ou que gostariam adentrar na área de engenharia de dados
- Profissionais que, de alguma forma, utilizam dados no seu dia a dia