Alteryx TRIFACTA e NIFI: streaming e preparação de dados

Trabalhando com fluxo de dados e construindo pipelines de ajustes, qualidade de dados

Ratings: 4.86 / 5.00




Description

Este é o tipo de treinamento que vai fazer você mudar a sua concepção sobre manipulação, tratamento e construção de cargas que envolvem dados, dados estruturados ou não estruturados. Trabalharemos com duas das grandes ferramentas de mercado que permitem manipular o dado até a exaustão, estamos falando do Alteryx TRIFACTA e do Apache Nifi.

O Nifi é uma plataforma de ingestão de dados, criada para processar e distribuir dados entre diferentes sistemas, sua principal funcionalidade é o gerenciamento e a automatização do fluxo de dados entre os sistemas, para execução destes fluxos de dados é fornecida uma interface WEB . É a programação baseada em fluxos.

Este é um curso de introdução, trabalharemos com modelos simples e típicos da ferramenta Nifi.

É possível realizar: coleta de dados, transmissão de dados, armazenamento de dados, dentre outras tarefas.

NiFi é um programa java que é executado dentro de uma JVM em um servidor, aproveita o conceito de extração, transformação e carga. A plataforma foi construída para que você possa ter liberdade para determinar como deseja construir seus fluxos de dados independente de tecnologia e linguagem, ele possui programas conhecidos como Processadores que realizam estas atividades diversas.

É uma das principais plataformas criadas atualmente para manipulação de grandes bases de dados sendo estas em bancos convencionais ou No Sql.

Já o Alteryx TRIFACTA, é uma ferramenta 100% na nuvem, low-code, totalmente prática e com grande destaque no mercado. Ela é uma plataforma em nuvem aberta e interativa, que permite a capacitação de engenheiros de dados e analistas a interpretar, preparar e criar pipelines de dados para acelerar suas análises.

A sua principal tarefa é ler uma base de dados, identificar os principais pontos de ajustes nos dados, permitir que sejam construídas transformações nos dados e executar um pipeline de dados (fluxo de dados) gerando as informações ajustadas em qualquer fonte de dados, tudo 100% visual.

Com isso, você comandará a governança de dados nos seus dados, pois identificará outliers, inconsistências, ausências de informações, identificações de padrões, dentre outras tarefas.


As principais características do Alteryx TRIFACTA são:

  • Explore e avalie o conteúdo e a qualidade de qualquer conjunto de dados.

  • Acelere e acompanhe transformações de dados de forma visual.

  • Construa, implante e automatize pipelines de dados.

  • Utilize os fluxos de dados para definir TODAS as suas necessidades em tratamento de dados e governança de dados

Então comece hoje mesmo e aprenda em um treinamento que vai lhe trazer um conhecimento aprofundado na manipulação de dados.

What You Will Learn!

  • Preparação de dados aberta que pode se conectar a diversas fontes de dados
  • Integração em todas as principais plataformas de dados em nuvem
  • Decida entre ETL ou ELT, ou uma combinação ideal dos dois com base no desempenho
  • Suporte para todas as principais nuvens, Google, AWS, Azure e on-premise
  • Interface intuitiva e simples utilização de objetos de dados
  • Perfilização de dados, ajudando na identificação de outliers
  • Tratamento de dados, criação de novos campos, dentre outras tarefas
  • Eliminação de dados nulos, inconsistências, criação de novos campos
  • Exploração e avaliação de conteúdo e de qualidade de qualquer conjunto de dados
  • Engenharia de dados com low-code, visual, direto na nuvem
  • Construção, implantação e automatização de pipelines de dados
  • Criação de flow de dados, que permite ao analista encadear suas ações de tratamento
  • Action com os dados: Columns, Rename, Sort, Calculate, Group By, Filter Rows, Replace
  • Action com os dados: Split, Create formula, dentre outros
  • Exportação dos resultados automatizados
  • Entendo sobre Apache Nifi, uma plataforma de ingestão de dados
  • Entendo sobre o gerenciamento e a automatização do fluxo de dados
  • Entendendo sobre coleta de dados, transmissão de dados, armazenamento de dados
  • Ecossistema NiFi: Repositórios, controle de fluxo, máquina JVM, extensões
  • O que é Flow File
  • O que é um Processor
  • O que é um Fluxo de Dados
  • O que é uma conexão
  • O que é um grupo de processor
  • Aprendendo sobre a barra de componentes
  • Aprendendo sobre a barra de controle navegação
  • Aprendendo sobre a barra de operação
  • Desenvolvimento de diversos fluxos de dados
  • Extensões: Putfile, Getfile, ExtractText, SplitText
  • Extensões: EvaluateXpath, UpdateAttribute, GenerateFlowFile
  • Extensões: RouteOnAttribute, SplitXML, LogMessage, LogAttibute
  • Extensões: MergeContent, ReplaceText, CompressContent
  • Uso de Input Port, Funil e Process Group

Who Should Attend!

  • Profissionais de TI
  • Profissionais que querem trabalham na área de Engenharia de dados, Análise de dados, Ciência de Dados, Business Intelligence
  • Pessoas interessadas em aprender os conceitos sobre NiFi, ou que gostariam adentrar na área de engenharia de dados