Engenharia de Dados: Tudo que você precisa saber

Luis Gustavo Scalise – Diretor de Arquitetura de Dados, Advanced Analytics e Automação da Keyrus

A Engenharia de Dados ou Data Engineering é um grande desafio atual, mas é um tema de importância no mundo tecnológico. Com o mercado crescendo exponencialmente e a demanda por engenheiros de dados também aumentando, qual será o próximo capítulo dessa história? Vamos ver no decorrer deste artigo.

A indústria de dados ainda está em sua infância e está tentando se definir. Não está claro quais caminhos e tamanhos este mercado alcançará, mas podemos dizer com certeza que está crescendo em ritmo acelerado. Embora a engenharia de dados com o seu conjunto de ferramentas já exista há muito tempo (Talend e Informática estão se tornando adultos agora, por exemplo), as arquiteturas de nuvem ‘modernas’ ainda são relativamente novas, o que é uma das fontes de entusiasmo no setor. Algumas das ferramentas mais populares usadas hoje foram criadas há menos de 5 anos.

Um indicador da juventude da indústria é a proliferação de novas terminologias, bem como a dificuldade em definir termos que se tornaram comuns ao longo dos últimos dois anos. Mesmo a própria ‘Data Stack moderna’ carece de definição em todo o setor, e termos como ‘Data Fabric’ e ‘Data Mesh’ têm sido usados para descrever novas arquiteturas.

Sabendo destes fatos, identifico três mudanças nas responsabilidades de um engenheiro de dados:

  • Os engenheiros de dados utilizarão ainda mais tecnologias proprietárias em nuvem e os produtos SaaS;
  • Os engenheiros de dados gastarão menos tempo codificando e mais tempo monitorando (low code está voltando);
  • Os engenheiros de dados mudarão de ‘equipes de recursos’ para ‘equipes de base’ ou times Core.

As funções de dados e a estrutura da equipe estão se tornando vantagens competitivas, pois, por trás de todas essas tendências em Data Stacks e ferramentas está o grande movimento que as empresas estão fazendo para se organizar em torno dos dados. Um KPI que confirma essa afirmação é que as vagas para engenheiros de dados aumentaram 50% nos últimos dois anos. No meu ponto de vista, não é mais sobre ter a equipe correta, o conjunto de habilidades correto ou a Data Stack correta, pelo menos não mais, mas sim sobre quão inteligente as equipes de dados se organizam em torno desses pontos.

Quanto às tendências de mercado, apesar de tantas novas ferramentas e técnicas disponíveis, o Diretor da Keyrus também identifica três para empresas obterem êxito: ML para Advanced Analytics, ETL reverso (Reverse ET) e Observabilidade de dados.

Leave a Comment

O seu endereço de email não será publicado. Campos obrigatórios marcados com *

Selecionar ADCOS doa parte da venda de protetor solar para combate ao câncer de pele no ES ADCOS doa parte da venda de protetor solar para combate ao câncer de pele no ES Aluf dá Show de Moda na Abertura do SPFW com Participação Especial da Orquestra Sinfônica Heliópolis TEDx Praia do Forte: Descubra o Poder da Sustentabilidade e Empoderamento em um Mundo em Transformação Navio Roupa Nova 40 Anos: Uma Viagem Mágica pelos Mares da Música Brasileira 7 Jogos leves para celulares fracos (Android 1GB RAM / Mobile) Explorando a Nova Parceria: Belle Belinha e Kine-Chan Agitam as Redes Sociais Sabores Sem Glúten no Nikkey Palace Hotel Como funciona o sorteio da Loteria Federal, saiba como concorrer aos prêmios 12 Cidades para incluir numa viagem para a Tailândia