Engenharia de dados é construir arapucas
Não é sobre ferramentas, nem só sobre dados. É sobre produzir abstrações de significado, e toda abstração tem um custo de compreensão.
Engenharia de dados não é sobre ferramentas. Não é só sobre dados. Não é nem sobre “valor” puro, ou mesmo financeiro.
É sobre produzir abstrações de significado.
E envolve necessariamente a modulação da ação, para que a ação produza efeitos mais precisos e delicados. A engenharia de dados é o processo de elaborar e construir abstrações que organizam esses padrões de efeito: para efetivamente perceber algo.
O custo de compreensão
A beleza de orquestrar informação com palavras é que abstrações têm um custo de energia, e não só no sentido físico da coisa. Têm também um custo de compreensão.
Por isso o custo de modelar um sistema de dados deveria ser inversamente proporcional ao retorno e ao custo de manutenção. E deveria ser justificável manter um fundamento técnico fortemente orientado a consolidar a informação produzida por tudo o que for possível captar dos efeitos da organização no mundo.
Os sinais vitais
Claramente os principais efeitos são os financeiros: são como os sinais vitais de um ser vivo. Toda organização depende de insumos, e o custo desses insumos pode, inevitavelmente, ser convertido em custo financeiro. Isso não representa vários aspectos sociais da força de uma ideia, mas representa um custo de energia real da existência de qualquer conjunto social orientado a transformar o espaço fora de si mesmo.
O tempo de uma pessoa é sempre uma medida de energia disponível. E os meios de alavancar isso são o cerne de tudo o que fazemos com dados.
Uma cultura, não um setor
A engenharia de dados é um aspecto, uma qualidade, de um espectro de técnicas e habilidades necessárias para desenvolver uma cultura de dados: um organismo social orientado a produzir sistemas de conhecimento sobre as próprias ações e seus resultados, em todos os sentidos possíveis e factíveis para a organização, em qualquer momento do tempo.
Arapucas
A arapuca é uma armadilha de gravetos empilhados em pirâmide, comum no interior do Brasil. O passarinho entra, toca o gatilho, e a estrutura desce. É um mecanismo elegante: material simples, uma ação precisa, e quem dispara é quem é pego. E, ao contrário de um laço, a arapuca pega o passarinho vivo.
Um bom modelo de dados funciona assim. Não é taxidermia, que fixa o significado, disseca e congela num esquema. É uma estrutura simples onde o significado vivo entra e pode ser observado, compartilhado e solto de novo.
Engenharia de dados é construir arapucas.