Fundamentos sobrevivem às ondas
Vinte anos de ondas de inovação e hype em analytics. Ideias fundamentais resistem mais ao tempo e são mais portáveis que qualquer ferramenta.
Nos últimos vinte anos a indústria de analytics vem passando por ondas consecutivas de inovação e hype, produzindo no caminho um jorro de novas necessidades, conceitos, empresas, ferramentas, paradigmas e profissões.
Vimos o movimento para a nuvem, os sistemas distribuídos e os frameworks de big data, seguidos pela popularização da ciência de dados, do analytics engineering, da modern data stack. E agora, com o retorno das IAs generativas, muitas discussões sobre RAG, bancos vetoriais, LLMs, camadas semânticas e grafos de conhecimento.
No meio disso tudo, um mercado agitado onde centenas de empresas, com propostas parecidas, competem por espaço em cada camada da stack de analytics.
Caí de paraquedas
Eu mesmo sou cria dessa geração. Como tantos, caí de paraquedas na área de analytics sem muita bagagem, aprendendo o suficiente para resolver os problemas conforme apareciam. É normal, no começo, aprender o que estão pedindo e se capacitar no uso de ferramentas e plataformas.
Com tantos alvos elusivos e tanta informação difusa, é fácil perder a noção dos fundamentos e andar em círculos aprendendo a materializar tabelas, gerar gráficos ou orquestrar DAGs em cada novo framework.
Inverter a perspectiva
Em algum momento é preciso parar, dar um passo atrás e inverter a perspectiva: aprender os conceitos que fundamentam o ferramental que temos hoje, e entender as motivações por trás das inovações.
Usar bem uma ferramenta envolve mais do que conseguir resolver problemas com ela. É importante entender suas limitações e características, o contexto em que foi criada, as tecnologias que usa. Ideias e conceitos fundamentais tendem a resistir mais ao tempo, são mais portáveis entre implementações, e nos deixam idealizar soluções sem depender de tecnologias específicas.
Ortodoxia e velocidade
Para quem trabalha com modelagem de dados, ler Joe Reis é quase uma obrigação. Não porque ele seja dono de alguma verdade, mas porque, no estado atual das coisas, muito conhecimento básico parece ter se perdido numa viela escura atrás de tantos anúncios coloridos de ferramentas novas.
No texto The Tension of Orthodoxy and Speed, ele toca num problema que vejo o tempo todo nas entregas de dados: a pressa por entregar “valor imediato” leva a modelos que não sustentam “valor contínuo”, e o resultado é um bolsão de backlog para validar e readequar modelos que não foram pensados antes. E equilibrar ortodoxia com flexibilidade importa, porque hoje nem tudo cabe num modelo relacional ou dimensional, e é preciso saber usar outras ferramentas onde esses modelos têm limites.
Maturidade antes de adoção
“The lesson here is timeless: adoption should be driven by alignment with organizational maturity.” Um conto tão velho quanto o tempo, e sempre atual.
Vivemos um período convoluto, em que hype, inovação essencial e inovação especulativa se misturam com grande intensidade, em muitas camadas de tecnologia e operação, em organizações de todos os tamanhos. Aprender a navegar nesses espaços abstratos de informação digital é cada vez mais necessário. E ninguém apareceu ainda com um mapa adequado.
Não se deve confundir o hype superficial com aquilo que é fundamental e transformador. E não se deve confundir conveniência com utilidade.