Conceitos
As palavras que mais uso, no sentido em que as uso. Cada uma leva aos textos em que ela trabalha.
- Modelo de dados
A verdade mínima compartilhada que uma organização precisa representar de forma consistente para entender a si mesma.
Muito mais que esquemas de tabela ou diagramas entidade-relacionamento. Joe Reis resume bem: uma representação estruturada que organiza e padroniza dados para guiar o comportamento de humanos e máquinas, informar decisões e possibilitar ações.
Antes de qualquer tabela, faço as cinco perguntas: para quem o modelo serve, por que precisa existir, quais entidades e relações ele guarda, que período cobre, onde estão os dados e como será construído e governado. Pular direto para o nível lógico é desenho, não modelagem.
Leia maisEngenharia de dados é construir arapucasFundamentos sobrevivem às ondasModelagem não é arquiteturaOrientados aos dados, não só por dadosUma máquina que não sabe lembrar
- A escada da expressividade
Tags, vocabulário controlado, glossário, taxonomia, tesauro, ontologia: cada degrau diz mais sobre o que o dado significa.
A semântica pode ser expressa em muitos níveis. Embaixo, tags soltas. Depois um vocabulário controlado, um glossário de termos com definições, uma taxonomia que os ordena, um tesauro que os relaciona e, por fim, uma ontologia que torna as relações formais o bastante para raciocinar com elas.
Cada degrau custa mais para construir e manter vivo. Suba só até onde o uso pedir. Mas lembre por que se sobe: dado é sobre aumentar conhecimento, não só responder dúvidas imediatas.
Leia maisUma máquina que não sabe lembrar
- Ontologia
Uma especificação formal e explícita de como um domínio é conceituado: seus conceitos, relações, instâncias e regras.
Uma ontologia define termos descrevendo como eles se relacionam com outros termos, para que máquinas e pessoas interpretem os dados do mesmo jeito em sistemas diferentes.
Uma lição que guardo de estudar o tema: o oposto de uma ontologia não é não ter ontologia, é ter uma ontologia ruim. Todo sistema já carrega uma. A diferença é se você percebe que a está criando.
Leia maisOrientados aos dados, não só por dadosO mistério do conhecimento
- Grafo de conhecimento
Um grafo que também é uma representação de conhecimento: entidades como nós, relações como arestas, e seu significado capturado para raciocínio.
Nascidos da web semântica (RDF, Linked Open Data), os grafos de conhecimento carregam não só conexões, mas o que as conexões significam. Combinados com embeddings vetoriais, parecem ser a peça que faltava para a IA sustentar o entendimento, em vez de adivinhá-lo a partir dos dados crus.
Leia maisOrientados aos dados, não só por dadosO mistério do conhecimento
- Camada semântica
Onde conceitos de negócio, métricas e relações são definidos uma vez, para que qualquer sistema, pessoa ou agente saiba o que o dado significa e como usá-lo.
A semântica deveria ser autodescritiva e legível por máquinas. Uma camada semântica fica entre as tabelas cruas e todos que as consomem, e com agentes de IA no circuito ela deixa de ser uma conveniência de BI e vira o vocabulário compartilhado da organização.
Leia maisOrientados aos dados, não só por dadosO mistério do conhecimento
- Produto de dados
Dado construído com um propósito e exposto como valioso por si mesmo, com um dono responsável por torná-lo utilizável.
Dados podem fluir por sistemas que fazem coisas a partir deles. Mas também podem ser a coisa em si: modelados, construídos com um propósito e publicados. Produtos de dados passam o peso de limpar e conectar de quem consome para quem produz, o que Tony Seale chama de inverter o custo da integração de dados.
Leia maisNão existe dado genérico
- Contrato de dados
Um acordo sobre o que o dado é e como sua qualidade é garantida, feito onde o dado é produzido.
Três partes dividem a cadeia de valor dos dados: quem produz, quem mantém a plataforma e quem consome. Um contrato garante esquema e significado na origem, em vez de remendar problemas lá na frente: a ideia de shift left.
Leia maisNão existe dado genérico
- Data mesh
Um modelo operacional em que domínios de negócio são donos dos seus dados e os publicam como produtos, com governança federada e uma plataforma compartilhada.
A centralização prometeu um lugar para todos os dados e esbarrou no limite de um único time segurando toda a complexidade. O data mesh distribui a responsabilidade para os domínios que melhor entendem os dados, e mantém a coerência com padrões compartilhados, não com um único porteiro. Falei sobre isso no segundo Meetup de Dados Curitiba.