Competências / 02
Engenharia de dados
De dados dispersos a uma base fiável.
De dados dispersos a uma base fiável.
Ligamos fontes e documentamos transformações para atualizações reproduzíveis e rastreáveis.
Definimos identificadores comuns, regras de validação e calendários de atualização para reutilizar a informação conhecendo a sua origem e o histórico de alterações.
Falar sobre esta competênciaO que construímos
- 01
Recolha por API e ficheiros
Reunir folhas de cálculo, exportações de aplicações e fluxos API num conjunto estruturado.
- 02
Fluxos ETL e processos agendados
Automatizar limpeza, correspondência de formatos e atualizações, identificando registos incompletos ou duplicados.
- 03
Metadados, proveniência e qualidade
Registar fontes, datas de atualização e controlos para facilitar a investigação de anomalias.
- 04
Indicadores versionados e cálculos reproduzíveis
Explicitar definições dos indicadores e alterações de cálculo ao comparar resultados entre períodos.
Onde faz a diferença
Observatórios, plataformas institucionais e relatórios operacionais. Útil quando os relatórios dependem de consolidações repetidas de ficheiros ou de registos incoerentes entre departamentos.
VAMOS CONSTRUIR ALGO QUE IMPORTE
Conte-nos o seu
próximo desafio.
Uma plataforma, uma integração ou uma nova leitura dos dados. Comecemos pelo problema.