Esta página é complementar às
Diretrizes Arquiteturais e às
diretrizes de utilização do Python.
ETL (Extract, Transform, Load) é o processo de extrair dados de fontes
autorizadas, aplicar validações e transformações e carregá-los em um destino
aprovado.
No Ministério da Saúde, ETL deverá ser utilizado para movimentação, integração,
preparação e tratamento controlado de dados. Uma rotina ETL não constitui
back-end, API ou microsserviço de negócio.
Os processos ETL podem contemplar:
- extração de bancos, arquivos, APIs e demais fontes autorizadas;
- validação de estrutura, formato e regras de domínio;
- limpeza, normalização, enriquecimento e transformação;
- processamento em lote ou incremental;
- carga em destinos autorizados;
- reconciliação, auditoria e indicadores operacionais;
- processamento pontual iniciado por evento ou agendamento.
O consumo contínuo de streams deverá utilizar a stack homologada para essa
finalidade ou ser submetido à análise arquitetural. Uma rotina permanente com
responsabilidade de negócio não será considerada ETL apenas por processar
dados.
- identificar claramente a origem, o destino e a finalidade dos dados;
- utilizar somente mecanismos de acesso e conectividade autorizados;
- declarar e validar os contratos de entrada e saída;
- aplicar regras de qualidade antes da carga;
- garantir idempotência ou mecanismo de deduplicação;
- adotar processamento incremental quando adequado;
- registrar quantidades de registros recebidos, processados, rejeitados e
carregados;
- manter rastreabilidade entre origem, lote, transformação e destino;
- utilizar checkpoints em processamentos longos;
- definir procedimento de reprocessamento e reconciliação;
- tratar registros inválidos conforme política documentada de rejeição ou
quarentena;
- não descartar registros ou erros silenciosamente;
- evitar carga integral em memória quando incompatível com o volume;
- executar agendamentos por plataforma ou orquestrador aprovado;
- não utilizar a rotina ETL para expor API ou serviço permanente.
- identificar a execução, a origem e o lote;
- extrair os dados de fonte autorizada;
- validar o contrato e o esquema;
- preparar ou armazenar temporariamente os dados, quando necessário;
- aplicar transformações e regras de qualidade;
- carregar os dados no destino autorizado;
- reconciliar quantidades e resultados;
- registrar métricas, logs e situação final da execução.
- aplicar privilégio mínimo nas origens e nos destinos;
- manter credenciais fora do código-fonte;
- proteger dados em trânsito e em armazenamento temporário;
- observar a classificação, a finalidade e a retenção dos dados tratados;
- não registrar conteúdo clínico, dados pessoais ou informações sensíveis em
logs;
- remover arquivos temporários ao final da execução;
- utilizar dados sintéticos ou anonimizados em desenvolvimento e testes.
Cada execução deverá possuir identificador único e registrar, no mínimo:
- início, término, duração e situação final;
- etapa em execução;
- quantidade de registros de entrada, saída e rejeição;
- erros, retentativas e reprocessamentos;
- versão do código e da configuração utilizada.
Falhas transitórias poderão ser tratadas com retentativas limitadas. Falhas
definitivas deverão interromper ou isolar o lote de forma controlada,
permitindo diagnóstico e retomada segura.
- Linguagem autorizada: Python.
- Versão, arquitetura e bibliotecas: seguir a página
Python — RPA, ETL, Inteligência Artificial e Serverless.
- Agendamento e orquestração: utilizar plataforma aprovada para a solução.
- Entrega: utilizar repositório institucional e esteira DevSecOps.
A autorização do Python para ETL não representa homologação da linguagem para
back-end, front-end, APIs ou microsserviços.
Cada processo ETL deverá documentar:
- objetivo, responsáveis, origem e destino;
- contratos, esquemas e regras de transformação;
- gatilho, frequência e janela de processamento;
- regras de qualidade, rejeição e reconciliação;
- checkpoints, retentativas e procedimento de reprocessamento;
- logs, métricas, alertas e critérios de sucesso;
- classificação, retenção e controles de acesso dos dados.