Checklist de qualidade de dados: modelo, régua e exemplo preenchido

Quem audita sistema de gestão aprende cedo a desconfiar da primeira pasta que recebe. Na formação de auditor líder, com registro no IRCA para a ISO 9000, aprendi uma regra de amostragem que vale para qualquer auditoria: a amostra pertence a quem audita, o auditado sugere e o auditor escolhe. Levo essa regra para qualquer base antes de uma análise, e é ela que sustenta um checklist de qualidade de dados.

O motivo é simples e um pouco incômodo. A pasta oferecida de boa vontade costuma ser a mais bem cuidada da sala, com assinatura, data e letra caprichada. O que decide o achado é a taxa de desvio na amostra que o auditor puxou sozinho. A vitrine arrumada na mesa serve, no máximo, para abrir a conversa.

Com dados, o engano tem a mesma cara. O campo que parece completo na tela, sem nenhuma célula vazia, passa por confiável e entra na análise sem que ninguém conte nada. O guia do kit de análise de dados da Voitto registra esse tropeço como o erro comum da ferramenta E06: “confiar no campo mais bem preenchido visualmente sem medir a taxa de problema de fato”.

No caso que atravessa o kit, uma distribuidora de material de construção, o campo com a pior taxa foi justamente um que não tinha nenhum nulo. FORNECEDOR estava preenchido em todas as linhas e, mesmo assim, carregava 612 registros inconsistentes em 4.180. A seguir está a folha que mediu isso, linha por linha, com o modelo em branco no fim.

O que é o checklist de qualidade de dados

O checklist de qualidade de dados é uma folha que mede, campo por campo, quantos registros da base falham em quatro testes: nulo, duplicado, fora do domínio e inconsistente. A soma vira uma taxa de problema, e a taxa vira um veredito, OK, atenção ou crítico, antes de qualquer gráfico ser montado.

No Kit de Ferramentas de Análise de Dados da Voitto, ele é a ferramenta E06, a terceira da fase Dados. O guia abre essa fase com uma frase que resume a razão de ser dela: “Pular esta fase é o que produz o gráfico bonito com o número errado”. Na E06, a qualidade de dados deixa de ser palpite e ganha um número por campo.

Nesta etapa, o checklist de qualidade de dados só mede. A folha não apaga linha, não imputa valor e não troca o nome de ninguém no cadastro. Esse trabalho pertence a outra ferramenta, o Registro de Tratamento e Limpeza (P09). O tratamento só começa depois que o checklist diz onde está o buraco e de que tamanho ele é. Separar medir de tratar permite que qualquer pessoa refaça a conta mais tarde e chegue ao mesmo número.

Também não se trata de auditar o sistema inteiro. O checklist de qualidade de dados mede os campos que a pergunta de negócio vai usar, e só eles. Uma base com duzentas colunas pode render uma folha de oito linhas, se oito forem os campos que sustentam a conclusão. Para quem já trabalha com dados estruturados, a lógica soa familiar. Cada coluna tem tipo, formato e conjunto de valores aceitos. O checklist de qualidade de dados pergunta quantos registros respeitam isso, campo a campo.

O resultado é um retrato da qualidade de dados em uma página curta, que viaja junto com a análise de dados até a apresentação final. Quando alguém pergunta de onde saiu o número do slide, a resposta começa por ela: quais campos entraram, quanto de cada um estava ruim e como cada falha foi tratada.

As quatro dimensões que a folha mede

Cada linha recebe quatro contagens, digitadas por quem investigou a base. As dimensões são diferentes por definição, mas uma mesma linha pode falhar em mais de uma delas. Isso muda a leitura da taxa mais adiante. Quem chega de outros textos sobre o tema reconhece aqui quatro das seis dimensões mais citadas. Nulo mede completude, duplicado mede unicidade, fora do domínio mede validade e inconsistente mede consistência. Acurácia e atualidade ficam fora da folha, porque pedem conferir o registro contra o fato real e contra a data em que ele deveria estar disponível. A tabela resume o que cada teste pergunta e como ele aparece no checklist de qualidade de dados da distribuidora.

Nulo é o teste mais fácil de contar e o mais traiçoeiro de interpretar. Um campo vazio em 8% dos pedidos pode ser anotação esquecida, pode ser pedido ainda em trânsito, pode ser campo que só uma parte da equipe usa. A folha só conta. O motivo aparece na conversa com quem alimenta a origem, e é essa conversa que decide o tratamento depois.

Duplicado exige definir antes o que é “o mesmo registro”. Duas linhas com o mesmo pedido e o mesmo item podem ser erro de carga ou duas entregas parciais legítimas. Por isso a regra de duplicidade se escreve junto com a chave do registro, e não depois de ver o resultado. No caso, a coluna ficou zerada nas oito linhas, e um zero medido é informação; célula em branco não é.

Fora do domínio pede que a regra seja combinada antes da contagem. No caso, o status de item aceita quatro códigos (A, B, R e X). O campo era texto livre no sistema de armazém. Qualquer outra coisa digitada entra na conta. Uma lista suspensa de validação de dados no Excel na origem fecha essa porta para as próximas entradas, mas não limpa as que já estão lá.

Inconsistente é o teste mais trabalhoso, porque o valor passa em todas as checagens isoladas. Saldo de estoque negativo é um número válido para o computador e impossível para o armazém. Nome de fornecedor escrito de três jeitos passa em qualquer teste de vazio e de formato. Achar isso pede cruzamento: um PROCV contra o cadastro mestre, uma data comparada com outra, um saldo comparado com a movimentação.

A coluna Problemas soma as quatro contagens. Se um registro falha em dois testes, ele entra duas vezes na soma. Por isso a taxa sai um pouco acima do número de linhas afetadas. Para decidir entre OK, atenção e crítico, esse viés joga a favor da cautela. Quando a diferença importar, anote ao lado quantas linhas distintas estão por trás da soma.

Vale lembrar de onde vem a maior parte dessas falhas: da entrada de dados feita à mão, com pressa e sem regra. O checklist de qualidade de dados não conserta a digitação, mas mostra em qual campo ela dói mais. Isso orienta onde vale gastar a energia de corrigir a origem.

A régua de 2% e 10%, aplicada campo por campo

A planilha divide Problemas por Registros totais e classifica o resultado com uma régua fixa, impressa no rodapé da própria folha. OK vai até 2%, atenção até 10%, crítico acima de 10%. A régua é a mesma para todos os campos. É isso que torna as linhas comparáveis entre si na hora de ler a qualidade de dados da base.

A folha traz os cortes como convenção, sem justificativa estatística, e prefiro dizer isso a inventar uma origem para eles. O que importa é fixar a régua antes de medir, para ninguém ajustar o limite depois de ver o número. Se a sua equipe preferir 1% e 5% num campo financeiro, mude, mas mude antes.

Medir a qualidade de dados campo a campo impede que o problema suma na média da base inteira. No caso, os problemas das oito linhas somam 3.006 ocorrências. Divididos pelos 740.220 registros das oito linhas juntas, dariam algo perto de 0,4%. A base pareceria limpa. Campo por campo, a mesma base tem uma linha crítica e duas em atenção.

Repare também que o denominador muda de linha para linha. COD_SKU, DT_PEDIDO e CD têm 184.320 registros, da base de movimentação. QTD_SALDO e STATUS_ITEM têm 87.360, contados no sistema de armazém. LEAD_TIME, DT_ENTREGA e FORNECEDOR têm 4.180, os pedidos da planilha de Compras. Cada campo é medido contra a própria origem, na granularidade dela.

Um detalhe de leitura evita susto na reunião. DT_PEDIDO tem 53 problemas e aparece com 0,0%, porque 53 em 184.320 dá 0,03% e a folha mostra uma casa decimal. Zero arredondado não é zero. Na hora de decidir se o problema se trata ou se ignora, olhe também a coluna de contagem, e não só a taxa.

Campo crítico e campo que a análise não usa

A última coluna, “Crítico p/ a análise?”, é a única decisão do checklist de qualidade de dados que não é conta. O veredito sai da régua; a criticidade sai da pergunta de negócio. Um campo é crítico quando a conclusão muda se ele estiver errado. Se a análise não usa o campo para filtrar, agrupar, calcular ou comparar, ele não é crítico, por mais importante que pareça no sistema.

A regra que liga as duas colunas está escrita no quarto passo do “Como preencher” da própria folha: “Campo crítico com taxa crítica trava a análise. Resolva antes, e registre como, na P09”. É a única combinação que o checklist de qualidade de dados manda parar. As outras ficam no juízo de quem conduz. A tabela abaixo mostra a leitura que eu faço de cada uma.

No caso da distribuidora, a pergunta era por que a ruptura de estoque subiu. A hipótese de trabalho passava pelo prazo dos fornecedores. Uma comparação de lead time por fornecedor depende de o nome do fornecedor identificar uma empresa só. Com a mesma empresa escrita de três jeitos, uma barra do gráfico vira três, cada uma com uma média parcial. Por isso FORNECEDOR foi marcado como crítico.

STATUS_ITEM é o caso oposto. Teve 1.642 registros fora do domínio, taxa de 1,9%, ainda dentro do OK, e foi marcado como não crítico. Mesmo que a taxa passasse de 10%, a conclusão sobre falta de estoque não mudaria por causa dele. O campo continua na folha porque medir custou pouco e a informação ajuda na próxima pergunta que alguém fizer à mesma base.

Marcar criticidade é também uma forma de dizer, por escrito, qual é a tomada de decisão que a análise vai apoiar. Se a equipe não consegue preencher a última coluna, vale voltar à pergunta. Ela ainda não foi feita com precisão suficiente para dizer quais campos ela usa.

O que o livro diz sobre qualidade de dados na Medição

No Guia Prático Lean Seis Sigma Black Belt, a qualidade de dados aparece em dois lugares que conversam com a E06. O primeiro está no capítulo 10, entre os três pilares para implementar o Seis Sigma. No pilar de mensuração, na página 79, o texto é direto: “A veracidade dos dados coletados é imprescindível para a análise real do problema e o alcance da melhoria desejada.”

O segundo está na abertura da Parte V, dedicada à etapa de Medição de um projeto Lean Seis Sigma. Na página 214, o livro afirma que, “sem uma medição adequada, o projeto de melhoria pode ser desenvolvido com dados imprecisos que podem levar a soluções ineficazes”. Na mesma página, ao responder como garantir a precisão dos dados coletados, ele recomenda um plano de coleta com verificações de qualidade. Também indica análises de repetibilidade e reprodutibilidade (R&R).

A tabela mostra onde cada recomendação encontra uma coluna da folha, e onde ela passa para outra ferramenta. Nenhuma das páginas cita a E06, que é posterior ao livro; a correspondência é minha.

A última linha merece uma separação clara. A análise do sistema de medição (MSA) pergunta se o instrumento mede igual duas vezes. O checklist pergunta se o registro que já está na base serve. As duas cabem num plano de coleta de dados bem feito, e nenhuma dispensa a outra.

Fora do livro, a referência mais usada para o tema é o corpo de conhecimento da DAMA International (DMBOK). Ele trata qualidade de dados como uma das áreas da gestão de dados, ao lado de arquitetura, metadados e governança. A E06 é a versão de bolso dessa disciplina: uma folha que uma pessoa preenche numa tarde, para uma pergunta só.

Onde a E06 fica dentro da fase Dados

A fase Dados do kit tem quatro ferramentas em sequência. O checklist de qualidade de dados depende das duas anteriores. Sem o mapa de fontes, não se sabe de onde contar os registros. Sem o dicionário, não se sabe qual é o domínio de cada campo. Depois dela vem o perfil estatístico, que só faz sentido sobre um campo que já passou pelo teste.

No caso, o mapa de fontes já tinha deixado um aviso na coluna de riscos de integração: “o código do fornecedor difere entre ERP e planilha”. O dicionário marcava LEAD_TIME como campo ambíguo, preenchido à mão e “em branco quando ninguém anotou”. As duas pistas viraram, no checklist, a linha crítica e a maior linha de nulos. Quem lê as ferramentas em ordem vê o problema de qualidade de dados chegar antes de medi-lo.

Esse encadeamento é o que o gerenciamento de dados faz em escala de empresa, com catálogo e responsáveis por domínio. Numa análise pontual, a sequência E04, E05 e E06 cumpre o mesmo papel em três folhas. Quando a mesma base alimenta análises o ano inteiro, o assunto passa a ser de governança de dados, com regras que valem antes de qualquer pessoa abrir a planilha.

A origem também pesa. Parte das falhas do caso nasceu no cruzamento entre o ERP de logística, o sistema de armazém e uma planilha de Compras alimentada à mão. Três sistemas que não conversam por um identificador comum produzem exatamente o tipo de inconsistência que só o quarto teste da folha consegue pegar.

Depois da E06, a estatística descritiva da E07 olha média, dispersão e forma de cada variável. A ordem importa. Calcular desvio-padrão de um campo com 8% de nulos não tratados produz um número que parece preciso e descreve só a parte da base que alguém lembrou de preencher.

Como preencher o checklist em sete passos

A planilha tem vinte linhas e quatro instruções no topo. Os passos abaixo detalham essas instruções com o que costuma dar errado em cada uma.

1. Liste os campos que a pergunta usa. Parta da pergunta de negócio, não do sistema. Cada campo que filtra, agrupa, calcula ou compara ganha uma linha. Campo que a análise não usa não precisa entrar no checklist de qualidade de dados.
2. Conte os registros totais na origem de cada campo. Use o total da tabela de onde o campo vem, na granularidade dela. Somar pedidos com dias de estoque produz um denominador que não descreve nada.
3. Escreva o domínio antes de contar. Lista de códigos válidos, faixa de valores, período coberto, formato de data. Sem essa regra escrita, a coluna “fora do domínio” vira opinião.
4. Conte nulos e duplicados. São os testes mais baratos. Filtro, tabela dinâmica ou consulta resolvem; anote como contou, para que outra pessoa refaça.
5. Procure inconsistências por cruzamento. Compare com o cadastro mestre, uma data com a outra, um saldo com a movimentação. É o passo que mais demora e o que mais encontra.
6. Leia o veredito e marque a criticidade. A planilha soma, divide e classifica. A última coluna é sua: marque sim quando a conclusão depender daquele campo.
7. Leve atenção e crítico para a P09 no mesmo dia. Registre o critério de tratamento enquanto ele ainda está fresco. A análise só começa quando nenhum campo crítico está em vermelho.

Se uma contagem parecer alta demais, estratifique antes de concluir. A estratificação por origem, centro de distribuição ou mês costuma mostrar que o problema mora num canto só da base. Aí o tratamento fica menor e mais barato.

Em bases com muitos campos, ordene as linhas pela coluna Problemas depois de preenchida. O diagrama de Pareto aparece sozinho. Poucos campos concentram quase todas as falhas. São eles que merecem a conversa com quem alimenta a origem.

Quando a contagem é manual, porque o dado ainda está em papel ou em anotação, a folha de verificação é a forma mais simples de registrar cada falha no momento em que ela aparece. O total vai para a E06 no fim.

Perguntas para fazer à base antes de medir

Metade do trabalho de medir a qualidade de dados acontece antes de a planilha abrir. Vale chegar com algumas respostas. Estas perguntas cabem numa conversa de meia hora com o dono de cada origem:

• Qual é a chave que identifica um registro nesta tabela, e ela é única?
• Este campo é preenchido pelo sistema ou digitado por alguém? Por quem?
• Existe uma lista de valores válidos escrita em algum lugar, ou ela está na cabeça de uma pessoa?
• O que significa o campo em branco: não se aplica, não se sabe ou ninguém anotou?
• Houve mudança de sistema, de cadastro ou de regra no período que a análise cobre?
• Algum campo é corrigido depois, em outra planilha, sem voltar para a origem?
• Quem vai usar o resultado, e para decidir o quê?

A última pergunta parece fora do lugar e é a mais útil. Ela define a coluna de criticidade e evita que a equipe gaste uma semana limpando um campo que nenhuma conclusão usa.

Exemplo de checklist de qualidade de dados preenchido

O exemplo abaixo vem do caso ilustrativo do kit, a mesma distribuidora da abertura, investigando a alta da ruptura. A folha foi preenchida com oito campos de três origens. Clique na miniatura para ver a planilha inteira e baixar a versão preenchida.

1. Distribuidora de material de construção: o campo mais completo era o crítico

Neste caso, o checklist de qualidade de dados mede oito campos vindos de três origens: uma base de movimentação com 184.320 registros, um sistema de armazém com 87.360 e uma planilha de pedidos com 4.180. Cada linha foi medida contra o total da própria origem, e não contra a soma das três.

Quatro linhas saíram OK sem discussão. COD_SKU e CD não tiveram nenhum problema. DT_PEDIDO somou 53 problemas, 12 nulos e 41 fora do domínio, e aparece com 0,0% pelo arredondamento. QTD_SALDO teve 218 inconsistências, taxa de 0,2%.

STATUS_ITEM ficou no limite do OK, com 1.642 registros fora do domínio e taxa de 1,9%, logo abaixo do corte de 2%. Foi o único campo marcado como não crítico, porque a conclusão da análise não dependia dele. Por isso a taxa perto do limite não mudou nada no plano.

Duas linhas acenderam atenção. LEAD_TIME teve 334 nulos, taxa de 8,0%. DT_ENTREGA juntou 51 nulos e 96 datas fora do domínio, 147 problemas e taxa de 3,5%. Ambas eram críticas para a análise, e por isso seguiram adiante só com o tratamento registrado.

A linha que travou a análise foi FORNECEDOR: zero nulos, zero duplicados, zero fora do domínio e 612 inconsistentes, taxa de 14,6% e veredito crítico. Era o campo que parecia mais completo na tela. Marcado como crítico, ele caiu na regra do quarto passo da folha e foi para a P09 antes de qualquer gráfico de gestão de fornecedores ser montado.

O caso ensina uma coisa sobre qualidade de dados que a teoria costuma deixar em segundo plano: a linha crítica não tinha nenhuma célula vazia. Você já aprovou uma coluna só porque não achou nenhum buraco nela? Um olhar rápido na planilha de Compras teria aprovado FORNECEDOR como o campo mais completo da base. Só o teste de consistência, feito por cruzamento com o cadastro, mostrou a mesma empresa escrita de formas diferentes.

O caso também mostra que um veredito de atenção não é sentença. LEAD_TIME, com 8,0%, entrou na análise depois de tratado, com o critério escrito. É a diferença entre um número que a diretoria aceita e um número que ela contesta na primeira pergunta sobre lead time.

Da folha para o tratamento: o que o caso fez com cada veredito

O Registro de Tratamento (P09) começa onde o checklist de qualidade de dados termina, e no caso a passagem foi feita linha por linha. Vale olhar o que aconteceu com os três campos que não saíram OK, porque cada um pediu uma decisão diferente.

Em FORNECEDOR, a P09 registra que o nome aparecia grafado de até três formas e que a normalização foi feita pelo cadastro do ERP, “por CNPJ do fornecedor, nunca pelo nome digitado”. Os casos ambíguos foram revisados por amostragem. Com o nome resolvido, a comparação de prazo por empresa passou a fazer sentido, e a avaliação de fornecedores ganhou uma base honesta.

Em LEAD_TIME, os 334 nulos foram preenchidos com a mediana do próprio fornecedor. O critério escrito explica a escolha. Excluir as linhas enviesaria a comparação contra quem preenche pior a planilha. O risco foi classificado como médio e declarado, em vez de escondido.

Em DT_ENTREGA, a decisão se dividiu. Os 51 nulos receberam a mediana. As 96 entregas com data anterior ao pedido foram excluídas, porque nenhuma regra transforma uma data impossível num dado confiável. Cada tratamento diferente ficou numa linha diferente da P09, com o número de registros afetados.

Essa passagem do caso me agrada muito, porque cada escolha de tratamento deixou rastro escrito. Ao falar dos registros da fase de dados, o guia do kit lembra que nenhum deles aparece no gráfico final e que, sem eles, o lead time médio vira “um número sem crédito”. Numa cultura baseada em dados, esse crédito vem da qualidade de dados, e ele se ganha linha a linha na P09, muito antes de o gráfico ficar pronto.

Erros comuns no checklist de qualidade de dados

• Julgar o campo pela aparência. Coluna cheia não é coluna certa. FORNECEDOR, no caso, estava completo e era o pior campo da base.
• Medir a base inteira numa taxa só. A média dilui o campo crítico no meio de campos limpos, e a base parece pronta quando não está.
• Contar fora do domínio sem regra escrita. Cada pessoa aceita um conjunto de valores diferente, e a contagem deixa de ser reproduzível.
• Tratar e medir ao mesmo tempo. Quem corrige enquanto conta perde o número de antes, e ninguém consegue mais dizer quanto a base estava ruim.
• Deixar a última coluna em branco. Sem criticidade, a regra de travar a análise não tem como funcionar, e todo vermelho vira discussão.
• Medir uma vez e esquecer. Base viva muda. Uma nova extração pede uma nova rodada, principalmente se o período ou a origem mudou.
• Pular a folha porque o painel já existe. Um painel de business intelligence bem desenhado sobre dado não medido só espalha o erro mais depressa.

O último erro é o mais caro, porque chega tarde. Quem monta relatório direto da origem, como é comum ao carregar dados no Power BI, pode aplicar a mesma régua dentro da ferramenta. Basta contar nulos e valores fora da lista por coluna, antes de publicar a primeira página. O passo a passo de como tratar dados no Power BI cobre a parte técnica. O checklist de qualidade de dados cobre a decisão de quais colunas precisam passar pelo teste.

Quando o checklist de qualidade de dados pode ser curto

Nem toda análise pede vinte linhas. Uma base pequena, de uma origem só, com três campos usados, resolve a folha em meia hora. O que não muda é a regra: medir antes, com régua escrita, e registrar o que foi feito. O tamanho do checklist de qualidade de dados acompanha o tamanho da pergunta.

O guia do kit é explícito sobre o contrário, o atalho que parece economia: “Na fase Dados, não pule o Checklist de Qualidade (E06) mesmo com prazo curto: é o que evita que um campo ruim vire uma conclusão errada mais adiante”. Prazo curto é justamente quando menos se pode refazer uma análise que partiu de um campo errado.

Em bases muito grandes, típicas de big data, contar tudo pode ser caro. Nesse caso, a lógica da auditoria volta: uma amostra escolhida por quem mede, de tamanho declarado, com a taxa calculada sobre ela. O checklist de qualidade de dados continua o mesmo. Muda só o que vai na coluna de registros totais, que passa a ser o tamanho da amostra.

Modelo de checklist de qualidade de dados em branco para baixar

A planilha E06 do kit, em branco, é o modelo de checklist de qualidade de dados, com as fórmulas prontas. Você preenche as colunas em amarelo e ela calcula as cinzas: problemas, taxa e veredito.

A folha tem cabeçalho com as quatro instruções de preenchimento, vinte linhas para campos, a linha de total e a legenda que separa o que você digita do que a planilha calcula. A régua OK até 2%, atenção até 10% e crítico acima de 10% já está nas fórmulas e no rodapé.

Abrir e baixar a E06 em branco (planilha)

Para quem vai usar a folha pela primeira vez, a sugestão é refazer o exemplo da distribuidora: digite as oito linhas na planilha em branco e confira se os vereditos batem. Em dez minutos fica claro o que cada coluna faz, e esse ensaio curto dá o gás para encarar a própria base.

No kit que a gente montou, o checklist de qualidade de dados convive com outras dezoito ferramentas que acompanham uma pergunta de negócio da definição até a recomendação. Para aprender a conduzir esse caminho inteiro, com base real, a formação em análise de dados da Voitto aprofunda cada uma das cinco fases do kit. Para quem vai levar o método a projetos de melhoria, a Academia de Certificação da Voitto reúne as certificações em que a etapa de Medição cobra esse cuidado.