Como medir indicadores de qualidade sem virar burocracia

Um painel de qualidade raramente morre por falta de indicador. Ele morre porque alguém precisa alimentar trinta campos toda semana e esse alguém tem outro trabalho. O indicador some da planilha antes de sumir da discussão.

Medir indicadores de qualidade é uma operação com custo: minutos de alguém, atenção retirada da tarefa, retrabalho quando o campo vem errado. Esse custo é pago todo mês e quase nunca aparece na conta que aprovou o indicador.

A pergunta desta etapa não é o que medir. É quanto custa medir isso, e se o dado que chega é confiável o bastante para sustentar a decisão que ele promete sustentar.

Você vai ver como escolher entre fonte automática e coleta manual, onde cada uma distorce, quando coletar, que instrumento usar, quem deve coletar, como amostrar quando medir tudo é caro e como reduzir um painel que já inflou.

Os números do exemplo foram montados para este artigo, no formato de rotina de coleta usado nos kits da Voitto. São ilustrativos: mostram como a conta de custo de medição fecha, não descrevem uma operação real.

Medir custa, e esse custo quase nunca entra na conta

Quando um indicador é aprovado, discute-se o que ele vai revelar. Ninguém abre a outra coluna: quantos minutos por semana, de quantas pessoas, esse número vai consumir para existir. O custo é real, recorrente, e é pago por quem não escolheu o indicador.

Ele tem três parcelas. O tempo de registro, em que o operador para, preenche e volta. O tempo de consolidação, em que alguém junta, digita e confere. E a mais cara: o tempo de discutir se o número está certo quando ele contraria a expectativa de alguém.

Um painel com quinze indicadores manuais numa área de trinta pessoas consome de vinte a trinta horas por mês entre registro e consolidação. É um posto de meio período alimentando números. A pergunta não é se vale a pena, é quais dos quinze valem.

Medir bem é decidir onde gastar o minuto de coleta. Cada minuto gasto com um indicador que ninguém usa é um minuto que faltou no indicador que muda decisão. A escassez aqui não é de dado, é de atenção de quem coleta.

Quando o custo de medir supera o valor da informação

Existe um ponto em que o indicador custa mais do que rende, e ele é identificável com duas perguntas: qual decisão esse número alimenta, e quanto vale a diferença entre decidir com ele e decidir sem ele.

Se a decisão é anual e o dado é diário, há desequilíbrio. Se a decisão é a mesma qualquer que seja o valor, o retorno é zero. Se o número só é olhado quando alguém pergunta, ele não sustenta decisão, sustenta expectativa de cobrança.

O teste mais direto é o da suspensão: pare de coletar por um mês e veja quem sente falta. Em painéis inflados, boa parte dos indicadores passa o mês sem ninguém reclamar. Esse silêncio é informação.

Há exceção legítima: indicador de segurança, conformidade regulatória ou risco sanitário. Ali o valor não está na frequência de uso, está na consequência de não ter o registro quando ele for exigido. Fora desses casos, se a coleta consome mais tempo por mês do que a ação que ela desencadeia, o indicador está invertido.

Confiabilidade do dado: o que ela significa na coleta

Número confiável não é número bonito. É o número que, se duas pessoas coletassem o mesmo evento, daria igual, e que, refeito amanhã nas mesmas condições, daria igual. Repetibilidade e reprodutibilidade são as duas perguntas da confiabilidade.

A perda não costuma vir de má fé. Vem de ambiguidade no que conta como ocorrência, de registro feito de memória horas depois, de campo preenchido no automático para fechar a folha e de célula em branco que vira zero na consolidação.

A distinção que economiza discussão é entre dado faltante e dado zero. Linha vazia significa que não houve ocorrência ou que ninguém registrou? Formulário que não separa as duas coisas produz série que parece boa exatamente quando a coleta está falhando.

A pergunta de teste: pegando o registro de ontem e reconstituindo no processo o que aconteceu, eu chego no mesmo número? Se não chego, a série do painel é decorativa e qualquer análise feita sobre ela herda o erro.

Fonte automática: o que resolve e o viés que carrega

Dado de sistema tem duas vantagens difíceis de superar: custo marginal próximo de zero e ausência de esquecimento. O ERP não deixa de registrar a nota porque o dia estava corrido. Havendo fonte automática razoável, ela ganha da coleta manual no critério de custo.

O viés é sutil: ela mede o que o sistema foi construído para medir. O sistema de chamados registra o fechamento no software, que pode ser horas depois do atendimento real, ou em lote na sexta-feira.

O segundo viés é o do evento que não gera transação. Retrabalho corrigido na hora pelo operador não deixa rastro. Peça reprocessada sem baixa de estoque não aparece. A fonte automática é cega para o que foi resolvido fora do fluxo formal, que costuma ser o problema crônico.

Antes de adotar, rastreie um caso de ponta a ponta: pegue um evento real e siga onde ele entrou no sistema, quando e por quem. Isso revela em meia hora um desvio de definição que levaria meses para aparecer no painel. Documente o que a fonte mede de fato.

Coleta manual: o que ela enxerga e onde distorce

Coleta manual existe porque eventos importantes não passam por sistema nenhum. Quase-acidente, ajuste informal, espera por falta de material, reclamação verbal no balcão. Nenhum gera transação e todos mudam decisão.

A distorção clássica é o subregistro seletivo: registra-se o evento grande e esquece-se o pequeno, que é o frequente. A série subestima o volume e superestima a gravidade média, empurrando a análise para causas excepcionais quando o problema é rotineiro.

A segunda é o efeito de observação. Nas duas primeiras semanas de uma coleta nova o número sobe, porque as pessoas passam a enxergar ocorrências que sempre existiram. Ler essa subida como piora do processo é erro caro, porque gera ação sobre um fenômeno de medição.

A terceira é a coleta retrospectiva disfarçada de tempo real, com a folha preenchida às dezessete horas, de memória. O que sai dali é reconstrução, e reconstrução lembra o que incomodou. Série manual sustenta ordem de grandeza e tendência grosseira, não comparação de décimos entre turnos.

O momento da coleta: na ocorrência ou no fim do turno

A escolha do momento define a qualidade do dado mais do que o formato do formulário. Registro na ocorrência captura o que aconteceu; registro no fim do turno captura o que foi lembrado. A diferença não é pequena nem constante.

Registrar na ocorrência custa interromper a tarefa. É aceitável quando o evento é raro e o registro é curto, e fica proibitivo quando acontece trinta vezes por turno, porque aí a coleta compete com a produção e perde.

Registrar no fim do turno tem custo baixo e viés alto. Funciona para contar eventos marcantes e falha para eventos pequenos e repetidos, que são os que ninguém lembra. Falha também para qualquer coisa com horário, porque horário reconstituído é aproximado.

O meio termo resolve a maior parte dos casos: marcar na ocorrência, em três segundos, e detalhar depois. A contagem fica correta mesmo com descrição pobre. Seja qual for a escolha, ela precisa estar escrita, porque duas áreas coletando em momentos diferentes produzem números incomparáveis sem que o painel avise.

O instrumento: um formulário que se preenche em até um minuto

O instrumento é onde a teoria encontra a realidade do turno. Se preencher leva mais de um minuto, ele será preenchido no fim do dia, de memória, ou não será preenchido. Um minuto não é meta de conforto, é limite de viabilidade.

Para caber nisso, o formulário precisa ser de marcação, não de redação. Categorias pré-impressas, quadrado para marcar, campo livre pequeno e opcional. Cada campo obrigatório de texto reduz a taxa de retorno das folhas.

O número de categorias tem teto prático em torno de sete ou oito. Acima disso o operador procura a linha certa e começa a marcar por aproximação, o que contamina a distribuição. Seis categorias corretas valem mais que quinze com metade no chute.

A folha de verificação resolve isso quando é desenhada com o operador e testada três dias antes de virar padrão. O teste revela o que nenhuma reunião revela: a categoria que ninguém usa e a que todo mundo usa para tudo. Onde a folha mora também decide: presa no posto, com caneta amarrada, ela sobrevive; na gaveta, não.

Quem coleta e o conflito de interesse

O arranjo mais comum é o pior: quem responde pelo número é quem coleta o número. O supervisor avaliado pelo índice de retrabalho é o mesmo que preenche o registro de retrabalho. Não é preciso supor má fé para o resultado sair enviesado.

O viés aparece nas margens. Ocorrência duvidosa vira fora do escopo. Evento no limite do critério não é registrado. Peça retrabalhada no fim do turno entra no dia seguinte. Cada decisão isolada é defensável e o conjunto empurra o número na direção conveniente.

Três arranjos reduzem isso sem criar polícia: separar coleta de responsabilidade, com quem opera registrando e quem responde analisando; usar fonte automática justamente nos indicadores com consequência pessoal; e fazer conferência cruzada por amostra, conduzida por outra área.

O que não funciona é anunciar que o indicador é só para aprendizado e depois usá-lo em avaliação. Basta uma vez para a coleta mudar de comportamento em definitivo. Quando não dá para separar coleta de responsabilidade, registre a limitação: a série serve para tendência interna, não para comparar áreas.

Análise do sistema de medição em versão simplificada

Antes de acreditar na variação de um indicador, é preciso saber quanto dela vem da medição. O estudo formal de repetibilidade e reprodutibilidade é caro. Existe uma versão simplificada que cabe numa manhã e resolve a maior parte dos casos.

Separe vinte casos reais, entre claramente conformes, claramente não conformes e duvidosos. Peça a três pessoas que classifiquem cada caso isoladamente, sem conversar. Repita dias depois, com as mesmas pessoas e os casos embaralhados.

Saem duas contas. A concordância de cada pessoa consigo mesma, entre as duas rodadas, mede a repetibilidade; a concordância entre as três mede a reprodutibilidade. Abaixo de noventa por cento em classificação binária, o critério é ambíguo, e o problema está na definição, não nas pessoas.

O resultado mais útil raramente é o percentual: são os casos em que as três divergiram, porque eles apontam onde a regra é vaga. Para indicador contínuo a lógica é a mesma com instrumento no lugar da classificação, e se a variação do medidor consome fatia relevante da tolerância, a discussão sobre capabilidade do processo fica sem base.

Amostragem: quando medir tudo é caro demais

Cem por cento de inspeção parece seguro e frequentemente não é. Inspeção total repetitiva tem escape conhecido por fadiga de atenção e custa o tempo integral de alguém. Amostra bem feita entrega estimativa suficiente por fração do custo.

O que define o desenho da amostra é o uso do resultado. Estimar um nível médio, detectar uma mudança ou separar um lote ruim são três objetivos com exigências diferentes de tamanho e frequência.

Para acompanhar tendência, amostra sistemática basta: cinco peças por hora, ou os vinte primeiros atendimentos do turno. A regularidade importa mais que o tamanho, porque preserva a comparabilidade entre períodos. O erro que invalida tudo é a seleção conveniente, pegar o que está por cima da caixa, e ela é invisível no resultado.

Amostra também muda a leitura: a série oscila mais que uma censitária, e reagir a cada ponto vira reação a ruído. Nesses casos a carta de controle deixa de ser refinamento estatístico e vira condição para não agir errado.

A categoria outros que vira depósito

Toda folha nasce com uma linha chamada outros, pensada para a exceção rara. Em poucas semanas ela costuma ser a maior categoria da folha. Quando isso acontece, o instrumento parou de informar e passou a registrar volume.

A causa quase nunca é preguiça de quem preenche. É que as categorias oferecidas não correspondem ao que acontece, porque foram definidas numa sala por quem não opera, ou porque o processo mudou e a folha não.

O limite prático é cinco por cento, e a revisão tem método barato: exija uma palavra ao lado de cada marcação em outros durante duas semanas, leia as palavras, e as duas ou três categorias faltantes aparecem sozinhas.

Uma categoria outros inflada estraga qualquer priorização. O diagrama de Pareto construído sobre uma folha em que outros responde por trinta por cento vai apontar a segunda causa como se fosse a primeira, com toda a confiança de quem tem um gráfico.

O que conta como ocorrência na hora de marcar

A fórmula pode estar impecável no papel e ainda assim produzir números incomparáveis, porque a dúvida do operador não é sobre a fórmula, é sobre o evento. Peça ajustada em dez segundos e liberada conta como retrabalho? Cliente que ligou duas vezes pelo mesmo assunto é uma reclamação ou duas?

Essas perguntas parecem menores e são as que mais deslocam a série. A mesma operação, com duas interpretações, produz variação de trinta a cinquenta por cento no volume registrado sem que nada tenha mudado no processo.

A regra de decisão precisa estar no próprio instrumento, não num manual à parte. Uma linha no cabeçalho dizendo que ajuste do próprio operador em menos de um minuto não é retrabalho resolve a dúvida no momento em que ela aparece, que é o único momento útil.

Vale também para as bordas de tempo: ocorrência que começa num turno e termina no outro entra em qual, e evento identificado hoje sobre produção de ontem entra em que data. O teste é entregar dez casos de borda a três coletores; divergência em mais de um caso significa que a regra ainda está aberta.

Verificação periódica da coleta

Coleta não se degrada de uma vez. Uma folha deixa de ser preenchida num turno, depois nos fins de semana, depois nos dias corridos. Como o painel continua mostrando números, a degradação passa despercebida até alguém decidir mal com base nela.

A verificação precisa ser barata para acontecer. Auditoria trimestral formal não pega degradação mensal. O que funciona é uma conferência curta e regular, uma vez por mês, meia hora, três perguntas.

1. A coleta aconteceu em todos os períodos previstos, ou há dias sem registro que ninguém notou?
2. Uma amostra de cinco registros, reconstituída na origem, bate com o que foi lançado?
3. A categoria outros está abaixo do limite acordado?

O resultado precisa ter destino. Se a conferência aponta falha e nada muda, ela vira ritual em dois ciclos. Um campo de status da coleta na gestão à vista da área, mostrando se o dado do mês está completo, faz mais pela confiabilidade que relatório de auditoria.

Há um indicador de segunda ordem que vale acompanhar: a taxa de preenchimento. Custa quase nada, porque sai da própria coleta, e é o primeiro sinal de que um indicador está morrendo. A queda dela antecede em semanas a perda de confiança no número.

O que vale automatizar e o que não vale

Automatizar coleta é a saída óbvia e nem sempre a certa. O cálculo é o de qualquer investimento: custo de implantar e manter contra horas economizadas por mês, considerando que o indicador precisa durar o bastante para pagar a conta.

Vale automatizar o que é alto volume, repetitivo, já existente em sistema e estável na definição. Tempo de ciclo a partir do apontamento de produção, contagem de chamados por categoria, prazo a partir da data de expedição. Retorno rápido e viés gerenciável.

Não vale automatizar o que ainda muda de definição. Integrar um indicador cuja regra de contagem será revista no trimestre seguinte costuma custar mais em retrabalho do que manter a planilha por mais seis meses. Também não vale automatizar julgamento: classificação de causa e de gravidade depende de contexto, e forçar automação ali produz uma categoria dominante e genérica.

Uma etapa intermediária resolve bem: manter a coleta manual e automatizar só a consolidação. A folha continua no posto e a digitação alimenta direto o painel, sem planilha intermediária. Isso elimina a parcela mais cara e mais sujeita a erro sem tocar no registro.

Exemplo ilustrativo: a conta de custo de uma rotina de coleta

O quadro levanta o custo mensal de coleta de um painel de cinco indicadores de uma área. A conta usa só o tempo de registro, sem consolidação nem discussão, o que a torna conservadora.

As 27,0 horas correspondem a 1.618 minutos de registro por mês. Um único indicador, retrabalho por posto, responde por 14,7 horas, ou 54 por cento do custo total da rotina. Ele é o candidato natural a revisão, e revisão não precisa ser corte.

Trocando o registro de toda ocorrência por amostragem em dois dias fixos por semana, as coletas de retrabalho caem de 880 para 250 por mês e o custo do indicador vai de 14,7 para 4,2 horas. O painel passa a custar 16,5 horas mensais, redução de 10,5 horas.

A perda é real e precisa ser dita: com amostra, o número deixa de comparar postos entre si no mês e passa a acompanhar a tendência da área. Se a decisão é onde investir em dispositivo à prova de erro, a tendência basta; se é bonificação por posto, não basta, e as 14,7 horas se justificam.

A conta muda o tipo de conversa. Em vez de discutir se o indicador é importante, o que sempre termina em sim, discute-se se ele vale 14,7 horas por mês da equipe. Essa segunda pergunta tem resposta.

Indicadores que só existem porque alguém pediu uma vez

Em quase todo painel antigo há um número cuja origem ninguém explica. Foi pedido numa reunião, há três anos, por alguém que queria entender um problema daquele momento. O problema foi resolvido, a pessoa mudou de área, a coleta continuou.

São difíceis de remover porque ninguém se sente autorizado. Quem coleta acha que alguém usa, quem recebe acha que alguém pediu, e a pergunta nunca é feita porque parece pouco importante diante do resto.

A coleta continua justamente porque é barata individualmente. Nenhum indicador órfão custa muito sozinho. Somados, são a maior parte da fadiga de coleta da equipe e a razão pela qual os indicadores que importam chegam mal preenchidos.

O procedimento cabe em uma reunião: para cada indicador, quem é o dono e que decisão ele tomou nos últimos três meses com esse número? Sem dono nomeado ou decisão citada, o indicador entra em suspensão por sessenta dias, não em exclusão. A suspensão resolve o problema político, porque quem sentir falta pede de volta, e volta com dono definido.

Como reduzir um painel inflado

Redução por decreto falha. O anúncio de que o painel vai de vinte para oito mobiliza cada dono a defender o seu, e o processo termina em dezoito com dois renomeados. A redução precisa ser feita pelo custo, não pela importância, porque importância todo indicador tem.

O primeiro passo é levantar, indicador por indicador, o custo mensal de coleta em horas, como no quadro anterior. Leva meia manhã e muda a conversa sozinho, porque coloca um número de um lado da balança que antes só tinha argumento.

O segundo é classificar cada indicador em uma de quatro saídas, e não em manter ou cortar: manter como está, manter com fonte trocada para automática, manter com amostragem, suspender por sessenta dias. Quatro saídas dão espaço para o dono ceder sem perder.

O terceiro é fixar um teto de horas mensais de coleta para a área e deixar o time distribuir dentro dele. O teto transforma disputa de preferências em alocação, porque incluir um indicador novo passa a exigir dizer qual sai. O critério de sucesso não é o número de indicadores, é a taxa de preenchimento dos que ficaram.

Por onde começar

Se o painel já existe e a coleta já dói, comece pelo levantamento de custo: indicador, coletas por mês, minutos por coleta, horas resultantes. Não precisa de precisão, precisa de ordem de grandeza, e ordem de grandeza sai de vinte minutos de conversa com quem coleta.

Depois escolha o indicador mais caro e faça uma pergunta ao dono: que decisão você tomou com ele nos últimos três meses? A resposta define se ele é candidato a automação, a amostragem ou a suspensão. Um indicador por vez evita a mobilização defensiva.

Se a coleta está começando agora, o caminho é outro: um indicador só, instrumento de um minuto, testado três dias no posto antes de virar padrão, com a regra de borda escrita no cabeçalho da folha.

1. Levante o custo mensal de coleta de cada indicador, em horas.
2. Confirme, para os três mais caros, qual decisão eles alimentam.
3. Troque por fonte automática o que for alto volume e definição estável.
4. Aplique amostragem onde a decisão é de tendência, não de comparação.
5. Suspenda por sessenta dias o que não tiver dono nem decisão citada.
6. Instale a conferência mensal de meia hora e acompanhe a taxa de preenchimento.

Medição boa é discreta: cabe na rotina, sobrevive ao mês corrido, chega inteira ao painel e sustenta a decisão que prometeu sustentar. Painel que exige esforço heroico para ser alimentado não é rigoroso, é insustentável, e para exatamente quando for mais necessário.