‹ Cultura 3.14 · O que nos perguntamos
Pergunta · Decisões
Quando é que uma métrica de confiança cria uma certeza que o sistema ainda não possui?
Uma cifra bem calibrada em agregado pode estar mal calibrada justamente no caso que alguém tem à frente.
Publicávamos uma cifra de confiança a par de cada previsão porque parecia o mais honesto. Mudámos de critério.
O problema não era a calibração agregada, que estava razoavelmente bem. Era o uso. Um número com decimais transmite uma precisão que o procedimento não tem, e quem o recebe compara-o com outros números e decide sobre essa comparação. Com o tempo, um limiar transforma-se numa regra de negócio que ninguém aprovou.
Além disso, uma calibração correta em agregado não diz nada sobre o caso concreto. Quando a linha que está à frente se parece pouco com aquilo que o modelo viu durante o treino, a cifra continua a sair com a mesma segurança tipográfica.
Agora mostramos três coisas em vez de uma: uma categoria com significado operativo definido, um aviso explícito quando o caso fica fora da distribuição habitual, e a calibração do modelo nesse segmento. Ocupa mais espaço e mudou conversas inteiras.
O que não resolvemos é a incerteza que vem dos dados que faltam, que é a mais frequente. Nenhum intervalo a recolhe, porque não está no modelo: está naquilo que ninguém registou.