‹ Cultura 3.14 · Qué nos preguntamos
Pregunta · Decisiones
¿Cuándo una métrica de confianza crea una certeza que el sistema todavía no posee?
Una cifra bien calibrada en agregado puede estar mal calibrada justo en el caso que alguien tiene delante.
Publicábamos una cifra de confianza junto a cada predicción porque parecía lo honesto. Hemos cambiado de criterio.
El problema no era la calibración agregada, que estaba razonablemente bien. Era el uso. Un número con decimales transmite una precisión que el procedimiento no tiene, y quien lo recibe lo compara con otros números y decide sobre esa comparación. Con el tiempo, un umbral se convierte en una regla de negocio que nadie aprobó.
Además, una calibración correcta en agregado no dice nada sobre el caso concreto. Cuando la fila que hay delante se parece poco a lo que el modelo vio durante el entrenamiento, la cifra sigue saliendo con la misma seguridad tipográfica.
Ahora mostramos tres cosas en lugar de una: una categoría con significado operativo definido, un aviso explícito cuando el caso queda fuera de la distribución habitual, y la calibración del modelo en ese segmento. Ocupa más sitio y ha cambiado conversaciones enteras.
Lo que no hemos resuelto es la incertidumbre que viene de los datos que faltan, que es la más frecuente. Ningún intervalo la recoge, porque no está en el modelo: está en lo que nadie registró.