‹ Cultura 3.14 · Qué nos preguntamos
Pregunta · Información
¿Cómo sabe un sistema que ha encontrado evidencia suficiente?
Un sistema puede recuperar diez pasajes pertinentes y seguir sin material para sostener la afirmación que va a escribir.
Por qué importa
La recuperación mide parecido, no suficiencia. Un buscador devuelve lo más próximo a la pregunta aunque lo más próximo no baste para responderla.
Cuando el sistema redacta igualmente, el resultado es una respuesta correcta en forma y sin fundamento en el fondo. Es el fallo más difícil de detectar leyendo la salida.
Qué sabemos hasta ahora
Funciona bastante bien exigir que cada afirmación quede anclada a un pasaje concreto y descartar la afirmación cuando el anclaje no aparece. También ayuda separar la pregunta en subpreguntas y comprobar la cobertura de cada una por separado.
Los umbrales de puntuación, en cambio, se han comportado peor de lo que esperábamos: cambian con el corpus y con el idioma.
Qué continúa abierto
No sabemos cómo distinguir «no hay evidencia» de «la evidencia existe pero no la hemos recuperado». Para quien lee, las dos situaciones producen la misma abstención y no merecen la misma respuesta.
También queda abierto cuánta evidencia es suficiente cuando la pregunta pide una síntesis y no un dato.