Método · Información
Encontrar una fuente no demuestra una conclusión
La recuperación mide proximidad entre textos; la conclusión exige una relación entre lo que la fuente dice y lo que se afirma.
Un sistema de recuperación devuelve los pasajes más próximos a la pregunta. Proximidad no es respaldo. Un documento puede tratar exactamente el tema, mencionar los mismos términos y no sostener la afirmación que se está escribiendo.
El fallo que más nos preocupa tiene esta forma: la cita existe, es pertinente y no dice lo que la frase afirma. Quien lee ve una referencia y da por hecho el respaldo, porque comprobarlo exige abrir el documento.
Hemos incorporado dos hábitos. El primero es anclar cada afirmación a un fragmento concreto, no a un documento entero: si el anclaje no aparece, la afirmación se retira antes de llegar al texto. El segundo es evaluar por separado dos cosas que suelen medirse juntas: si el pasaje correcto fue recuperado, y si el pasaje recuperado sostiene la conclusión. La segunda pregunta necesita lectura humana y no admite atajos por ahora.
El coste es visible: el sistema responde menos y se abstiene más. A cambio, cuando responde, la relación entre fuente, sentido y conclusión puede examinarse sin reconstruirla de memoria. En los conjuntos con los que trabajamos, la abstención bien explicada ha resultado más utilizable que una respuesta con una cita que no sujeta nada.