Método · Informação
Encontrar uma fonte não demonstra uma conclusão
A recuperação mede proximidade entre textos; a conclusão exige uma relação entre o que a fonte diz e o que se afirma.
Um sistema de recuperação devolve as passagens mais próximas da pergunta. Proximidade não é respaldo. Um documento pode tratar exatamente o tema, mencionar os mesmos termos e não sustentar a afirmação que está a ser escrita.
A falha que mais nos preocupa tem esta forma: a citação existe, é pertinente e não diz o que a frase afirma. Quem lê vê uma referência e dá o respaldo como garantido, porque comprová-lo exige abrir o documento.
Incorporámos dois hábitos. O primeiro é ancorar cada afirmação a um fragmento concreto, e não a um documento inteiro: se a ancoragem não aparecer, a afirmação é retirada antes de chegar ao texto. O segundo é avaliar em separado duas coisas que costumam medir-se juntas: se a passagem correta foi recuperada, e se a passagem recuperada sustenta a conclusão. A segunda pergunta precisa de leitura humana e não admite atalhos por agora.
O custo é visível: o sistema responde menos e abstém-se mais. Em troca, quando responde, a relação entre fonte, sentido e conclusão pode ser examinada sem a reconstruir de memória. Nos conjuntos com que trabalhamos, a abstenção bem explicada revelou-se mais utilizável do que uma resposta com uma citação que não segura nada.