‹ Cultura 3.14 · O que nos perguntamos
Pergunta · Informação
Como sabe um sistema que encontrou evidência suficiente?
Um sistema pode recuperar dez passagens pertinentes e continuar sem material para sustentar a afirmação que vai escrever.
Porque importa
A recuperação mede semelhança, não suficiência. Um motor de pesquisa devolve o que está mais próximo da pergunta ainda que o mais próximo não chegue para lhe responder.
Quando o sistema redige à mesma, o resultado é uma resposta correta na forma e sem fundamento no fundo. É a falha mais difícil de detetar ao ler a saída.
O que sabemos até agora
Funciona bastante bem exigir que cada afirmação fique ancorada numa passagem concreta e descartar a afirmação quando a ancoragem não aparece. Ajuda também separar a pergunta em subperguntas e comprovar a cobertura de cada uma em separado.
Os limiares de pontuação, por outro lado, comportaram-se pior do que esperávamos: mudam com o corpus e com o idioma.
O que continua em aberto
Não sabemos como distinguir «não há evidência» de «a evidência existe mas não a recuperámos». Para quem lê, as duas situações produzem a mesma abstenção e não merecem a mesma resposta.
Fica também em aberto quanta evidência é suficiente quando a pergunta pede uma síntese e não um dado.