‹ Cultura 3.14 · O que nos perguntamos
Pergunta · Linguagem
Como se avalia uma mudança de sentido que é linguisticamente natural?
As métricas automáticas premeiam a fluência, e o erro mais caro de uma tradução é precisamente fluente.
Porque importa
Os erros que se detetam sozinhos são os desajeitados. O que importa é o que produz uma frase impecável com uma obrigação diferente, uma condição ausente ou um matiz invertido.
Nenhuma métrica baseada em semelhança o assinala, porque a frase parece-se muito com o original.
O que sabemos até agora
A revisão humana dirigida a categorias concretas — condições, negações, quantificadores, modalidade, alcance — encontra bastante mais do que a revisão livre. Comparar o par de textos frase a frase, com as diferenças marcadas, acelera muito esse trabalho.
Medimos em separado o cumprimento terminológico, que é automatizável, e o deslocamento de sentido, que por agora não o é.
O que continua em aberto
Estamos a avaliar se um modelo consegue detetar estas categorias de forma fiável em pares de idiomas concretos. Os resultados variam demasiado entre domínios para se poder generalizar.
Também não sabemos quanta revisão humana é proporcionada quando o volume é alto e o risco por peça é baixo.