‹ Cultura 3.14 · Qué nos preguntamos
Pregunta · Lenguaje
¿Cómo se evalúa un cambio de sentido que resulta lingüísticamente natural?
Las métricas automáticas premian la fluidez, y el error más caro de una traducción es precisamente fluido.
Por qué importa
Los errores que se detectan solos son los torpes. El que importa es el que produce una frase impecable con una obligación distinta, una condición ausente o un matiz invertido.
Ninguna métrica basada en similitud lo señala, porque la frase se parece mucho al original.
Qué sabemos hasta ahora
La revisión humana dirigida a categorías concretas —condiciones, negaciones, cuantificadores, modalidad, alcance— encuentra bastante más que la revisión libre. Comparar el par de textos frase a frase, con las diferencias marcadas, acelera mucho ese trabajo.
Medimos por separado el cumplimiento terminológico, que sí es automatizable, y el desplazamiento de sentido, que por ahora no lo es.
Qué continúa abierto
Estamos evaluando si un modelo puede detectar estas categorías de forma fiable en pares de idiomas concretos. Los resultados varían demasiado entre dominios como para generalizar.
Tampoco sabemos cuánta revisión humana es proporcionada cuando el volumen es alto y el riesgo por pieza es bajo.