Engenharia linguística e geração baseada em conhecimento

01

Análise e representação linguística

A linguagem não chega ao sistema como uma estrutura limpa. Contém entidades, relações, eventos, referências temporais, quantidades, modalidade, negação, condições, argumentos, incerteza, terminologia e dependências contextuais que podem necessitar de uma representação explícita.

Combinamos modelos linguísticos, extração estruturada, classificação, embeddings, retrieval, regras e validadores para transformar linguagem aberta em objetos computáveis. Quando o domínio o exige, essas representações ligam-se a taxonomias, terminologias, esquemas conceptuais e estruturas de conhecimento.

Não procuramos unicamente compreender uma frase: procuramos representar suficientemente bem o seu significado para que outro componente possa raciocinar, comparar, gerar ou atuar sobre ele.

02

Planeamento e geração NLG

Gerar linguagem fiável começa antes de redigir. Quando o problema o exige, separamos a evidência disponível, a representação de factos e relações, a seleção de conteúdo, o planeamento narrativo e a realização linguística.

Sobre essa arquitetura combinamos cálculo determinista, regras, templates, retrieval, modelos generativos e restrições estruturais. O sistema pode decidir o que comunicar, por que ordem, com que granularidade, para que audiência, em que idioma e através de que forma linguística sem delegar necessariamente todas essas decisões num único modelo.

Uma mesma representação de evidência pode alimentar narrativas, idiomas, durações e perfis de audiência diferentes conservando um núcleo factual comum.

Os modelos generativos alargam enormemente o espaço de expressão possível; a engenharia NLG determina que liberdade devem ter e onde essa liberdade deve terminar.

04

Localização computacional e variação linguística

Localizar não consiste em substituir expressões de uma variedade pelas de outra. Exige modelar simultaneamente o que deve mudar, o que pode mudar e o que deve permanecer invariável.

Trabalhamos com diferenças lexicais, morfossintáticas, terminológicas, pragmáticas e de registo; memórias e restrições linguísticas; investigação contrastiva; geração de corpora; avaliação semântica e revisão adversarial.

Uma transformação pode ser perfeitamente natural e, ainda assim, introduzir uma inferência, eliminar uma condição, alterar uma relação ou deslocar o sentido. Por isso tratamos a localização como um problema de transformação controlada, com contexto, evidência, restrições e critérios explícitos de avaliação.

A qualidade não consiste em o resultado «soar local». Consiste em mudar exatamente aquilo que deve mudar sem modificar aquilo que deve permanecer verdadeiro.

05

Terminologia computacional e conhecimento conceptual

Uma palavra não é um conceito e uma coincidência de cadeias não demonstra identidade de significado.

Construímos recursos terminológicos que relacionam conceitos, termos preferidos, variantes, definições, domínios, idiomas, variedades, contextos de utilização, restrições e evidência.

Estas estruturas podem intervir durante retrieval, classificação, geração e avaliação. Quando é necessário, a terminologia liga-se a taxonomias, entidades e modelos conceptuais para que compreensão, geração e avaliação partilhem uma representação coerente do domínio.

06

Geração condicionada por audiência e contexto

Adaptar a linguagem a uma audiência não consiste simplesmente em mudar o tom. Um sistema pode condicionar a geração por conhecimento prévio, objetivo comunicativo, registo, canal, extensão, profundidade, idioma, contexto e restrições editoriais ou de domínio.

A arquitetura deve distinguir entre aquilo que pode variar na realização linguística e aquilo que pertence ao conteúdo factual e deve conservar-se.

Uma mesma base de conhecimento pode assim produzir explicações diferentes para audiências diferentes sem precisar de inventar uma realidade diferente para cada uma.

07

Linguagem multimodal: voz, legendas e vídeo

A linguagem continua sujeita a restrições quando abandona a página. Voz, legendas e vídeo introduzem duração, ritmo, pronúncia, segmentação, sincronização e alinhamento temporal.

Integramos ASR, TTS, geração linguística, legendagem, alinhamento e composição audiovisual dentro de pipelines em que o conteúdo pode conservar uma representação comum enquanto muda o meio de realização.

Isto permite coordenar texto, voz e vídeo sem tratar cada formato como um processo independente.

08

Avaliação semântica e linguística

Avaliar linguagem não consiste unicamente em medir semelhança textual. Duas frases podem utilizar palavras diferentes e conservar o mesmo significado; também podem ser muito semelhantes e conter uma contradição crítica.

Combinamos, consoante o problema, avaliação de fidelidade semântica, cobertura, contradições, entailment, terminologia, registo, naturalidade, consistência e conservação de invariantes.

Utilizamos validadores deterministas quando uma condição pode ser verificada de forma exata, modelos quando a avaliação exige interpretação e revisão humana quando existe ambiguidade, risco ou necessidade de autoridade linguística.

Um avaliador generativo não substitui as verificações deterministas que o sistema pode realizar diretamente.

09

Human-in-the-loop e governação linguística

A intervenção humana não deve limitar-se a corrigir no fim aquilo que um modelo produz. Deve situar-se onde traz informação, critério ou autoridade que o sistema não pode obter por si só.

Isto inclui investigação linguística, definição de critérios, resolução de ambiguidades, revisão de casos difíceis, criação de conjuntos de referência, avaliação adversarial, auditoria e aprovação quando o contexto a exige.

O objetivo é utilizar a revisão especializada para melhorar o sistema e os seus critérios, não transformar cada saída num processo manual.

11

A linguagem pode ser generativa sem deixar de ser engenharia.

Um sistema linguístico sério não se mede unicamente pela qualidade daquilo que escreve. Também por aquilo que representa, pelas restrições que conserva, pelas transformações que pode explicar e pela nossa capacidade de detetar quando uma saída deixou de significar aquilo que devia significar.

Desenhamos essa camada completa: do conhecimento à linguagem e da linguagem novamente a uma representação que possa ser verificada.