Onde deve intervir uma pessoa para trazer critério sem se tornar um estrangulamento?

Porque importa

«Human in the loop» costuma ser utilizado como garantia genérica de controlo. Na prática pode significar coisas muito distintas: completar um dado, validar uma inferência, escolher entre compromissos, autorizar uma ação, resolver uma exceção ou deter o sistema.

Quando essas funções não se distinguem, a pessoa recebe demasiados casos, revê sem saber porquê, reconstrói o contexto a partir de várias aplicações ou confirma mecanicamente propostas que já não consegue avaliar com atenção.

O resultado é uma automação que parece prudente, mas desloca o trabalho e concentra o risco numa fila humana.

O que sabemos até agora

A intervenção pode ser desenhada a partir de quatro dimensões:

• impacto: que consequências tem uma decisão incorreta;
• incerteza: que parte do contexto ou da inferência continua em aberto;
• reversibilidade: se a ação pode ser desfeita com segurança;
• autoridade: quem está legitimado para aceitar as suas consequências.

A pessoa deveria receber um pacote de decisão, e não um despejo técnico: estado atual, informação utilizada, motivo do escalamento, opção proposta, alternativas permitidas, consequências e forma de corrigir o contexto.

Convém também observar a intervenção como parte do sistema:

• tempo de espera;
• percentagem de propostas corrigidas;
• frequência de cada motivo de encaminhamento;
• carga por pessoa ou por função;
• decisões confirmadas sem modificação;
• casos que voltam a escalar;
• exceções recorrentes que deveriam produzir uma regra ou um redesenho.

A pessoa deve poder trazer mais do que uma resposta binária. Em muitos casos precisa de limitar o âmbito, pedir informação, modificar a proposta, deixar o caso em aberto ou deter o percurso.

O que continua em aberto

Continua em aberto como adaptar dinamicamente os limiares de intervenção sem que o sistema aprenda simplesmente a imitar aprovações históricas.

Também como medir a fadiga de revisão antes de ela aparecer como erro; como repartir autoridade quando várias áreas partilham as consequências; e como evitar que uma redução de escalamentos oculte casos que o sistema deixou de reconhecer como incertos.

A pergunta mais difícil talvez seja organizacional: que decisões quer uma pessoa realmente conservar e quais mantém hoje unicamente porque o sistema ainda não sabe prepará-las bem.