‹ Cultura 3.14 · O que nos perguntamos
Pergunta · Decisões
Quando traz mais valor um modelo tabular do que um modelo linguístico?
Sobre dados tabulares com etiquetas e custo de erro conhecido, o gradient boosting continua a ganhar em precisão, custo e capacidade de análise.
A pergunta chega muitas vezes em forma de proposta: «isto podia ser resolvido por um modelo linguístico». Às vezes sim. Em classificação e priorização sobre dados tabulares, nos nossos testes, quase nunca.
Montámos uma comparação sobre um conjunto tabular com etiquetas históricas e custo de erro conhecido. Um modelo de gradient boosting treinado sobre as variáveis disponíveis, frente a um modelo linguístico ao qual se entrega a mesma linha serializada e uma instrução cuidada.
O modelo tabular obteve melhor desempenho com um custo por inferência várias ordens de grandeza inferior e, sobretudo, permitiu analisar porquê. Importância de variáveis, calibração por segmento e matriz de custos são ferramentas que no outro caso não temos.
O modelo linguístico foi melhor numa coisa: nos casos com texto livre que nenhuma variável recolhia. Aí trouxe sinal real, e incorporámo-lo como mais uma variável em vez de substituir o modelo.
A conclusão que levámos não é sobre o CatBoost. É sobre a ordem das perguntas: primeiro que decisão deve melhorar e que informação está disponível quando é tomada; depois a técnica. Quando há etiquetas, a tarefa é estável e o custo do erro é conhecido, o modelo aprendido sobre esses dados continua a ser difícil de bater.