Evals: medindo a qualidade da IA
Golden set, LLM-as-judge e por que testar antes de publicar — o controle de qualidade que separa amadores de profissionais.
Como saber se o seu agente é bom? Ler duas ou três conversas e "achar que está ok" não é medição — é impressão. As operações sérias de IA usam evals (avaliações): testes padronizados que dão nota à qualidade do agente. É o mesmo salto do "provei e achei gostoso" para o controle de qualidade de fábrica.
Golden set: sua prova padrão
O primeiro ingrediente é o golden set — a coleção de casos de teste. Cada caso é uma conversa representativa: o cliente típico perguntando preço, o indeciso cheio de objeção, o apressado que quer agendar logo, o espertinho tentando desconto impossível.
A força do golden set é ser fixo: a mesma prova, aplicada sempre. Mudou o prompt do agente? Rode a prova de novo e compare as notas. Sem isso, cada ajuste é um tiro no escuro — você melhora o caso que estava olhando e piora três que não estava.
É como simulado de vestibular: não adianta estudar com questões novas a cada dia; você precisa da mesma banca para saber se está evoluindo.
LLM-as-judge: uma IA corrigindo a outra
Quem corrige a prova? Contratar gente para ler centenas de respostas não escala. A solução do mercado é o LLM-as-judge ("IA como juíza"): um segundo modelo, independente do avaliado, lê cada conversa e dá notas seguindo uma rubrica — critérios escritos, como a régua de correção de uma redação.
Duas regras deixam o juiz confiável:
- Ele é um modelo diferente (e mais criterioso) do que o avaliado — ninguém corrige a própria prova;
- Ele roda com temperatura zero (máxima consistência): a mesma resposta recebe sempre a mesma nota.
O juiz não substitui seu julgamento — ele filtra. Nota baixa aponta exatamente qual conversa merece seus olhos.
Por que rodar antes de publicar
Prompts têm um comportamento traiçoeiro: uma frase adicionada para resolver um problema pode quebrar outra coisa sem relação (a chamada regressão). O hábito profissional é simples: toda mudança relevante passa pela prova antes de ir para os clientes. Nota manteve ou subiu? Publica. Caiu? Investiga.
Como o ScalaCRM faz
Tudo isso está embutido no builder, sem planilha nem código:
- Monte o golden set: no Playground, ao final de uma conversa de teste boa (ou reveladora), clique em salvar como caso de teste. Junte seus casos representativos.
- Rode a avaliação: na aba Avançado, o botão Rodar avaliação re-executa o agente atual em cada caso salvo e o juiz dá notas de 1 a 5 em quatro critérios: tom, veracidade, condução da conversa e segurança.
- Simulador de personas: no Playground, uma IA faz o papel do lead — apressado, cético, curioso ou pronto para comprar — e conversa alguns turnos com seu agente real; ao final, o juiz entrega um relatório. É o "cliente misterioso" automatizado.
💡 Dica: os melhores casos de teste vêm da vida real. Viu uma conversa em que o agente escorregou (ou o time deu 👎 na resposta)? Reproduza a situação no Playground e salve como caso — seu golden set passa a cobrir exatamente os pontos fracos.