Como a IA generativa funciona (LLMs, tokens e contexto)
O que é um modelo de linguagem, o que são tokens e janela de contexto, e por que modelos diferentes custam diferente.
Antes de configurar um agente de IA, vale entender o motor por trás dele. Não precisa de nada técnico — em dez minutos você sai daqui sabendo o que é um LLM, por que ele "cobra por token" e por que às vezes ele inventa coisas.
O que é um LLM
LLM (Large Language Model, ou "grande modelo de linguagem") é um programa treinado lendo uma quantidade absurda de texto — livros, sites, conversas. Com isso, ele aprendeu uma habilidade só, mas poderosa: prever qual é a próxima palavra mais provável dado tudo o que veio antes.
Parece pouco, mas é como um garçom experiente: de tanto ver pedidos, ele completa a frase do cliente antes de terminar. Repetindo essa previsão palavra por palavra, o modelo escreve respostas inteiras — e como "viu de tudo" no treino, responde sobre quase qualquer assunto com naturalidade.
O importante: o LLM não consulta um banco de dados de verdades. Ele gera o texto mais provável. Por isso ele precisa receber as informações do SEU negócio (preços, horários, políticas) — é o que você faz nas abas de conhecimento do agente.
Tokens: a moeda da IA
O modelo não lê palavras inteiras — ele lê tokens, pedaços de palavra. "Atendimento" pode virar 3 tokens; "oi" é 1. Em português, 1.000 tokens dão mais ou menos 700 palavras.
Tokens são a moeda do mundo da IA: tudo que entra (sua pergunta + as instruções do agente) e tudo que sai (a resposta) é contado em tokens, e o custo é proporcional. É como taxímetro: quanto mais longa a corrida (conversa), mais caro.
Janela de contexto: a memória de curto prazo
A janela de contexto é quanto texto o modelo consegue "segurar na cabeça" de uma vez — instruções, histórico da conversa e a resposta que ele está escrevendo. Tudo que fica fora da janela é como se não existisse.
Pense num balcão de padaria: cabe muita coisa, mas não cabe o estoque inteiro. Por isso o agente do ScalaCRM limita quantas mensagens antigas entram em cada resposta e usa busca inteligente (RAG) para trazer só os trechos relevantes do seu material, em vez de despejar tudo.
Por que modelos diferentes custam diferente
Modelos maiores têm mais "neurônios": raciocinam melhor, seguem instruções complexas com mais fidelidade — e custam mais por token, porque exigem mais computação. O ScalaCRM oferece dois níveis:
- Padrão (gpt-4.1-mini): rápido e barato, excelente para atendimento e qualificação — o cavalo de batalha.
- Avançado (gpt-4.1): o modelo grande, para conversas que exigem raciocínio mais fino — custa várias vezes mais por token.
💡 Dica: comece sempre no Padrão. Na prática, um agente bem configurado no modelo padrão supera um agente mal configurado no modelo avançado.
Temperatura e alucinação
Temperatura é o "grau de criatividade": baixa = respostas previsíveis e consistentes; alta = respostas variadas (e arriscadas). Tarefas de verificação no ScalaCRM rodam com temperatura zero, para máxima consistência.
Alucinação é quando o modelo, na ânsia de completar o texto, inventa algo plausível mas falso — um preço, um horário. É o maior risco em atendimento, e é por isso que o ScalaCRM cerca o agente de proteções: instruções anti-invenção no prompt, guardrails e supervisor revisando antes do envio.