As camadas de segurança do agente

Defesa em profundidade: por que um cliente esperto não "hackeia" seu agente, mesmo tentando manipular a conversa.

"E se um cliente mandar o agente ignorar as instruções e dar 90% de desconto?" A pergunta é legítima: golpes de conversa contra IA existem (o nome técnico é prompt injection — injetar instruções maliciosas disfarçadas de mensagem). A resposta do ScalaCRM é o princípio mais antigo da segurança: defesa em profundidade — várias camadas independentes, como um castelo com fosso, muralha e guarda. Furar uma não basta.

Vamos às camadas, da mais branda à mais dura.

Camada 1: regras no prompt

O prompt do agente inclui regras fixas de proteção: não inventar preços, não sair do papel, e — crucial — tratar tudo que o cliente escreve como assunto a responder, nunca como ordem a obedecer. A mensagem do cliente jamais entra na área de instruções do prompt.

É a camada mais fraca, e assumimos isso: um modelo de linguagem pode ser enganado por conversa, do mesmo jeito que um atendente novo pode ser enrolado por um golpista talentoso. Por isso ela nunca trabalha sozinha.

Camada 2: guardrails em código

Guardrails (barreiras de proteção) são regras que rodam em código comum, não em IA — e código não é persuadível. Você define termos e padrões proibidos (na configuração de qualidade do agente) e, depois que o modelo escreve a resposta, o sistema a verifica letra por letra. Violou? A resposta é descartada e regenerada; violou de novo? O envio é bloqueado e sua equipe é avisada.

A diferença de natureza é o ponto: a camada 1 é um pedido ("não fale de X"); a camada 2 é uma parede. Não existe argumento que convença uma parede.

Camada 3: o supervisor (uma segunda IA)

Antes de enviar, uma segunda IA — o supervisor, rodando com temperatura zero e instruções só de auditoria — revisa a resposta: tem preço inventado? Promessa que a empresa não fez? Assunto fora do escopo? Reprovou, a resposta volta para revisão; reprovou de novo, não sai.

Enganar um modelo com conversa já é difícil; enganar dois, sendo que o segundo não conversa com o cliente (só lê e julga), é outra ordem de dificuldade. É o padrão das operações de IA mais avançadas do mundo.

Camada 4: validação no servidor — a muralha final

A camada decisiva: as ações do agente não são executadas pela IA. Como explica o artigo de tools, a IA apenas pede uma ação, e o servidor valida tudo em código: só ferramentas que você habilitou existem; a etapa de destino do funil vem da sua configuração, nunca do pedido; transferências só casam com membros reais da sua equipe; cada operação re-verifica que os dados pertencem à sua conta.

Consequência prática: mesmo no cenário-limite em que um atacante atravessasse as camadas 1 a 3 e ditasse o texto de uma resposta, ele continuaria sem poder algum sobre ações e dados — não move o que quer, não cria o que quer, não enxerga nada de outra conversa ou de outra empresa.

E ainda: cintos de segurança operacionais

Limite de respostas por conversa por hora (trava anti-loop com aviso à equipe), pausa automática quando um humano assume, registro de cada ação com motivo (o "Bastidores da resposta" no chat) — para qualquer comportamento estranho ser visto e interrompido rápido.

⚠️ Atenção: no modo avançado, você substitui o prompt inteiro — a camada 1 passa a ser responsabilidade sua. As camadas 2, 3 e 4 continuam de pé, mas capriche nas suas regras e teste no Playground antes de publicar.

💡 Dica: o risco real do dia a dia não é "hackeamento" — é o agente falar bobagem com educação. Guardrails com seus termos proibidos + supervisor ligado + evals rodadas antes de cada mudança cobrem esse risco.

Veja também