Segurança
Como registrar tudo que o agente fez (trilha de auditoria)
Se você não consegue reconstruir o que o agente fez e por quê, você não tem operação. Tem fé. Cinco campos por ação resolvem, e dá pra montar hoje.
Toda vez que um agente age, ele toma uma decisão. Escolheu classificar aquele chamado como urgente, escolheu não responder aquela mensagem, escolheu atualizar aquele campo.
Se essas escolhas não ficam registradas, elas desaparecem no instante em que acontecem.
E aí, no dia em que alguém pergunta por que o sistema fez tal coisa, a resposta honesta é: não sei.
As três perguntas de qualquer incidente
Quando algo dá errado, sempre são as mesmas três:
O que ele fez? Por que ele fez? O que mais foi afetado?
A terceira é a pior. Descobrir que o agente errou num caso é ruim. Não conseguir descobrir em quantos outros casos ele errou do mesmo jeito é o que transforma um problema em crise.
Sem trilha, você responde as três com achismo.
Os cinco campos
Por ação executada, cinco coisas:
Quando. Data e hora, com fuso. Parece óbvio e falta com frequência.
Qual ação. O verbo: classificou, enviou, atualizou, arquivou, recusou.
Sobre qual item. O identificador do que foi afetado: qual chamado, qual cliente, qual arquivo.
Qual o motivo declarado. Este é o que diferencia trilha de agente de log comum. Guarde a justificativa que o agente deu pra decisão. É o campo que você mais vai ler depois, porque é o que revela se o critério dele está torto.
Qual o resultado. Deu certo, falhou, ou parou no meio. Falha que não fica registrada é falha que ninguém conta.
Cinco campos. Cabe numa tabela simples, e não precisa de ferramenta especializada pra começar.
A regra que quase todo mundo quebra
O agente não pode ter permissão de escrita sobre a própria trilha.
Parece detalhe e não é. Se o agente pode alterar ou apagar o próprio registro, aquilo deixa de ser evidência e vira narrativa.
Não é sobre o agente ser malicioso. É que um agente com acesso amplo a um banco pode, tentando limpar dados antigos, apagar exatamente o que você precisaria pra entender o que ele fez. Já vi a versão humana desse acidente muitas vezes.
Registro vai pra um lugar que ele só escreve, nunca edita nem remove.
O que registrar além das ações
Duas coisas que fazem diferença na hora da investigação:
As paradas. Quando o agente decidiu não fazer algo, registra também. O que ele recusou diz tanto sobre o critério quanto o que ele executou.
As mudanças de instrução. Quando alguém alterou o escopo ou o prompt do agente, registra quem, quando e o quê. Metade dos comportamentos estranhos começa em uma alteração que ninguém lembra de ter feito.
Como usar isso no dia a dia
Trilha não serve só pra incidente. Serve pra rotina:
Amostra semanal. Quem é dono do agente pega alguns registros por semana e confere. É sondagem, não auditoria completa.
Busca por padrão. Filtra pelas falhas e vê se elas se concentram num tipo de caso. É assim que se descobre limite do agente antes do cliente descobrir.
Prova. Se um cliente questionar uma decisão automatizada, você tem o registro. Sem ele, você tem a palavra da empresa contra a percepção do cliente.
O custo comparado
Montar a trilha custa algumas horas, uma vez.
Não ter a trilha custa a impossibilidade de responder, e essa impossibilidade não tem conserto retroativo. Você não consegue reconstruir depois o que não foi guardado na hora.
É a diferença entre operar e torcer.
A decisão é sua.
Perguntas frequentes
Perguntas rápidas
+Registro de agente é diferente de log comum?
É mais exigente em um ponto: além do que aconteceu, precisa guardar o motivo declarado da decisão. Log comum registra execução; trilha de agente registra escolha, que é o que você vai querer entender depois.
+Quais campos são obrigatórios?
Quando, qual ação, sobre qual item, qual o motivo declarado e qual o resultado. Com esses cinco você reconstrói qualquer sequência, e sem qualquer um deles a reconstrução fica incompleta.
+Onde guardar esse registro?
Fora do alcance de escrita do próprio agente. Registro que o agente pode apagar ou alterar não serve como prova de nada, e essa é a falha mais comum de implementação.
+Por quanto tempo guardar?
O suficiente para investigar um problema descoberto tarde, o que costuma significar meses e não dias. Se houver dado pessoal no registro, o prazo precisa respeitar a política de retenção da empresa.
Continue lendo
Como usar IA em cima de dado sensível sem entregar o dado
Dá pra corrigir prova, analisar contrato e resumir atendimento com IA sem mandar nome, CPF e documento pro modelo. A técnica é simples e quase ninguém aplica.
SegurançaOs 3 lugares por onde dado sensível vaza num app feito com IA
Não é hacker. Na prática, quase todo vazamento em app feito com IA vem de três lugares chatos e previsíveis. Os três dão pra conferir hoje, sem ser programador.
SegurançaComo separar dado real de dado de teste (o que a LGPD cobra)
Testar com a base de produção é o atalho mais comum e o mais caro. Separar ambiente é mais simples do que parece, e a LGPD não trata isso como detalhe.