O trabalho do agente de auditoria é "encontrar problemas"
O agente de execução pode se concentrar apenas em executar tarefas. Isso ficou registrado no capítulo anterior.
O agente de execução se concentra no trabalho em si. E não aprova os próprios resultados.
Então, quem assume o papel de "dar o OK"? O que faz, exatamente, o agente de auditoria? Este capítulo examina esse conteúdo.
O que faz o agente responsável pela auditoria
Auditoria é o ato de verificar, com um olhar de terceiro, se determinado trabalho ou resultado apresenta algum problema.
Enquanto o agente de execução é responsável por "escrever e criar", o agente de auditoria é responsável por "investigar e questionar".
O ponto importante é que o agente de auditoria não tem autoridade para criar nada por conta própria. Reescrever artigos ou alterar dados é trabalho do agente de execução. O papel da auditoria vai até encontrar o problema e comunicá-lo ao agente de execução ou ao responsável pela aprovação.
Por que esse é o design? Porque quando as autoridades se sobrepõem, a precisão da verificação cai. Quem está "numa posição de corrigir" tende, inconscientemente, a enxergar as coisas pela ótica de "é só corrigir". O ato de descobrir problemas e o ato de resolver problemas interferem entre si quando atribuídos ao mesmo agente ao mesmo tempo. Por isso, nós os separamos.
As 3 ações do agente de auditoria
Na prática, as atividades do agente de auditoria podem ser organizadas em três grupos.
A primeira é a verificação de conformidade com a diretriz.
Verifica-se se "este artigo não se desviou das regras e diretrizes definidas no início". O agente de execução acumula decisões durante o trabalho. Nesse acúmulo, é possível que haja um desvio gradual em relação à diretriz original. O agente de auditoria coloca lado a lado o resultado finalizado e a diretriz de partida, e verifica se há divergências.
A segunda é a identificação de lacunas e contradições.
O conteúdo da parte inicial contradiz o da parte final? Há alguma explicação necessária que esteja faltando? Expressões ou informações proibidas foram inseridas? Esses pontos específicos são verificados sob uma perspectiva diferente da do agente de execução.
O agente de execução escreve acompanhando o fluxo geral do texto. O agente de auditoria não precisa acompanhar esse fluxo e pode se concentrar em questões individuais. Essa "diferença de postura" funciona como um mecanismo para compensar o que passa despercebido.
A terceira é o registro dos problemas.
Os problemas encontrados não são descartados com um "isso está bom assim". Eles são registrados. Inclusive os de menor importância são incluídos na saída, de modo que o responsável pela aprovação possa fazer o julgamento final. Se o agente de auditoria ocultar problemas com base em seu próprio critério de relevância, torna-se impossível rastrear depois "por que isso foi aprovado". O próprio ato de registrar está incluído na conclusão do papel da auditoria.
O sinal de sucesso da auditoria é "os problemas aparecerem"
Aqui há um ponto que vale ter claro.
Quando o agente de auditoria devolve um relatório dizendo "não encontrei problemas, tudo aprovado", não é bom receber isso com alegria imediata.
Em alguns casos, de fato não há nenhum problema. Mas quando "relatórios perfeitos e sem danos" se repetem todas as vezes, vale parar um momento e refletir.
Realmente não havia problemas? Ou não foi possível encontrá-los? Ou foram encontrados, mas julgados "não vale registrar" e omitidos?
O agente de auditoria é um "dispositivo para trazer problemas à superfície". O fato de problemas aparecerem na saída é sinal de que a auditoria está funcionando normalmente. Por outro lado, quando nada aparece, também se considera a possibilidade de que o dispositivo não esteja funcionando.
Essa percepção surgiu depois de operar na prática. No início, quando "sem problemas" se repetia, nós líamos como "está indo bem". Mas em determinado momento, mesmo diante de um resultado com problemas evidentes, veio a resposta "sem problemas", e ficou claro que a granularidade configurada para a auditoria estava inadequada.
"Aprovação entusiasta" tornar-se motivo de alerta vem dessa experiência.
O motivo de mantê-lo separado da execução
O agente de auditoria é atribuído a um agente de IA diferente do agente de execução.
Nesta série, nós não atribuímos execução e auditoria ao mesmo agente de IA. Quando se pede ao mesmo agente para "escrever e depois verificar por conta própria", ele traz para a verificação o mesmo critério de julgamento usado na escrita. Também há a tendência de uma distorção inversa — escrever de forma que passe pela verificação.
Quando o agente de execução age de forma "otimizada para o trabalho", essa mesma postura não é adequada para identificar problemas. Encontrar problemas requer uma postura de "duvidar e observar", que é incompatível com a postura de "avançar" durante a execução. O que foi mencionado no capítulo anterior — "o agente de execução não consegue auditar a si mesmo" — não é uma questão de capacidade, mas de postura.
Ao mantê-los separados, cada um pode se concentrar no próprio papel.
Por que frequentemente se usa um agente de IA de fornecedor diferente, e que tipos de problemas são evitados ao usar sistemas de linhagens distintas — isso será examinado em detalhes em outro capítulo. Aqui, confirmamos apenas o princípio de "não o mesmo, mas separado".
Síntese deste capítulo
O trabalho do agente de IA de auditoria é encontrar problemas. Ele é composto por três ações: verificação de conformidade com a diretriz, identificação de lacunas e contradições, e registro dos problemas.
"Os problemas aparecerem" é sinal de que a auditoria está funcionando, e é justamente quando "relatórios perfeitos e sem danos" se repetem que se questiona a granularidade. O motivo de manter o agente separado da execução também é sobre essa postura. A ação de trazer problemas à superfície dificilmente se sustenta quando atribuída ao mesmo agente que avança no trabalho. Por isso, nós os separamos.