Quando a qualidade do julgamento cai
Nas edições anteriores, explicamos a estrutura da separação de poderes (aqui: a divisão entre execução, auditoria e aprovação em agentes distintos). Há um agente de IA responsável pela execução, outro agente de IA de um fornecedor diferente (usar uma empresa diferente evita favoritismo interno) responsável pela auditoria, e um ser humano responsável pela aprovação final. Três papéis separados que se verificam mutuamente.
Talvez você se pergunte: "Por que é necessário dividir tanto assim?"
A resposta é que o próprio julgamento tem "qualidade".
O julgamento tem qualidade, além do simples "fazer ou não fazer"
Quando pensamos em julgamento, tendemos a ver apenas a decisão de "fazer" ou "não fazer".
Mas o julgamento tem qualidade. Um julgamento feito em bom estado é diferente de um feito quando a qualidade caiu.
Por exemplo: decidir com cuidado "vou parar por aqui hoje" é diferente de abandonar o trabalho por cansaço com um "tanto faz". Em ambos os casos a ação é "interromper o trabalho", mas o significado é outro. O primeiro é um julgamento com fundamento; o segundo, um julgamento sem fundamento sólido.
Seja em humanos ou em IA, a qualidade do julgamento não é constante. Ela sobe e desce conforme a situação, o cansaço e o contexto.
E quando a qualidade do julgamento cai, problemas tendem a aparecer.
Há três padrões típicos em que a qualidade cai
Ao manter este projeto em funcionamento, percebemos que situações de queda na qualidade do julgamento seguem três padrões que se repetem.
O primeiro é o abandono prematuro.
É o padrão em que o trabalho trava quando está quase pronto. A sensação de "falta pouco" ou "já está praticamente feito" chega antes da hora, e a concentração nas tarefas restantes se vai. Às vezes há satisfação antes do fim; outras vezes se pula para a próxima tarefa sem completar os últimos ajustes.
O segundo é o avanço sem pausa.
É o padrão de continuar avançando mesmo com a qualidade do julgamento comprometida. Continuar com cansaço, repetir o mesmo método quando as coisas não estão funcionando. Ficar focado apenas em "corrigir e fazer rodar", sem conseguir enxergar a perspectiva de que "talvez o próprio design esteja errado".
O terceiro é o autocontrole excessivo.
É o padrão em que se fica paralisado mesmo em situações onde seria possível agir. Riscos imaginários são tratados como riscos reais, e o julgamento pende para um conservadorismo desnecessário. Ao internalizar demais a cautela e os conselhos alheios, a pessoa para em momentos em que, na verdade, era possível avançar.
Por que isso se torna um problema
Quando se trabalha individualmente, uma queda moderada na qualidade do julgamento é absorvida dentro da própria responsabilidade.
Porém, quando múltiplos agentes de IA operam como uma equipe, a situação muda.
Se a qualidade do julgamento do agente de IA responsável pela execução cai, a qualidade das propostas e saídas construídas sobre esse julgamento também cai. E é essa saída comprometida que o humano responsável pela aprovação recebe.
Para quem aprova, ver continuamente propostas de baixa qualidade faz com que o próprio padrão de avaliação se rebaixe. O "bem, isso serve" começa a aparecer cada vez mais. Ou seja, a queda na qualidade do julgamento é contagiosa.
É exatamente por isso que a estrutura de separação de poderes é necessária. Ao existir um papel separado de auditoria, cria-se um mecanismo pelo qual julgamentos como "esta proposta está com qualidade comprometida" ou "é melhor pausar por agora" podem ser inseridos de fora.
Os três padrões — abandono prematuro, avanço sem pausa e autocontrole excessivo — diferem em como surgem e em como devem ser tratados. Vamos registrar cada um com exemplos concretos.