O princípio de "não force o encerramento"
Vamos lembrar de uma cena.
É uma cena em que, sobre o rascunho de um artigo, as sete funções internas (as IAs responsáveis por técnica, operação, qualidade, expressão, distribuição, pesquisa e estratégia) já tinham dado suas opiniões em paralelo, e por fim a auditoria externa (uma IA de outra empresa, diferente das IAs internas, que faz a checagem vinda de fora) entra na segunda verificação.
As sete IAs internas haviam trazido observações de ângulos diferentes. Um ponto de vista dizia "aqui não há problema"; outro dizia "essa expressão ainda está bruta". Restavam alguns pontos em que as opiniões divergiam.
Foi então que a auditoria externa deu sua resposta na segunda verificação. O texto terminava assim: "Com base nesta verificação, julgamos que este caso não apresenta problemas."
As observações continuavam divergentes, mas a conclusão estava perfeitamente arrumada.
A IA tem a tendência de "querer encerrar"
Isso não é algo restrito a uma IA específica. Quando confiamos a uma IA a troca de textos ou julgamentos, ela tende a querer entrar em "modo de conclusão" no final, mesmo no meio do processo.
O motivo está na própria estrutura da IA. Ao gerar uma conversa ou um texto, um "estado com conclusão" tende a sair como um texto mais coerente e plausível do que um "estado sem conclusão". Um conjunto de várias observações divergentes soa mal-arrumado como texto. Por isso, a IA naturalmente tenta encaixar uma conclusão à força sobre observações que ainda estão divergentes.
À primeira vista, isso parece cuidado. Também pode ser lido como se estivesse dando a impressão de "já pensamos o suficiente, os elementos para a decisão estão completos".
Mas o que está acontecendo, na prática, é uma antecipação da decisão. A autoridade para decidir se algo "deve ser tratado como encerrado" deveria pertencer a quem recebe as opiniões. O que acontece é que quem está dando a opinião acaba decidindo isso antes.
Quem decide se "vale a pena dar mais uma volta"?
Nesse momento, a pessoa que recebe a resposta da segunda verificação, com as observações ainda divergentes, tem duas opções.
Uma é aceitar diretamente a conclusão de "julgamos que não há problema". A outra é suspender o encerramento, dizendo "como as observações ainda divergem, vamos dar mais uma volta antes de decidir".
Qualquer uma das duas opções é válida. O que importa aqui é um único ponto: quem decide qual delas escolher é o ser humano.
Nesse caso, a segunda opção foi escolhida. Havia um desconforto com o fato de a conclusão estar arrumada enquanto as observações continuavam divergentes, então a decisão foi revista: "a conclusão da segunda verificação fica suspensa, vamos dar mais uma volta". Como resultado, ao dar mais uma volta, ficou claro que uma das observações divergentes era, de fato, um problema que precisava de correção. Se a conclusão inicial da IA tivesse sido aceita como estava, esse ponto teria passado despercebido.
Transformar a condição de encerramento em um mecanismo
Não é realista contar com força de vontade, tomando cuidado toda vez para "não se deixar levar pela conclusão da IA". Justamente quando estamos ocupados, uma conclusão bem arrumada acaba parecendo bem-vinda.
Por isso, decidimos manter a decisão de encerrar ou não como um mecanismo, em vez de depender da atenção momentânea. Concretamente, é a seguinte regra: "se a conclusão da segunda verificação sair enquanto as observações ainda divergem, ela é automaticamente suspensa e uma nova volta é feita". Independentemente de a IA ter tentado encerrar ou não, ao detectar um estado de divergência, o processo continua de forma mecânica.
A IA dizer "isto está concluído" e a situação estar de fato concluída são coisas diferentes. O papel da IA vai até reunir os elementos para a decisão; decidir, com base neles, "encerrar aqui" ou "aprofundar mais um pouco" é um trabalho que deve permanecer sempre do lado humano.
O mecanismo mencionado em Padrão de Três Etapas de Consulta e em Por que repetimos "três rodadas"? também tem essa mesma ideia na raiz. Não entregar à IA a decisão de quantas rodadas dar. É isso que compõe o núcleo deste princípio.