O Princípio de Duas Pessoas
No capítulo anterior, foi discutido por que a função de auditoria deve ser atribuída a uma IA de fornecedor diferente do responsável pela execução. Era uma discussão sobre design estrutural para "trazer perspectivas distintas".
Neste capítulo, vamos um passo além: "quando se realiza uma operação irreversível, como evitar falhas?"
É aqui que entra o princípio de duas pessoas (ou seja, a regra de que nenhuma ação irreversível pode ser executada pela decisão de apenas um agente).
Q. O que é o princípio de duas pessoas?
Em uma frase: é a ideia de que operações irreversíveis (aqui: ações que, uma vez realizadas, não podem ser desfeitas) não devem ser executadas com base na decisão de apenas um agente.
Antes de executar, dois responsáveis precisam confirmar. Só isso.
Não é um procedimento complexo. É uma ideia simples: "não decidir sozinho" é incorporado intencionalmente como elemento de design.
Q. "Dois responsáveis" — quem são, exatamente?
Nesta estrutura, a combinação é: um ser humano e uma IA distinta da executora.
A IA responsável pela execução propõe: "estou planejando realizar esta operação." O ser humano verifica e dá o sinal de "GO". Somente após esse processo de dois passos a operação é realizada.
Por que um ser humano é necessário? Porque é preciso haver um sujeito capaz de dizer "assumo a responsabilidade por esta decisão." Uma IA pode executar operações, e também pode realizar auditorias. Porém, o agente que assume responsabilidade, ao que tudo indica, ainda é o ser humano por ora.
Por isso, um dos dois responsáveis é sempre uma pessoa.
Q. Toda operação precisa de confirmação por duas pessoas?
Não. Se aplicado em tudo, o fluxo de trabalho travaria.
O princípio de duas pessoas é necessário apenas para operações irreversíveis com amplo impacto.
Por exemplo: publicar um artigo, enviar dados a um serviço externo, excluir um arquivo — operações que "não podem ser desfeitas depois de realizadas" são o alvo.
Já operações que podem ser refeitas, ou com impacto reduzido, podem avançar pelo lado da IA sem confirmação dupla. Sem esse gradiente de aplicação, o princípio de duas pessoas não funciona na prática.
Q. Por que a decisão de uma única pessoa não é suficiente?
Porque com apenas uma perspectiva, é mais fácil deixar algo passar.
Mesmo quando você acredita estar vendo tudo claramente, um segundo olhar costuma revelar problemas que não tinham sido percebidos. Isso vale tanto para humanos quanto para IAs — simplesmente ter mais de um agente verificando aumenta a probabilidade de detectar erros.
Além disso, há outro efeito: o fato da confirmação fica registrado como evidência.
"Quem verificou, quando, e deu o GO" fica documentado em texto. Isso se torna a base para explicar "por que aquela operação foi realizada" posteriormente. Quando algo dá errado, sem um registro, não é possível reconstruir o histórico. O princípio de duas pessoas é, ao mesmo tempo, um mecanismo de prevenção de erros e de criação de um registro de decisões explicáveis.
Q. Esse conceito é exclusivo da organização de IA?
Não. É uma ideia que também é usada em organizações humanas há muito tempo.
Documentos importantes exigem aprovação de múltiplas pessoas; transações financeiras são verificadas por mais de um responsável — essas práticas existem há décadas. O princípio de duas pessoas aplica essa mesma lógica a uma estrutura em que uma IA passou a ser a responsável pela execução.
Em organizações formadas apenas por humanos, a verificação era feita por "duas pessoas humanas". Aqui, substitui-se por "uma pessoa humana e uma IA distinta." A forma da estrutura muda, mas o princípio de design — "não concentrar tudo em um único agente" — permanece o mesmo.
Q. O que acontece quando esse princípio não funciona?
Só resta reagir depois que o problema já aconteceu.
Um artigo publicado em momento inadequado, um arquivo deletado por engano, dados enviados para fora sem intenção — essas situações ocorrem quando não há uma verificação estruturada no caminho.
Quanto mais irreversível a operação, mais difícil é contornar o problema depois que ele ocorre. Por isso, o papel do princípio de duas pessoas é prevenir estruturalmente antes que aconteça.
"Pode ser corrigido depois?" — usar essa pergunta como critério e criar pontos de verificação para o que não pode ser corrigido. Esse critério de julgamento é o núcleo do design do princípio de duas pessoas.
Q. Em resumo, o que o princípio de duas pessoas previne?
Previne a situação em que "um erro de julgamento de um único agente seja executado como uma operação irreversível."
- Operações irreversíveis exigem confirmação por dois responsáveis
- A combinação dos dois é: um ser humano e uma IA distinta da executora
- O fato da confirmação é registrado como evidência
- Operações reversíveis e de baixo impacto ficam fora do escopo (para não travar o fluxo)
Esses quatro pontos funcionam juntos. Se qualquer um deles faltar, o efeito se enfraquece. Registro, múltiplas perspectivas e delimitação cuidadosa do escopo de aplicação — nenhum deles pode ser omitido, e há motivo para isso.