Por que aplicamos a separação de poderes à IA?
Há apenas uma razão para trazer a ideia de separação de poderes (aqui: a divisão entre execução, auditoria e aprovação em agentes distintos) para o universo da IA.
Porque a "concentração de poder" gera o mesmo problema em sistemas de IA.
Quando um único agente de IA acumula "criar, verificar e decidir" ao mesmo tempo, não existe nenhum mecanismo interno capaz de interromper erros ou excessos. Por isso, dividimos as funções e fazemos com que cada parte fiscalize as demais — e a decisão final fica com o ser humano. É a mesma estrutura que tomamos emprestada no capítulo anterior: "não concentrar autoridade em um único ponto; distribuí-la e fazer com que se monitorem mutuamente". Aplicamos esse esqueleto diretamente ao design de sistemas de IA.
Por que a concentração de poder é um problema na IA?
Como vimos nos capítulos 12 e 13, quando um agente de IA verifica o próprio texto que produziu, ele não consegue se distanciar da perspectiva de quem escreveu. Revisar com os mesmos pressupostos com que se criou torna fácil deixar passar falhas e erros.
Não é uma questão de acaso — é uma questão de estrutura.
No capítulo 14, propusemos enxergar a relação com a IA não como servidão nem como risco de descontrole, mas como uma organização com funções distribuídas. No capítulo 15, vimos que a separação de poderes existe justamente para impedir a situação em que quem cria as regras também as executa e também as julga — ou seja, um estado em que ninguém pode deter o processo.
O que acontece na IA tem a mesma estrutura da concentração de poder em um Estado.
Quando um único agente de IA escreve, confere e decide sobre a publicação, esse fluxo não tem "visibilidade externa". Se uma saída errada passar, ninguém a interrompe. Um estado sem mecanismo de freio é, estruturalmente, o mesmo problema de um Estado em que legislativo, executivo e judiciário estão nas mãos de um único poder.
As três funções na IA
Nesta série, tomamos emprestado o esqueleto da separação de poderes e utilizamos três funções distintas.
Execução (criar, produzir): o agente de IA responsável pela tarefa em si. Escreve artigos, organiza dados e cuida do trabalho concreto. A analogia mais próxima seria o "executivo" de um Estado — mas não é uma correspondência exata, um para um.
Auditoria (verificar, identificar problemas): o agente de IA que examina se o resultado da execução está correto. Como é um agente diferente de quem produziu, ele não herda os pressupostos de quem escreveu. Pode se concentrar nas perguntas: "está correto?", "há lacunas?", "está alinhado com as diretrizes?"
Aprovação (decisão final): a função de decidir se algo pode ser publicado ou se o processo pode avançar. Aqui, quem decide é o ser humano.
Não há uma correspondência direta com legislativo, executivo e judiciário. O que tomamos emprestado não são os detalhes do sistema, mas apenas o esqueleto: "dividir, fazer monitorar mutuamente e não concentrar a decisão final em um único ponto".
O que muda quando se divide?
Ao dividir em três funções, algumas coisas se transformam.
Primeiro, surge um mecanismo de freio para os erros. Como execução e auditoria ficam com agentes distintos, torna-se mais fácil identificar problemas que estão fora do campo de visão de quem criou. Quando tudo é feito por um único agente, esse freio simplesmente não existe na estrutura.
Em seguida, é possível rastrear o que aconteceu. O fluxo de execução, auditoria e aprovação fica registrado, e quando surge um problema, dá para verificar "em qual etapa o desvio ocorreu".
Por fim, é possível colocar um limite em ações irreversíveis (aqui: ações que não podem ser desfeitas depois). Uma vez publicado, um artigo já foi lido — apagar o conteúdo não apaga a memória de quem o viu. Para esse tipo de ação irreversível, manter a decisão final nas mãos do ser humano impede que o fluxo avance apenas pelo lado da IA. Esse é um dos princípios centrais desta série.
"Não para restringir, mas para ampliar o que se pode delegar"
Ao ler até aqui, você pode ter a impressão de que se trata de um design para "amarrar a IA". Não é isso.
É justamente porque existem auditoria e aprovação final que se pode delegar com confiança ao agente de IA responsável pela execução. Se a auditoria existe, mesmo que a precisão da execução oscile um pouco, as etapas seguintes conseguem corrigir. Se a aprovação final está com o ser humano, em vez de usar a saída da IA com apreensão, é possível operá-la sabendo que "existe um mecanismo de verificação".
Não se trata de uma "IA onipotente" nem de uma "IA assustadora" — é uma questão de design de funções.
Até onde delegar à IA e o que manter com o ser humano. Tornar explícita essa fronteira é a base de uma organização que se pode operar com tranquilidade.
Resumo deste capítulo
Por que trazer a ideia de separação de poderes à IA?
A resposta é: porque os problemas causados pela concentração de poder têm a mesma estrutura na IA. Concentrar tudo em um único agente elimina o mecanismo de freio. Por isso, dividimos as funções, fazemos com que se monitorem mutuamente, e a decisão final sobre ações irreversíveis fica com o ser humano.
Estas três divisões — execução, auditoria e aprovação — são a espinha dorsal do que nós chamamos de organização de IA nesta série. Como cada uma funciona na prática será visto, passo a passo, nos capítulos seguintes.