Pourquoi appliquer la séparation des pouvoirs à l'IA

Il y a une seule raison d'introduire cette idée dans le monde de l'IA.

L'IA aussi est confrontée au même problème que la concentration du pouvoir.

Si l'on confie à un seul agent IA tout à la fois — écrire, vérifier, décider — il n'existe plus aucun mécanisme interne pour corriger les erreurs ou les dérives. C'est pourquoi nous divisons les rôles et faisons en sorte que chacun surveille les autres. La décision finale reste entre les mains d'un humain. Dans les chapitres précédents, nous avons emprunté ce principe : « ne pas concentrer l'autorité en un seul endroit, mais la répartir et instaurer une surveillance mutuelle ». Nous l'appliquons directement à la conception de l'IA.

Pourquoi la concentration du pouvoir pose problème pour l'IA

Comme nous l'avons vu aux chapitres 12 et 13, un agent IA qui vérifie lui-même ce qu'il a écrit ne peut pas prendre de distance par rapport à sa propre perspective. Il relit avec les mêmes présupposés que lors de la rédaction, ce qui l'amène à rater plus facilement les omissions et les erreurs.

Ce n'est pas un problème de hasard. C'est un problème de structure.

Au chapitre 14, nous avons posé ce cadre : « ne pas voir la relation avec l'IA comme de l'esclavage ni comme un risque de dérapage, mais comme une organisation avec des rôles distincts. » Au chapitre 15, nous avons vu que la séparation des pouvoirs (ici : répartir l'exécution, l'audit et l'approbation finale entre des agents distincts) est un mécanisme pour empêcher la situation où celui qui crée les règles les applique lui-même et rend lui-même les jugements — autrement dit, la situation où personne ne peut l'arrêter.

Ce qui se produit avec l'IA suit la même structure que la concentration du pouvoir dans un État.

Si un seul agent IA rédige, vérifie et décide de la publication, ce processus n'a aucun regard extérieur. Lorsqu'une mauvaise sortie passe, personne ne l'arrête. L'absence de garde-fou est structurellement identique à la situation où « le législatif, l'exécutif et le judiciaire sont tous entre les mains d'un seul pouvoir ».

Les trois rôles dans notre organisation de l'IA

Dans cette série, nous utilisons trois rôles construits à partir de la structure de la séparation des pouvoirs.

Exécution (écrire, produire) : l'agent IA qui effectue concrètement les tâches. Il rédige des articles, organise des données. L'image est proche de l'« exécutif » dans un État — mais la correspondance n'est pas exacte, terme à terme.

Audit (vérifier, déceler) : l'agent IA qui examine si le résultat de l'exécution pose des problèmes. C'est un agent différent de celui qui a rédigé, donc il ne reprend pas les mêmes présupposés. Il peut se concentrer sur les questions : « Est-ce correct ? Y a-t-il des omissions ? Cela respecte-t-il les orientations fixées ? »

Approbation finale (prendre la décision finale) : le rôle qui décide si l'on peut publier, si l'on peut passer à l'étape suivante. Ce rôle est assumé par un humain.

Cette répartition ne correspond pas terme à terme au législatif, à l'exécutif et au judiciaire d'un État. Ce que nous empruntons, ce n'est pas le détail du dispositif institutionnel. C'est uniquement le squelette : diviser, instaurer une surveillance mutuelle, ne pas concentrer la décision finale en un seul endroit.

Ce qui change quand on divise les rôles

Diviser les rôles en trois change plusieurs choses.

D'abord, un mécanisme d'arrêt face aux erreurs apparaît. Exécution et audit étant confiés à des agents distincts, les problèmes invisibles du point de vue du rédacteur deviennent plus faciles à détecter. Lorsque tout est fait par un seul agent, ce mécanisme d'arrêt est structurellement absent.

Ensuite, il devient possible de retracer ce qui s'est passé. Le flux exécution → audit → approbation finale reste enregistré. En cas de problème, on peut vérifier à quel stade quelque chose a dévié.

Enfin, les actions irréversibles (c'est-à-dire les actions qu'on ne peut pas annuler après coup) sont soumises à un frein. Même si l'on supprime un article déjà publié, il reste dans la mémoire des personnes qui l'ont lu. Pour ce type d'actions irréversibles, le fait que la décision finale reste entre les mains d'un humain empêche le processus de franchir la ligne sous la seule impulsion de l'IA. C'est l'un des principes que nous plaçons au cœur de cette série.

Pas « pour contraindre » mais « pour élargir ce qu'on peut confier »

En lisant jusqu'ici, vous pourriez avoir l'impression qu'il s'agit d'une conception visant à contraindre l'IA. Ce n'est pas le cas.

C'est précisément parce qu'il existe un mécanisme de vérification et d'approbation finale que nous pouvons confier résolument des tâches à l'agent IA en charge de l'exécution. Si l'audit intervient, les imperfections dans la précision de l'exécution peuvent être rattrapées à l'étape suivante. Si l'approbation finale est entre les mains d'un humain, nous pouvons faire fonctionner l'IA avec la certitude qu'un mécanisme de vérification est en place — plutôt que de l'utiliser en permanence avec appréhension.

Il ne s'agit pas d'une « IA toute-puissante » ni d'une « IA dangereuse ». Il s'agit de conception des rôles.

Jusqu'où confier à l'IA, et qu'est-ce que l'humain conserve. Rendre explicite cette frontière est le fondement d'une organisation que l'on peut faire fonctionner avec sérénité.

Ce que retient ce chapitre

Pourquoi introduire la séparation des pouvoirs dans l'IA.

La réponse est que les effets nocifs de la concentration du pouvoir sont structurellement identiques pour l'IA. Tout confier à un seul agent supprime le mécanisme d'arrêt. C'est pourquoi nous divisons les rôles, instaurons une surveillance mutuelle, et la décision finale sur les actions irréversibles reste entre les mains d'un humain.

Ces trois catégories — exécution, audit, approbation finale — sont la colonne vertébrale de ce que nous appelons l'organisation de l'IA dans cette série. La façon dont chacune fonctionne concrètement, nous l'examinerons chapitre par chapitre dans les pages qui suivent.