Le principe des deux personnes
Dans le chapitre précédent, nous avons expliqué pourquoi confier l'audit à une IA d'un autre fournisseur que celle chargée de l'exécution. Il s'agissait d'une réflexion sur la conception structurelle : introduire un point de vue distinct.
Dans ce chapitre, nous allons un pas plus loin. La question est la suivante : comment prévenir les erreurs au moment d'effectuer des opérations irréversibles ?
C'est là qu'intervient le principe des deux personnes (ici : l'idée qu'aucune opération irréversible ne doit être exécutée sur la seule décision d'un acteur unique).
Q. Qu'est-ce que le principe des deux personnes ?
En une phrase : il s'agit du principe selon lequel une action irréversible (c'est-à-dire une action qu'on ne peut pas annuler une fois accomplie) ne doit pas être exécutée sur la seule décision d'un acteur unique.
Avant toute exécution, deux acteurs vérifient ensemble. C'est tout.
Ce n'est pas une procédure complexe. Il s'agit simplement d'intégrer délibérément dans la conception la règle suivante : « aucune décision ne se prend seul ».
Q. Ces « deux acteurs », qui sont-ils concrètement ?
Dans ce système, les deux acteurs sont un être humain et une IA distincte.
L'IA chargée de l'exécution propose : « Voici l'opération que je m'apprête à réaliser. » L'être humain vérifie et donne le signal « GO ». Ce n'est qu'après ces deux étapes que l'opération est exécutée.
Pourquoi un être humain est-il nécessaire ? Parce qu'il faut un acteur capable de dire : « Je prends la responsabilité de cette décision. » Une IA peut exécuter des tâches et effectuer des audits. Mais, à l'heure actuelle, c'est l'être humain qui assume la responsabilité finale.
C'est pourquoi l'un des deux acteurs est toujours un être humain.
Q. Faut-il appliquer la vérification à deux acteurs pour toutes les opérations ?
Non. Si on l'appliquait à tout, le flux de travail serait paralysé.
Le principe des deux personnes ne s'applique qu'aux opérations irréversibles ayant un impact important.
Par exemple : publier un article, envoyer des données à un service externe, supprimer un fichier. Ce sont des opérations qu'on ne peut pas annuler après coup.
En revanche, les opérations réversibles ou à faible impact peuvent être réalisées par l'IA sans vérification à deux acteurs. Sans cette gradation dans la conception, le principe des deux personnes ne fonctionnerait pas en pratique.
Q. Pourquoi la décision d'un seul acteur ne suffit-elle pas ?
Parce qu'un seul point de vue laisse plus facilement passer des erreurs.
On peut croire avoir bien vérifié, mais un regard extérieur fait parfois surgir un problème qu'on n'avait pas vu. C'est valable aussi bien pour les humains que pour les IA : le simple fait d'avoir plusieurs acteurs qui vérifient augmente la probabilité de détecter une erreur.
Il y a aussi un autre effet : la vérification laisse une trace écrite.
« Qui a vérifié, quand, et qui a donné le GO ? » Cette information est conservée sous forme de texte. Elle devient ensuite la base permettant d'expliquer « pourquoi cette opération a été effectuée ». En cas de problème, sans trace écrite, il est impossible de reconstituer le déroulement des événements. Le principe des deux personnes est donc à la fois un dispositif de prévention des erreurs et un mécanisme de production de décisions traçables.
Q. S'agit-il d'une idée propre à l'organisation de l'IA ?
Non. C'est un principe utilisé depuis longtemps dans les organisations humaines.
Les documents importants requièrent la signature de plusieurs approbateurs. Le traitement des fonds est vérifié par plusieurs personnes, pas une seule. Ces pratiques existent depuis longtemps. Le principe des deux personnes applique cette même logique à un système dans lequel une IA assume le rôle d'exécutant.
Là où une organisation composée uniquement d'humains faisait vérifier par « deux humains », on substitue la combinaison « un humain et une IA distincte ». La forme du dispositif change, mais la philosophie de conception — ne pas concentrer le pouvoir de décision sur un seul acteur — reste inchangée.
Q. Que se passe-t-il si ce principe n'est pas respecté ?
On se retrouve à devoir gérer les problèmes après qu'ils se sont produits.
Un article publié au mauvais moment. Un fichier supprimé par erreur. Des données envoyées à l'extérieur sans intention de le faire. Ces situations arrivent lorsqu'il n'existe aucun point de contrôle.
Plus une opération est irréversible, plus il est difficile de gérer les conséquences une fois qu'elle s'est produite. C'est pourquoi le rôle du principe des deux personnes est de prévenir ces situations en les bloquant structurellement, avant qu'elles ne surviennent.
Le critère de décision est le suivant : « Est-ce qu'on peut corriger cela après coup ? » Ce qui ne peut pas être corrigé doit faire l'objet d'un point de contrôle. C'est ce critère qui constitue le cœur de la conception du principe des deux personnes.
Q. En résumé, qu'est-ce que le principe des deux personnes prévient-il ?
Il prévient la situation suivante : une erreur de jugement d'un seul acteur se traduit par l'exécution d'une action irréversible.
- Les opérations irréversibles font l'objet d'une vérification à deux acteurs.
- Les deux acteurs sont un être humain et une IA distincte.
- La vérification est conservée sous forme de trace écrite.
- Le principe ne s'applique pas aux opérations réversibles et à faible impact (afin de ne pas bloquer le flux de travail).
Ces quatre points fonctionnent ensemble. Si l'un d'eux est absent, l'efficacité du dispositif est réduite. La trace écrite, la multiplicité des points de vue, la délimitation du périmètre d'application : aucun de ces éléments ne peut être omis, et chacun a sa raison d'être.