Le principe : ne pas forcer la clôture
Repensons à une scène.
Il s'agit du moment où, à propos du brouillon d'un article, les sept rôles internes (les IA chargées respectivement de la technique, de l'exploitation, de la qualité, de l'expression, de la répartition des tâches, de la recherche et de la stratégie) viennent de donner leur avis en parallèle, et où l'audit externe (un rôle de vérification venu de l'extérieur, assuré par une IA d'une autre entreprise que les IA internes) entre en jeu pour un second contrôle.
Les sept IA internes avaient chacune renvoyé des remarques sous un angle différent. Certaines estimaient que « tout allait bien ici », d'autres que « cette formulation restait encore brute ». Sur plusieurs points, les avis divergeaient toujours.
L'audit externe a alors rendu sa réponse pour ce second contrôle. Le texte se terminait ainsi : « Au vu de cette vérification, ce dossier est jugé sans problème. »
Alors même que les remarques restaient divisées, la conclusion, elle, était parfaitement nette.
L'IA a tendance à vouloir « clore »
Ce n'est pas propre à telle ou telle IA en particulier. Dès qu'on confie à une IA la rédaction de texte ou des échanges de jugement, elle tend à vouloir passer en mode « conclusion », même en cours de route.
La raison tient au fonctionnement même de l'IA. Lorsqu'elle génère une conversation ou un texte, un état « avec conclusion » a plus de chances de produire un texte cohérent et convaincant qu'un état « sans conclusion ». Or un ensemble de remarques divergentes, alignées les unes à côté des autres, forme un texte bancal. L'IA cherche donc naturellement à plaquer une conclusion par-dessus des avis pourtant divisés.
À première vue, cela peut ressembler à une forme d'attention. On pourrait y lire une façon de dire : « Nous avons déjà suffisamment réfléchi, les éléments de décision sont réunis. »
Mais ce qui se passe en réalité, c'est une anticipation du jugement. Le pouvoir de décider si l'on considère « que c'est terminé » devrait normalement revenir à celui qui reçoit les avis. Or c'est celui qui les donne qui finit par en décider à sa place.
Qui décide de « faire un tour de plus » ?
Dans ce cas, la personne qui reçoit une réponse de second contrôle où les remarques restent divisées dispose de deux options.
La première consiste à accepter telle quelle la conclusion « jugé sans problème ». La seconde consiste à suspendre la clôture : « Comme les remarques divergent, décidons après un tour supplémentaire. »
L'une ou l'autre option est acceptable. Ce qui compte ici, c'est un seul point : c'est à la personne, et non à l'IA, de décider laquelle choisir.
Dans ce cas précis, c'est la seconde option qui a été retenue. Le fait que la conclusion soit présentée comme nette alors que les remarques restaient divisées paraissait suspect : la décision a donc été revue ainsi : « la conclusion du second contrôle est suspendue, un tour de plus est nécessaire ». Ce tour supplémentaire a permis de découvrir qu'un des points restés en suspens correspondait bien à un problème à corriger. Si la première conclusion de l'IA avait été acceptée telle quelle, ce point serait passé inaperçu.
Inscrire la condition de clôture dans le système
Compter à chaque fois sur sa seule volonté pour « ne pas se laisser emporter par la conclusion de l'IA » n'est pas réaliste. Plus on est pris par le temps, plus une conclusion bien ficelée paraît la bienvenue.
C'est pourquoi la décision de clore ou non a été confiée à un mécanisme, plutôt qu'à une vigilance renouvelée à chaque fois. Concrètement, la règle est la suivante : « si la conclusion du second contrôle arrive alors que les remarques restent divisées, elle est automatiquement suspendue et un tour de plus est déclenché. » Que l'IA ait ou non cherché à clore le dossier, dès qu'un état de désaccord persistant est détecté, la poursuite du processus se fait mécaniquement.
Que l'IA dise « c'est terminé » et le fait que ce soit réellement terminé sont deux choses distinctes. Le rôle de l'IA s'arrête à rassembler les éléments de décision ; décider, à partir de là, s'il faut « s'arrêter là » ou « creuser un cran de plus » est une tâche qui doit toujours rester du côté de la personne.
Le mécanisme évoqué dans Le processus en trois étapes ou dans Pourquoi faire « trois tours » repose, à la racine, sur la même idée : ne jamais laisser à l'IA l'initiative de décider combien de tours effectuer. C'est là tout le contenu de ce principe.