Le rôle de l'agent IA chargé de l'audit : trouver les problèmes

Dans le chapitre précédent, nous avons écrit que l'agent chargé de l'exécution n'a qu'à se concentrer sur l'exécution des tâches.

L'agent en charge de l'exécution se consacre au travail. Et il ne valide pas lui-même son propre travail.

Alors, que fait concrètement l'agent qui assume ce rôle d'approbation et de vérification — c'est-à-dire l'agent d'audit ? Nous allons examiner cela dans ce chapitre.

Quel est le rôle de l'agent chargé de l'audit ?

L'audit consiste à examiner une tâche ou un livrable avec un regard extérieur (ici : celui d'un agent distinct), afin de vérifier qu'il ne présente pas de problème.

Là où l'agent d'exécution « écrit et produit », l'agent d'audit « vérifie et remet en question ».

Ce qui est important, c'est que l'agent d'audit n'a pas la capacité de produire quoi que ce soit lui-même. Réécrire un article ou modifier des données, c'est le travail de l'agent d'exécution. Le rôle de l'agent d'audit s'arrête à la détection des problèmes et à leur signalement à l'agent d'exécution ou à la personne chargée de l'approbation finale.

Pourquoi concevoir le système ainsi ? Parce que si les responsabilités se chevauchent, la précision du contrôle diminue. Quand on est en mesure de corriger soi-même, on tend inconsciemment à regarder les choses sous l'angle « on peut corriger ». Le travail de détection et le travail de correction interfèrent l'un avec l'autre lorsqu'ils sont confiés au même agent. C'est pourquoi nous les séparons.

Les trois actions de l'agent d'audit

En pratique, le travail de l'agent d'audit peut être résumé en trois points.

Premièrement : la comparaison avec les directives initiales.

Il s'agit de vérifier si un article ne s'écarte pas des règles et des orientations définies au départ. L'agent d'exécution prend de nombreuses décisions au cours de son travail. Dans cette accumulation, il arrive que les écarts s'installent progressivement par rapport aux directives de départ. L'agent d'audit place le livrable terminé côte à côte avec les directives d'origine, et vérifie qu'il n'y a pas de dérive.

Deuxièmement : la détection des omissions et des contradictions.

Le contenu de la première partie contredit-il celui de la seconde ? Une explication nécessaire fait-elle défaut ? Des formulations ou des informations interdites se sont-elles glissées dans le texte ? Ces points de détail sont passés au crible selon une perspective différente de celle de l'agent d'exécution.

L'agent d'exécution écrit en suivant le fil conducteur de l'ensemble. L'agent d'audit, lui, n'a pas besoin de suivre ce fil : il peut se concentrer sur des questions précises. Cette « différence de posture » est le mécanisme qui permet de compenser les oublis.

Troisièmement : l'enregistrement des problèmes.

Les problèmes détectés ne sont pas étouffés au motif que « ce n'est pas grave ». Ils sont consignés, y compris les éléments mineurs, de façon à ce que la personne chargée de l'approbation finale puisse rendre un jugement final en connaissance de cause. Si l'agent d'audit juge seul de l'importance des problèmes et décide d'en dissimuler certains, il devient impossible de retracer ensuite « pourquoi cela a été validé ». L'acte même d'enregistrer fait partie intégrante du rôle d'audit.

« Voir des problèmes remonter » est le signe que l'audit fonctionne

Il y a un point sur lequel nous souhaitons insister.

Lorsque l'agent d'audit renvoie un rapport du type « aucun problème, tout est passé », mieux vaut ne pas se réjouir sans réflexion.

Il est possible qu'il n'y ait réellement aucun problème. Cependant, quand ce type de « rapport parfait » revient à chaque fois, nous marquons une pause et nous réfléchissons.

N'y avait-il vraiment aucun problème ? Ou l'agent n'était-il pas en mesure d'en détecter ? Ou encore, avait-il détecté quelque chose mais décidé de l'omettre, jugeant que « ce n'était pas la peine de le noter » ?

L'agent d'audit est un « dispositif qui fait remonter les problèmes ». Voir des problèmes apparaître dans les résultats est le signe que l'audit fonctionne normalement. À l'inverse, lorsque rien ne remonte, nous envisageons aussi la possibilité que le dispositif ne soit pas opérationnel.

Cette intuition, nous l'avons acquise après avoir mis le système en pratique. Au début, quand les rapports « sans problème » s'enchaînaient, nous lisions cela comme « les choses se passent bien ». Mais à un certain moment, un livrable présentant des problèmes manifestes a lui aussi reçu un rapport « sans problème », et nous avons compris que le niveau de granularité de l'audit était trop faible (ici : le seuil de détection était réglé trop bas, ce qui laissait passer des anomalies).

L'idée qu'une approbation enthousiaste devient un sujet de vigilance vient de cette expérience.

Pourquoi placer l'audit séparément de l'exécution

L'agent d'audit est confié à un agent IA distinct de l'agent d'exécution.

Dans cette série, nous ne confions pas l'exécution et l'audit au même agent IA. Si l'on demande au même agent d'« écrire puis de se relire », il applique au contrôle les mêmes critères de jugement qu'il a utilisés pour écrire. Il devient aussi plus facile de glisser dans un biais inverse : rédiger de façon à ce que le contrôle passe sans difficulté.

Lorsque l'agent d'exécution adopte une posture « optimisée pour la tâche », cette posture n'est pas adaptée à la détection de problèmes. Détecter des problèmes requiert une posture de « regard sceptique », qui est incompatible avec la posture « avancer » propre à l'exécution en cours. Ce que nous avons mentionné dans le chapitre précédent — « l'agent d'exécution ne peut pas s'auto-auditer » — n'est pas une question de capacité, mais bien une question de posture.

Placer les deux séparément permet à chacun de se concentrer sur son propre rôle.

La question de savoir pourquoi nous utilisons souvent des agents IA de prestataires différents, et quels problèmes cela permet d'éviter, sera examinée en détail dans un autre chapitre. Ici, nous confirmons uniquement le principe : les deux rôles ne sont pas confiés au même agent, ils sont placés séparément.

Récapitulatif de ce chapitre

Le rôle de l'agent IA chargé de l'audit est de trouver les problèmes. Ce rôle se compose de trois actions : la comparaison avec les directives initiales, la détection des omissions et des contradictions, et l'enregistrement des problèmes.

« Voir des problèmes remonter » est le signe que l'audit fonctionne, et c'est précisément lorsqu'un « rapport parfait » se répète que nous remettons en question le niveau de granularité. La raison pour laquelle l'audit est séparé de l'exécution relève aussi de cette question de posture. Le travail consistant à faire remonter les problèmes est difficile à mener par le même agent que celui qui avance dans la tâche. C'est pourquoi nous les séparons.