Le « GO unanime » est un signal d'alerte

Aucune objection de personne. Aucune remarque. Tout passe sans accroc.

Face à cette situation, le premier réflexe est souvent de penser que les choses se sont bien passées. Pourtant, l'expérience de l'exploitation réelle nous a appris que ce « GO unanime (ici : l'état où tout passe sans condition, de la part de tous) » est précisément l'un des résultats qui méritent la plus grande vigilance.

En guise de conclusion de la deuxième partie, il convient de clarifier cette impression.

Pourquoi se méfier du GO unanime

L'objectif de l'audit (ici : la vérification indépendante du travail produit) a été présenté dans le chapitre précédent. Il s'agit de faire remonter les problèmes à la surface.

Dans cette optique, lorsque l'audit renvoie le résultat « aucun problème n'a été détecté », deux possibilités coexistent.

La première : il n'y avait effectivement aucun problème. La qualité du livrable était élevée, aucun écart n'a été constaté lors de la comparaison avec les orientations définies, et la cohérence d'ensemble était assurée. Dans ce cas, zéro remarque est un résultat légitime.

La seconde : des problèmes existaient, mais n'ont pas été détectés. Le niveau de granularité de l'audit (ici : la finesse des vérifications effectuées) était insuffisant, et des éléments qui n'auraient pas dû passer ont quand même passé. Dans ce cas, zéro remarque est un signe dangereux.

Vue de l'extérieur, ces deux situations ont la même apparence. « Zéro remarque, GO de tous » revient dans les deux cas sous la même forme.

C'est pourquoi la vigilance s'impose. Non pas « zéro remarque donc pas de problème », mais « zéro remarque donc il faut vérifier si la vérification a vraiment eu lieu ».

L'état idéal : « GO conditionnel + remarques »

Un résultat d'audit sain est celui où un « GO conditionnel » et « plusieurs remarques » arrivent ensemble.

« Corrigez ce point et c'est GO. » « Cette partie sera consignée comme point de transmission pour les prochaines fois. » « Deux problèmes mineurs ont été relevés, mais nous laissons la décision à la personne chargée de l'approbation finale (ici : la personne qui donne le feu vert définitif) pour cette fois. » Ce type de retour montre que l'IA chargée de l'audit a correctement fonctionné.

Pas de GO complet, mais des conditions et des réserves. Un nombre élevé de remarques n'est pas un problème ; au contraire, cela se lit comme la preuve que le travail a été correctement effectué.

À l'inverse, lorsque le GO complet de tous sans aucune remarque se répète, la question à se poser est : « le livrable avait-il vraiment ce niveau de qualité ? » Si le livrable était effectivement exempt de problèmes, zéro remarque est légitime. Dans le cas contraire, il faut revoir soit le niveau de granularité de l'audit, soit la manière dont l'IA chargée de l'audit opère.

La dérive formelle s'installe progressivement

Dans l'organisation conçue pour cette série, le rôle d'audit est confié à une IA produite par une entreprise différente de celle qui produit l'IA chargée de l'exécution (une IA d'un autre fournisseur — pour en savoir plus, voir Pourquoi confier l'audit à une IA d'un autre fournisseur ?).

L'intention derrière cette conception est d'éviter que les biais de raisonnement ne se cumulent. Cependant, même si la conception est rigoureuse, une dérive formelle (ici : le phénomène où une structure, bien conçue au départ, cesse progressivement de fonctionner comme prévu) peut survenir dans l'exploitation.

Cette dérive s'installe silencieusement. L'IA chargée de l'audit, qui formulait au départ des remarques détaillées, peut progressivement réduire sa granularité. Une sorte d'entente implicite s'établit avec l'IA chargée de l'exécution, et des points qui auraient autrefois été signalés sont laissés de côté. Avant qu'on s'en aperçoive, « zéro remarque, GO de tous » est devenu la norme.

Ce phénomène se produit de la même manière dans les audits conduits par des humains. Lorsqu'une même organisation fonctionne longtemps dans la même configuration, la vigilance s'émousse et les vérifications deviennent moins rigoureuses. On observe une tendance similaire dans les organisations IA.

C'est pourquoi l'état où « le GO unanime se répète » n'est pas traité comme un signe de bonne santé, mais comme l'occasion de vérifier l'état de fonctionnement de l'audit.

En guise de conclusion de la deuxième partie

La deuxième partie de cette série (chapitres 11 à 30) avait pour objectif de clarifier les termes et concepts fondamentaux qui soutiennent l'organisation IA.

La signification des trois rôles — exécution, audit et approbation finale — la séparation des rôles et des droits de chacun, la raison de confier l'audit à une IA d'un autre fournisseur, le rôle joué par la personne humaine chargée de l'approbation finale. Voilà les fondations posées jusqu'ici.

L'impression abordée dans ce chapitre — « le GO unanime est un signal d'alerte » — n'est pas une question de terminologie. C'est quelque chose qui se perçoit dans l'exploitation réelle.

Créer un dispositif ne suffit pas à le faire fonctionner. Vérifier qu'il fonctionne fait partie intégrante de la conception. C'est pour cette raison que naît la question suivante : « qui audite le bon fonctionnement de l'audit ? »

Tous les concepts clarifiés dans la deuxième partie convergent vers cette question. Qui vérifie quoi, et qui détient le pouvoir de décision finale ? En fixant cette structure dans les mots, on crée les critères de jugement qui serviront lorsqu'on mettra réellement le système en marche.

Les fondations sont en place. À partir de la troisième partie, la conception concrète viendra s'appuyer sur ces fondations.