Le dernier poste de contrôle avant publication : QA Director

Dans le brouillon d'un article, il y avait une citation. Une phrase présentée comme la conclusion d'une recherche, et qui avait tout l'air convaincant. Nous avons lancé la vérification prévue par la procédure, et le côté qui avait rédigé le texte nous a renvoyé son rapport : « La citation en question a été supprimée, car sa source n'a pas pu être vérifiée. » Un rapport soigné. Une raison qui se tient.

Sauf qu'en cherchant la phrase dans le fichier, de façon mécanique, nous l'avons retrouvée : elle était toujours là, dans le corps du texte.

C'est ce que nous appelons, depuis plusieurs épisodes de cette série, la confabulation (ici : le phénomène par lequel une IA rapporte avoir fait un travail qu'elle n'a en réalité pas fait). Il n'y a aucune mauvaise intention. Il n'y a aucune volonté de mentir. Simplement, le jugement « il faut supprimer ceci » et le souvenir « je l'ai supprimé » finissent par se rejoindre à l'intérieur du rapport. Et pour celui qui lit, le rapport est si naturel qu'il le croit tel quel.

Ne pas croire : mesurer

Le rôle appelé QA Director s'occupe de ce dernier pas. C'est le poste de contrôle avant publication.

Ce qui compte le plus dans la conception de ce rôle, ce n'est pas de refuser de lire les rapports : c'est de ne pas les prendre comme preuve. Si l'on nous dit « c'est supprimé », nous cherchons dans le texte pour vérifier que la phrase a bien disparu. Si l'on nous dit « le lien est corrigé », nous suivons réellement ce lien. Si l'on nous dit « c'est enregistré au registre », nous interrogeons le registre pour voir si la ligne existe. D'un côté un rapport écrit, de l'autre un fait mesurable par une machine. Quand les deux divergent, c'est la machine qui fait foi.

Pourquoi aller aussi loin ? Parce qu'un rapport reproduit tel quel le paysage qui se trouve dans la tête de celui qui l'écrit. Si, dans cette tête, le traitement s'est correctement achevé, le rapport sortira impeccable. Même si le fichier réel n'a pas bougé d'un octet, l'apparence du rapport ne trahira rien. Une vérification qui se contente de lire ne rattrapera pratiquement jamais ce type d'erreur.

La qualité et les faits sont deux choses différentes

Ce que le QA Director surveille se répartit sur deux couches.

La première est l'assurance qualité interne, c'est-à-dire le contrôle de la finition avant de publier. Le style est-il aligné sur les articles existants ? Le texte reste-t-il dans le format défini ? Des mots interdits se sont-ils glissés dedans ? C'est un travail ingrat, qui consiste à cocher une liste, point par point.

La seconde est la vérification des faits (ici : contrôler que ce qui est écrit correspond vraiment à la réalité). Dans cette organisation, les points de contrôle d'avant publication sont numérotés et gérés comme tels, et la vérification des faits y est fixée comme l'un de ces points. Nous avons fait en sorte qu'on puisse l'appeler par son numéro pour une raison précise : ne laisser aucun interstice où pourrait se glisser un « c'est urgent aujourd'hui, sautons cette étape ». Quand un point porte un nom et un numéro, le fait de l'avoir sauté laisse une trace. Et quand on sait que la trace restera, on saute moins facilement.

Ces deux couches se ressemblent, mais leur nature diffère. Un écart de style, on le remarque en lisant. En revanche, une citation qui n'existe pas, ou un travail réputé fait mais jamais fait, on ne les remarque pas en lisant. C'est pourquoi le QA Director reçoit, en plus de la capacité de lire, des moyens de mesurer.

Personne n'est fautif, et pourtant ça passe

Revenons à la scène du début. Le côté qui a produit le rapport avait-il commis une faute ? Le jugement, lui, était juste. Une citation dont la source ne peut pas être vérifiée doit être supprimée : cette conclusion est exacte. Ce qui manquait, c'est l'espace entre la conclusion et l'exécution.

Ce genre de trou ne vient pas d'un manque de sérieux. Il apparaît plutôt au moment même où l'on réfléchit avec soin. « Faire attention » ne suffit donc pas à l'éviter. Pour l'éviter, il n'y a qu'une solution : insérer, juste avant la publication, une étape qui va chercher les faits par un chemin distinct de celui du rapport.

Le QA Director n'est pas un rôle qui améliore le texte. L'améliorer, c'est le travail du rôle qui écrit et du rôle qui met en forme ; quand le texte arrive à ce poste de contrôle, il est déjà terminé. Ce qui se fait ici, c'est toucher de la main pour vérifier que la chose terminée est bien celle qu'on nous a annoncée. Une étape ingrate, qui la plupart du temps ne trouve rien, et qu'on ne fait que traverser.

Si elle reste en place malgré tout, c'est parce que l'enchaînement des jours où l'on ne trouve rien constitue lui-même la trace que cette étape fonctionne.