Pourquoi neuf agents IA plutôt qu'un seul

On confie une tâche longue à une intelligence artificielle. Plusieurs étapes, des consignes claires. Au bout d'un moment, la réponse arrive : « c'est fait ». La plupart du temps, c'est vrai. Le reste du temps, rien ne permet de faire la différence. Pas de message d'erreur, rien de cassé en apparence : la panne, ici, est silencieuse. Le résultat contient une erreur quelque part au milieu, présentée avec le même aplomb que tout le reste. Et plus la tâche est longue, plus il y a de place pour que cela passe inaperçu.

À qui la faute ? Moins à l'outil qu'on ne le croit. Ce n'est pas vraiment une question de capacité : quand on lui met l'erreur sous les yeux, le modèle la voit, et la corrige. L'erreur était donc visible. Encore fallait-il que quelqu'un regarde. Pendant longtemps, dans mon cas, personne ne regardait. Je confiais tout à un seul agent, en attendant de lui qu'il soit son propre relecteur. Le problème tenait moins à la machine qu'à la façon dont je lui remettais le travail.

Alors j'ai réparti le travail. Un agent rédige, un autre vérifie, un troisième — parfois moi — décide si ça sort ou non. Le raisonnement n'a rien d'original : c'est celui de n'importe quelle entreprise. Celui qui rédige le rapport n'est pas le seul à le signer, et un deuxième regard repère ce que l'auteur ne voit plus. Depuis qu'une étape de vérification existe, des choses qui passaient sans encombre se font retoquer en chemin. Beaucoup sont de fausses alertes. Quelques-unes, non.

Aujourd'hui, cela fait environ neuf rôles distincts — rédaction, vérification, approbation, et quelques-uns plus précis que cela. « Environ », parce que l'organigramme n'a rien de propre. Deux rôles se marchent dessus. Il est arrivé qu'un vérificateur laisse passer une erreur parce que la vérification elle-même avait été expédiée : précisément la défaillance que l'ensemble devait empêcher, remontée d'un étage. Les frontières entre les rôles bougent encore, et rien n'indique qu'elles se stabiliseront de sitôt.

Restait une question : pourquoi rendre cela public, au lieu de corriger sans témoin ? Parce que les échecs instruisent davantage que la version aboutie. « Et ensuite cela a fonctionné » n'apprend rien à personne ; ce qui sert, c'est ce qui s'est cassé, et ce qui a changé ensuite. Ces défaillances ne préviennent pas au moment où elles se produisent ; elles n'apparaissent qu'après coup, quand quelque chose en aval a déraillé ou qu'un chiffre ne tombe pas juste. Tout ici s'écrit donc après, en se retournant. Certains textes seront plus bruts qu'un article fini ; c'est assumé.

Ce journal porte un nom : Structure Log. Plusieurs IA organisées comme une entreprise miniature, et le registre de ce que ça donne, publié tel quel — des notes que je me laisserais pour ne pas oublier comment tout cela s'est monté, à ceci près que vous pouvez les lire. La suite ne racontera que ce qui s'est réellement passé. Neuf rôles, ce n'est probablement pas la forme finale. Les frontières bougeront encore, et c'est ici qu'on les verra bouger.