On ne croit pas, on mesure

Un projet, c'est d'abord du courrier

On imagine un projet de bâtiment comme des plans et un chantier. Vu de l'agence, c'est d'abord un flux de pièces qui arrivent par mail, tous les jours, de partout : devis d'entreprises, situations de travaux, attestations d'assurance, plans d'exécution, avis du bureau de contrôle, bons de commande, factures. Chaque pièce doit être reconnue, rattachée au bon projet, au bon marché, au bon lot, rangée là où l'équipe la retrouvera, et souvent déclencher quelque chose : une validation, un paiement, une réserve à lever.

Ce travail est invisible et il est immense. Il repose sur l'attention de quelques personnes, sur des habitudes de nommage, sur la mémoire de celui qui a ouvert le mail. Il se fait bien quand tout va bien. Il se dégrade dès que le volume monte, et le volume monte toujours en fin de chantier, exactement quand les erreurs coûtent le plus cher.

Faire lire par la machine n'est que la moitié du chemin

Depuis le printemps, chaque pièce jointe reçue par l'agence est lue par l'IA : de quel type de document il s'agit, qui l'émet, à quel projet et à quel marché elle se rattache, où elle doit être rangée, ce qu'elle contient d'important. Puis elle est présentée à un humain qui confirme ou corrige. Sur le papier, tout y est.

La vraie question est ailleurs : comment savoir si elle lit juste ? Une IA ne se trompe pas comme un stagiaire. Elle se trompe avec assurance, dans le même ton que lorsqu'elle a raison. Si l'on se contente de regarder les résultats qui passent, on croit ce qu'on voit, et l'on ne voit que ce qui a l'air plausible. Nous avons donc posé une règle, la seule qui tienne quand on confie une partie de son métier à un outil : on ne croit pas, on mesure.

Établir soi-même la vérité

Mesurer suppose une vérité de référence, et cette vérité ne se délègue pas. J'ai donc pris cent documents réels, reçus par l'agence, et je les ai lus et annotés moi-même, un par un : le type exact, le projet, l'entreprise, le marché, les montants, les liaisons. Un jeu d'or, comme on dit en métrologie. Seize de ces documents ont été écartés en chemin, parce que la vérité elle-même était discutable ; le savoir est déjà une information.

Face à cette référence, chaque version de la lecture automatique reçoit une note, champ par champ, avant et après chaque changement. On sait alors ce qui s'améliore, ce qui régresse, et de combien. Un jour d'août, nous avons repoussé dans le circuit tout le courrier de l'année, plus de cinq mille pièces en deux heures, pour reprendre proprement ce qui avait été mal rangé. Sans le jeu d'or, nous n'aurions pas su dire si le résultat était meilleur. Avec lui, nous l'avons su le soir même.

Une IA se trompe avec la même assurance qu'elle a raison. La seule réponse, c'est une vérité qu'on a établie soi-même.

Ce que ça change, concrètement

Pour l'équipe, une pièce se retrouve en quelques secondes, rangée au bon endroit, avec son mail d'origine. Un devis arrive déjà rattaché au marché qu'il concerne ; la personne qui valide confirme au lieu de chercher. Les avis du bureau de contrôle, qui se perdaient dans des rapports de trente pages, deviennent des réserves nommées, une par une, avec le lot concerné.

Pour le client, cela se traduit par ce qu'il ne subit plus : une facture payée en double, une attestation d'assurance expirée qu'on découvre trop tard, une réserve oubliée à la livraison. Et par une chose qu'il remarque : quand il pose une question sur une pièce, la réponse arrive vite, et elle est juste.

Ce que nous en retenons

La partie difficile n'était pas de faire lire des documents à une machine. C'était d'accepter de passer des heures à établir nous-mêmes la vérité, pour pouvoir juger l'outil au lieu de lui faire confiance. C'est fastidieux, c'est le travail d'un dirigeant qui pourrait faire autre chose, et c'est la seule chose qui rend le reste sérieux.

Nous continuons de mesurer à chaque changement. Les chiffres montent, pas toujours, pas partout, et c'est précisément pour cela qu'on les regarde.