Pourquoi mesurer, et ce qu'on mesure

Avant de mesurer quoi que ce soit, vous allez écrire la question de décision que votre mesure doit éclairer, puis la faire critiquer par un assistant. C’est le geste qui sépare une mesure utile d’un tableau de chiffres.

Avant de commencer (30 secondes). Si l’on vous demandait demain « est-ce que ça vaut le coup ? », pourriez-vous répondre avec des chiffres ? Notez de 0 à 10 votre confiance.

Votre premier essai, tout de suite

Écrivez en une phrase la décision que votre mesure doit éclairer, du type : « Faut-il garder [l’outil] pour [la tâche] après [la date] ? » Collez-la avec ce modèle :

Voici la décision que je veux éclairer : [votre phrase]. Dis-moi si cette question permet de répondre par oui ou par non avec des chiffres. Propose quatre indicateurs qui y répondraient, et dis quel résultat me ferait changer d’avis.

Comparez avec votre pari. Une question vague (« est-ce utile ? ») ne se mesure pas ; une question de décision se mesure.

Maintenant, questionnez-le. Demandez : « Qu’as-tu supposé sur mon activité ? Quel indicateur serait facile à gonfler sans que rien ne s’améliore ? ». La réponse annonce les pièges qui faussent la mesure.

Pourquoi mesurer

Vous avez monté un outil d’IA, ou vous allez le faire. Quelqu’un finira par poser la question : « Est-ce que ça vaut le coup ? » Ce quelqu’un peut être votre associé, votre direction, votre comptable, ou vous-même dans six mois, quand l’enthousiasme sera retombé. Si vous n’avez pas préparé la réponse, vous répondrez avec une impression. Et une impression, en matière d’IA, se trompe plus souvent qu’on ne le croit.

La formation « IA, débutant complet » donne la méthode de base : un tableau avant/après, trois chiffres, une formule de gain mensuel. Elle suffit pour un usage personnel. Celle-ci va plus loin : c’est la méthode qu’on applique quand une décision d’investissement dépend du résultat, quand plusieurs personnes sont concernées, ou quand le montage a coûté des dizaines d’heures.

À la fin de ce chapitre, vous saurez écrire la question de décision que votre mesure doit éclairer, choisir quatre indicateurs qui y répondent, reconnaître cinq pièges qui faussent les chiffres, et vous aurez cadré le fil rouge de la formation : deux systèmes d’illustration, que vous retrouverez dans chaque chapitre.

Prérequis : avoir un usage de l’IA en place ou en projet, même modeste. Aucune compétence en statistique n’est demandée : les formules sont courtes, et chaque calcul est refait pas à pas.

Un gain n’est pas un temps gagné

Quand on dit « l’IA m’a fait gagner du temps », on désigne en réalité une seule chose parmi plusieurs. Un gain véritable est un changement mesurable, durable et utile pour l’organisation, net de tout ce que le système a coûté à mettre en place et à faire vivre.

Trois mots comptent dans cette phrase.

• Mesurable : vous pouvez l’écrire avec un chiffre et dire comment ce chiffre a été obtenu.
• Durable : il tient après les premières semaines, quand la nouveauté est passée et que les cas difficiles arrivent.
• Net : il tient compte du montage, de l’entretien, de la relecture, des erreurs qu’il a fallu corriger.

Un temps gagné qui n’est pas réutilisé ne rapporte rien. Une erreur évitée qui n’a jamais été mesurée n’existe pas dans un dossier. Un coût caché (l’entretien du lundi matin, le fournisseur qui change ses conditions) mange le bénéfice sans bruit. C’est pourquoi la mesure commence par une question de décision, et non par un chronomètre.

Commencer par la décision

Avant de mesurer quoi que ce soit, écrivez cette phrase :

« Cette mesure doit m’aider à décider de ______, avant le ______, avec pour seuil ______. »

La décision peut être : poursuivre l’usage ou l’arrêter, l’étendre à une autre équipe, renouveler un abonnement, financer un second montage, embaucher ou non. Le seuil est le chiffre à partir duquel vous changez d’avis. Il se fixe avant de regarder les résultats (voir le chapitre sur les règles de décision).

Cette table a une conséquence pratique : la même mesure ne sert pas à tout. Si la décision est « poursuivre ou arrêter », inutile de monter un essai avec groupe témoin. Si la décision est « étendre à quarante personnes », un simple avant/après ne suffira pas. Le coût de la mesure doit rester proportionné à l’enjeu de la décision.

Les quatre familles d’effets

Un système d’IA agit rarement sur une seule dimension. Pour ne rien oublier, rangez les effets en quatre familles.

Les deux premières familles sont les plus faciles à chiffrer et les plus citées. Les deux dernières sont souvent celles qui justifient un usage : un devis envoyé le jour même plutôt que trois jours plus tard n’est pas qu’un gain de minutes. Mais ces effets sont aussi plus difficiles à relier à une valeur en euros ; on les mesure quand même, et on dit honnêtement quand on ne sait pas les convertir (voir le chapitre sur la conversion du temps gagné en argent).

Une règle de choix simple : retenez au moins un indicateur par famille concernée, et quatre au maximum au départ. Au-delà, vous passerez plus de temps à relever qu’à décider.

La chaîne de résultats

Entre « le système fonctionne » et « l’entreprise gagne de l’argent », il y a quatre maillons. Beaucoup de rapports s’arrêtent au premier, qui est le plus facile à compter.

1. L’activité : ce que le système fait (messages traités, questions posées).
2. La sortie : ce qu’il produit (lignes de tableur remplies, réponses données).
3. Le résultat : ce que cela change pour les personnes (devis envoyés plus vite, collègues non interrompus).
4. L’effet financier : ce que cela change pour les comptes (heures réutilisées, coût évité, ventes supplémentaires).

Chaque maillon peut être excellent sans que le suivant le soit. Un système qui traite 120 messages par semaine (activité) et produit 120 lignes (sortie) n’a aucun effet financier si les lignes contiennent des erreurs qu’il faut recorriger, ou si l’heure gagnée est absorbée par une réunion de plus. Le travail de mesure consiste à remonter la chaîne jusqu’au maillon dont dépend votre décision, et à signaler où elle se casse.

Cinq pièges qui faussent la mesure

Piège 1 : la perception contre la mesure

On croit avoir gagné du temps. On ne l’a pas toujours gagné. Les personnes qui utilisent un outil sont mal placées pour en évaluer l’effet : elles se souviennent des moments où il a aidé, rarement de ceux où il a coûté un détour.

Vérifié à l’automne 2026 : METR, un organisme de recherche, a publié le 10 juillet 2025 un billet intitulé « Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity ». Il s’agit d’un essai contrôlé randomisé : 16 développeurs expérimentés de projets open source ont réalisé 246 tâches réelles sur leurs propres dépôts, chaque tâche étant tirée au sort entre « IA autorisée » et « IA interdite ». Résultat : les tâches avec IA ont pris 19 % de temps en plus. Les développeurs s’attendaient à gagner 24 % de temps et, après coup, croyaient encore en avoir gagné 20 %. Limites que METR signale lui-même : les participants connaissaient très bien des dépôts vastes et anciens, et les outils étaient ceux du début de 2025 ; METR a indiqué que des outils plus récents donneraient probablement d’autres résultats, et une expérience de suivi montre des indices d’accélération, mais avec des biais de sélection qui rendent l’ampleur peu fiable. Retenez la méthode, pas le pourcentage : l’écart entre ce que les gens croient et ce qu’on mesure peut être grand, dans les deux sens.

Cette étude ne dit pas que l’IA ralentit, ni qu’elle accélère. Elle dit qu’un avis personnel ne remplace pas une mesure, et qu’un tirage au sort par tâche est une façon sérieuse de la faire. Nous y reviendrons dans le chapitre sur la conception d’un pilote.

Piège 2 : la moyenne qui cache des écarts

Un chiffre moyen peut dissimuler que l’outil aide beaucoup certaines personnes et presque pas d’autres.

Vérifié à l’automne 2026 : Brynjolfsson, Li et Raymond, « Generative AI at Work », Quarterly Journal of Economics, vol. 140(2), 2025, p. 889-942. Les auteurs ont étudié le déploiement échelonné d’un assistant conversationnel auprès de 5 172 agents de support client (le document de travail NBER w31161, antérieur à la version publiée, en comptait 5 179). Dans la version publiée, la productivité, mesurée en problèmes résolus par heure, progresse de 15 % en moyenne ; le document de travail indiquait 14 % en moyenne et 34 % pour les débutants et les moins qualifiés. Dans les deux versions, les gains se concentrent sur les agents les moins expérimentés ; les plus expérimentés gagnent peu en vitesse et perdent légèrement en qualité (version publiée). Les clients se montrent aussi plus courtois et demandent moins souvent à parler à un responsable. Limites : il s’agit d’un contexte précis (le support client, un outil donné, une période donnée) ; les résultats ne se transposent pas tels quels à une autre activité.

L’enseignement de méthode : ne vous contentez pas de la moyenne. Regardez les écarts entre personnes, entre types de cas, entre périodes (voir le chapitre sur la ligne de base, qui montre comment segmenter).

Piège 3 : le temps libéré qui n’est pas réutilisé

Une heure de moins passée sur la saisie ne devient de l’argent que si elle est employée à autre chose : un client servi, un dossier avancé, un repos que vous valorisez. Si elle se dilue dans la journée, le gain existe sur le papier et nulle part ailleurs. La solution : décider à l’avance de ce que le temps libéré servira à faire, et mesurer cette réutilisation (voir le chapitre sur la conversion du temps en argent).

Piège 4 : l’effet de nouveauté

Les premières semaines, tout le monde s’applique : on relit mieux, on signale les erreurs, on essaie le nouvel outil avec attention. Les chiffres sont excellents, puis ils glissent. L’inverse existe aussi : le temps d’apprentissage rend les premiers jours médiocres. Dans les deux cas, une mesure sur une seule semaine est trompeuse. Prévoyez une durée suffisante et distinguez la phase de rodage de la vitesse de croisière.

Piège 5 : les tâches nouvelles comptées comme gain

Si l’outil vous fait produire un résumé que vous n’écriviez jamais, vous n’avez pas gagné de temps : vous avez ajouté du travail. Ce travail peut être utile, mais il se compte à part, comme un bénéfice de qualité ou de capacité, et non comme une économie.

Le fil rouge : deux systèmes, des chiffres d’illustration

Tout au long de la formation, vous suivrez deux cas, ceux des formations « API et intégration IA » et « Agents sur mesure et RAG ». Tous les chiffres sont des valeurs d’illustration : ils servent à montrer un raisonnement, jamais à prévoir ce que vous obtiendrez.

Clara dirige une entreprise de rénovation. Elle reçoit environ 120 demandes de devis par semaine. À la main, chacune demande 2 minutes (classer, relever ville, surface, délai, budget, recopier dans le tableur) : 240 minutes, soit 4 heures par semaine. Elle a monté un programme d’extraction avec une file de relecture : 15 % des messages sont relus (18 messages de 3 minutes, soit 54 minutes) et 15 minutes de contrôle par échantillon complètent le travail. Le total est de 69 minutes, arrondies à 70 minutes dans la suite. Le montage a pris 10 heures. L’entretien prend 20 minutes par semaine.

Mathilde est responsable administrative d’un cabinet de conseil de douze personnes. Environ 20 questions par semaine portent sur les procédures internes ; chacune prend 6 minutes à la personne qui répond : 120 minutes, soit 2 heures par semaine. Elle teste un assistant documentaire en pilote. L’assistant ne sait pas traiter environ un tiers des questions (7 sur 20, soit 35 %, arrondi). Pour les 13 autres, la personne vérifie la réponse et sa source en 2 minutes. Pour les 7 restantes, elle répond à la main en 6 minutes, après une minute perdue à essayer l’assistant. La construction a pris 25 heures. L’entretien prend 2 heures par mois.

Un premier calcul, volontairement naïf, ne regarde que le temps :

Les deux systèmes « fonctionnent ». Le premier se rentabilise en un mois, le second en près de deux ans. La suite de la formation montrera pourquoi ce premier calcul est insuffisant (il ignore les coûts de possession, la qualité, la réutilisation du temps), et ce que Mathilde peut faire de ce résultat : l’ajuster, ou l’arrêter. Dans les deux cas, elle décide avec des chiffres.

Une tâche chiffrée : de deux semaines de discussions à une page de cadrage

Sur un cas comme celui-ci, on passe souvent des semaines à discuter de l’utilité d’un outil sans jamais écrire ce qu’on attend de lui. Écrire la fiche de cadrage ci-dessous demande de l’ordre d’une demi-journée pour un usage unique : une heure pour la question de décision, deux heures pour les indicateurs, le reste pour recueillir les réponses auprès des intéressés. C’est un ordre de grandeur à vérifier sur votre cas, non une promesse.

Le modèle à copier : la fiche de cadrage de la mesure

La dernière ligne compte. Mesurer le temps de personnes demande de la transparence : elles doivent savoir ce qui est relevé, pourquoi, et que la mesure porte sur le système et non sur leur performance individuelle. Les chiffres s’exploitent collectivement, jamais pour sanctionner. En cas de doute sur ce qui est permis chez vous, interrogez un juriste ou un représentant du personnel, et reportez-vous à la formation « Déployer l’IA en entreprise ».

Exercice

Durée : 1 h 30. Résultat attendu : une fiche de cadrage remplie pour un usage réel.

1. Choisissez un usage de l’IA, en place ou prévu, dans votre activité.
2. Écrivez la question de décision avec sa phrase type : décision, échéance, seuil.
3. Rangez les effets attendus dans les quatre familles. Barrez celles qui ne concernent pas votre usage.
4. Choisissez quatre indicateurs au maximum, avec leur unité (minutes par tâche, euros par tâche, erreurs pour cent messages, heures de délai) et la source d’où vous les tirerez.
5. Écrivez la chaîne de résultats de votre usage en quatre lignes.
6. Relisez la liste des cinq pièges et notez, pour chacun, un moyen concret de vous en protéger.

Critère de réussite : un tiers qui lit votre fiche sait quelle décision elle éclaire, quel chiffre fait changer cette décision, et d’où viendra chaque indicateur.

Si cela ne marche pas : une question qui reste vague (« est-ce utile ? ») se réécrit avec sa décision, son échéance et son seuil. Si vous ne parvenez pas à fixer un seuil, la décision n’est pas encore assez précise. Plus de quatre indicateurs : vous passerez plus de temps à relever qu’à décider. Un effet que vous ne savez pas convertir en euros se mesure quand même, et vous le dites honnêtement.

Ce que vous savez maintenant

Répondez de mémoire aux quatre questions, puis vérifiez avec les points qui suivent.

1. Quelles qualités un gain véritable doit-il avoir ?
2. Pourquoi la mesure commence-t-elle par une question de décision et un seuil ?
3. Quelles sont les quatre familles d’effets et les quatre maillons de la chaîne de résultats ?
4. Citez trois des cinq pièges qui faussent la mesure.

Points à retenir :

• Un gain est mesurable, durable et net ; un temps gagné non réutilisé n’est pas un gain.
• La mesure commence par une question de décision et un seuil écrit à l’avance.
• Les effets se rangent en quatre familles : temps, coût, qualité et risque, délai et capacité.
• Entre l’activité et l’effet financier, il y a quatre maillons : on remonte jusqu’à celui dont dépend la décision.
• Cinq pièges guettent : la perception contre la mesure, la moyenne qui cache des écarts, le temps non réutilisé, la nouveauté, les tâches nouvelles.

Quand allez-vous le faire ?

Écrivez une phrase : « Le [jour], avant de lancer le moindre relevé, j’écris ma phrase de décision (décision, échéance, seuil) et je la fais valider par la personne qui décidera. »

La suite

Le chapitre suivant établit la ligne de base et l’unité de travail, sans lesquelles aucun avant/après n’est crédible. Viennent ensuite le coût complet, la mesure de la qualité, la conception d’un pilote, la conversion du temps gagné en argent, le tableau de bord et le suivi, puis la décision, la communication et le passage à l’échelle.