Une présentation des résultats d’un pilote doit aider à décider s’il faut étendre, ajuster, prolonger ou arrêter un essai limité. Placez les critères de réussite initiaux à côté des résultats observés, puis expliquez le compromis. Un indicateur prometteur ne compense pas un seuil de qualité ou de charge de travail non respecté.
Reliez les observations à la décision : ce que le pilote testait, ce qui s’est passé, ce que les preuves ne permettent pas de trancher et la suite à proposer. Une fois les chiffres examinés, vous pouvez utiliser Presenti pour organiser les notes du pilote en une ébauche de présentation. L’exemple suivant transforme un résultat contrasté en une revue de sept diapositives, sans déclarer par défaut que l’essai est un succès.
Partir de la décision que le pilote devait éclairer
« Point sur le pilote » décrit une réunion, pas son objectif. Une question utile est plus précise : « Faut-il introduire le nouveau formulaire dans un autre service, répéter l’essai après une modification ou conserver le processus actuel ? »
Gardez le périmètre à côté de la question : qui a participé, quel processus a changé, combien de temps le pilote a duré et ce qui en était exclu. Le résultat d’un seul service peut éclairer le prochain essai sans justifier un déploiement dans toute l’entreprise.
Le guide GOV.UK sur la mesure des bénéfices d’un service recommande de convenir des indicateurs au début de la phase bêta et de comparer les bénéfices observés aux prévisions pour décider de poursuivre. Dans une présentation de pilote, cela revient à remettre les critères initiaux sur la table, plutôt qu’à choisir les mesures les plus flatteuses après avoir vu le résultat.
Si les critères n’ont pas été convenus à l’avance, dites-le. Vous pouvez tout de même décrire ce qui s’est passé et proposer la manière d’évaluer l’essai suivant. Ne présentez pas rétrospectivement un seuil commode comme l’objectif initial.
Exemple chiffré : des demandes plus complètes, avec un besoin d’assistance
Supposons qu’une équipe de service interne teste un formulaire de demande révisé. La référence couvre quatre semaines avec l’ancien processus ; le pilote dure deux semaines dans un seul service. Les chiffres et seuils suivants sont des données pédagogiques fictives, et non un cas client ou un résultat obtenu avec Presenti.
| Mesure | Ancien processus : quatre semaines | Nouveau formulaire : deux semaines |
|---|---|---|
| Demandes distinctes déposées | 100 | 50 |
| Demandes complètes dès le premier dépôt, sans clarification nécessaire | 76 | 46 |
| Demandes résolues à la date d’arrêté de l’observation | 80 | 45 |
| Demandes résolues ayant nécessité la correction d’une erreur de saisie consignée | 4 | 3 |
| Temps de travail supplémentaire d’assistance consigné pour le nouveau formulaire | Non mesuré sur cette base | 120 minutes |
La complétude au premier dépôt est déterminée à partir des champs renseignés et des échanges de clarification. Elle ne signifie pas que la demande est résolue : une demande complète peut encore attendre un examen, et une demande incomplète peut être résolue après clarification. Une demande n’est comptée qu’une fois, même si elle génère plusieurs messages.
Les cinq demandes non résolues du pilote restent comprises dans le nombre de demandes déposées. Trois attendent une réponse du demandeur et deux l’intervention d’une personne chargée de l’examen. Les exclure modifierait la population étudiée et compliquerait l’interprétation de la présentation.
Afficher le dénominateur à côté de chaque résultat
La complétude au premier dépôt passe de 76 ÷ 100 = 76 % à 46 ÷ 50 = 92 %, soit une hausse de 16 points de pourcentage. « En hausse de 16 % » n’est pas la même affirmation. Montrez les effectifs en plus des pourcentages pour que le lecteur voie la taille de chaque groupe.
Le taux de correction des erreurs de saisie consignées répond à une autre question : parmi les demandes résolues à la date d’arrêté, combien ont nécessité une correction ? Il est de 4 ÷ 80 = 5 % avec l’ancien processus et de 3 ÷ 45 ≈ 6,7 % pendant le pilote. N’utilisez pas 3 ÷ 50 pour une mesure explicitement définie parmi les demandes résolues.
Seules trois corrections ont été consignées pendant le pilote. Leur nature et leur gravité comptent, et les cinq demandes non résolues peuvent encore modifier le bilan ultérieur. Les chiffres actuels décrivent la situation à la date d’arrêté ; ils n’établissent pas un taux d’erreur stable à long terme.
L’assistance représente 120 ÷ 50 = 2,4 minutes de travail supplémentaires par demande déposée. Il s’agit du temps consacré par le personnel à aider les utilisateurs du nouveau formulaire, et non du temps d’attente du demandeur, du temps de traitement ou du temps économisé. Comme la référence n’a pas mesuré la même activité d’assistance, ce tableau ne permet d’établir ni une économie nette de travail ni une variation de la charge de travail entre les deux périodes.
Montrer le résultat contrasté au lieu de le masquer par une moyenne
Dans cet exemple, l’équipe a convenu de trois critères avant le pilote. Ces seuils appartiennent à la décision fictive ; ce ne sont pas des références sectorielles.
| Critère convenu | Observation du pilote | Résultat à la date d’arrêté |
|---|---|---|
| Au moins 90 % de demandes complètes au premier dépôt | 46/50 = 92 % | Atteint |
| Au plus 5 % des demandes résolues nécessitent une correction d’erreur de saisie | 3/45 ≈ 6,7 % | Non atteint |
| Au plus 2 minutes d’assistance supplémentaires par demande déposée | 120/50 = 2,4 minutes | Non atteint |
Un titre comme « Le nouveau formulaire réussit son pilote avec 92 % de succès » dissimulerait deux critères non atteints et transformerait la complétude des informations en score global de réussite. Mieux vaut écrire : « Davantage de demandes arrivent complètes ; les objectifs de correction et d’assistance restent non atteints. »
Ne faites pas la moyenne des trois mesures pour obtenir un seul feu vert, orange ou rouge. Elles décrivent des éléments différents, ont des unités différentes et ont été choisies pour éviter des problèmes différents. Si les responsables décident de poursuivre malgré un critère non atteint, consignez cette décision et ses conditions, plutôt que de réécrire le résultat comme une réussite.
Distinguer l’amélioration observée de son explication
Le formulaire a changé, mais aussi la fenêtre d’observation et, peut-être, les personnes ou les types de demandes. Ce pilote reposait sur une sélection de convenance, sans répartition aléatoire ni groupe de comparaison parallèle. L’écart de 16 points ne prouve pas, à lui seul, que le formulaire a causé l’amélioration.
Cherchez les explications qui modifieraient la prochaine action. Les demandes simples étaient-elles surreprésentées ? Le personnel a-t-il fourni davantage d’aide ? L’essai a-t-il évité une période chargée ? Les mêmes règles ont-elles servi à juger les informations complètes dans les deux groupes ? Ces questions ont leur place à côté du résultat, et non dans un avertissement générique à la fin.
Dans l’essai fictif, l’équipe soupçonne qu’un champ ambigu contribue au travail de correction. C’est une hypothèse. Examinez les trois dossiers corrigés et les notes d’assistance avant d’affirmer une cause commune. Si les dossiers révèlent des problèmes différents, la reformulation d’un seul champ ne les réglera pas nécessairement tous.
Distinguez les observations qualitatives des décomptes. Le commentaire d’une personne peut éclairer une confusion, mais il ne montre pas la fréquence du problème. Utilisez des propos autorisés et attribuables si vous en disposez ; n’inventez pas de citation pour rendre la diapositive plus humaine.
Formuler une recommandation avec une prochaine étape délimitée
Ici, une proposition raisonnable consiste à examiner les cas de correction, à clarifier le champ en question lorsque les preuves justifient cette modification, puis à répéter un essai de périmètre similaire avant toute extension. Il s’agit d’une proposition, pas d’une approbation ni d’une prévision selon laquelle les objectifs seront atteints.
La note suivante doit préciser la version du formulaire révisé, le service participant, la période d’observation, l’assistance prévue, les définitions des indicateurs et les critères de décision. Conservez les mêmes mesures si elles répondent toujours à la question. Si une définition change, expliquez pourquoi et évitez de comparer le nouveau chiffre à l’ancien comme si rien n’avait changé.
Définissez avec l’analyste ou le responsable de service un plan de participation et une période d’observation adaptés à la décision. « Cinquante demandes ont suffi la dernière fois » ne justifie pas une affirmation statistique. Cet exemple ne fournit ni calcul de taille d’échantillon ni test de significativité.
Si le commanditaire souhaite étendre immédiatement l’usage, précisez ce qui serait accepté : quels services, quelle assistance, quels risques non résolus et quelle observation déclencherait une pause. Un déploiement complet n’est pas le même engagement que la participation d’une équipe supplémentaire.
Un plan en sept diapositives pour les résultats du pilote
- Recommandation. Répéter un essai limité après examen des problèmes de correction et d’assistance ; l’approbation reste à obtenir.
- Périmètre du pilote. Montrer l’ancien et le nouveau processus, les participants, les périodes, la date d’arrêté et les limites de la comparaison.
- Critères initiaux. Présenter les trois seuils convenus avant les résultats.
- Résultats observés. Montrer 76/100 contre 46/50, 4/80 contre 3/45 et 120/50 minutes de travail. Garder les mesures séparées.
- Ce qui reste inexpliqué. Présenter les demandes non résolues, les cas corrigés, les notes d’assistance et le problème de champ soupçonné, sans affirmer une cause.
- Prochain essai ou autre option. Préciser ce qui changerait, ce qui resterait comparable et la décision que la prochaine observation doit éclairer.
- Décision et conditions. Consigner ce que le commanditaire accepte effectivement, avec un responsable et une date de suivi une fois confirmés.
Conservez les données par demande et les calculs dans les documents complémentaires. La présentation principale doit montrer assez de détails pour expliquer la recommandation sans obliger le public à reconstruire chaque dénominateur en réunion.
Préparer une consigne qui préserve le résultat contrasté
Une fois les chiffres examinés par le responsable de service, utilisez le champ « Paste Text » de Presenti, qui permet de coller du texte, pour organiser les notes en une ébauche de présentation. Saisissez les définitions et les limites avec les chiffres. Ne demandez pas à l’outil de décider si le pilote a réussi.
Crée une présentation de sept diapositives sur les résultats de cet essai fictif d’un formulaire interne. Référence : quatre semaines, 100 dépôts distincts, 76 complets au premier dépôt, 80 résolus, 4 demandes résolues nécessitant la correction d’une erreur de saisie. Pilote : deux semaines dans un service, 50 dépôts, 46 complets au premier dépôt, 45 résolus, 3 demandes résolues nécessitant une correction et 120 minutes de travail supplémentaires d’assistance. Cinq demandes restent non résolues : trois attendent le demandeur et deux une personne chargée de l’examen. Montre 76 % contre 92 %, soit un écart de 16 points de pourcentage ; 5 % contre environ 6,7 % de corrections parmi les demandes résolues ; et 2,4 minutes d’assistance par dépôt pendant le pilote. Les critères fixés à l’avance dans cet exemple sont au moins 90 % de complétude, au plus 5 % de corrections et au plus 2 minutes d’assistance. Seule la complétude atteint son seuil. Il ne s’agissait pas d’un essai randomisé. Recommande d’examiner les problèmes de correction et d’assistance avant de répéter un essai de périmètre similaire ; la décision n’est pas encore approuvée. N’invente pas de causalité, d’économies, de significativité ou de déploiement réussi.
Dans l’ébauche, vérifiez que chaque pourcentage conserve son effectif, que les demandes non résolues n’ont pas disparu et que le temps d’assistance n’est pas devenu du « temps économisé ». Une revue de pilote utile peut recommander de continuer tout en indiquant clairement que l’essai actuel n’a pas rempli toutes les conditions d’une extension.
