Eine Präsentation von Pilotergebnissen sollte beantworten, ob ein begrenzter Test ausgeweitet, angepasst, verlängert oder beendet werden soll. Stellen Sie die ursprünglichen Erfolgskriterien neben die beobachteten Ergebnisse und erläutern Sie dann den Zielkonflikt. Eine vielversprechende Kennzahl gleicht ein verfehltes Qualitätsziel oder eine zu hohe Arbeitsbelastung nicht aus.
Verbinden Sie Beobachtung und Entscheidung: Was wurde getestet, was ist geschehen, welche Fragen bleiben offen und wie soll es weitergehen? Sobald die Zahlen geprüft sind, können Sie mit Presenti die Pilotnotizen in einen Folienentwurf übertragen. Das folgende Beispiel führt ein gemischtes Ergebnis in sieben Folien zusammen, ohne den Test vorschnell zum Erfolg zu erklären.
Mit der Entscheidung beginnen, die der Pilot vorbereiten sollte
„Pilot-Update“ beschreibt eine Besprechung, nicht deren Zweck. Eine hilfreiche Frage ist konkreter: „Sollen wir das neue Anfrageformular in einer weiteren Abteilung einführen, den Test nach einer Änderung wiederholen oder den bisherigen Prozess beibehalten?“
Nennen Sie direkt daneben den Umfang: Wer hat teilgenommen, welcher Arbeitsablauf wurde geändert, wie lange lief der Pilot und was war ausgeschlossen? Ein Ergebnis aus einer Abteilung kann eine Entscheidung über den nächsten Test stützen, ohne eine unternehmensweite Einführung zu rechtfertigen.
Die GOV.UK-Handreichung zur Messung des Nutzens eines Dienstes empfiehlt, Kennzahlen zu Beginn der Betaphase zu vereinbaren und beobachteten Nutzen mit Prognosen zu vergleichen, wenn über die Fortsetzung entschieden wird. Für eine Pilotpräsentation heißt das: Bringen Sie die ursprünglichen Kriterien mit in die Besprechung, statt nach Kenntnis der Ergebnisse besonders günstige Messgrößen auszuwählen.
Wurden die Kriterien nicht vorab vereinbart, sagen Sie das. Sie können dennoch beschreiben, was passiert ist, und einen Bewertungsmaßstab für den nächsten Test vorschlagen. Erklären Sie einen nachträglich passenden Grenzwert nicht zum ursprünglichen Ziel.
Durchgerechnetes Beispiel: vollständigere Anfragen mit Unterstützungsaufwand
Angenommen, ein internes Serviceteam testet ein überarbeitetes Anfrageformular. Die Ausgangsdaten umfassen vier Wochen mit dem bisherigen Prozess; der Pilot läuft zwei Wochen in einer Abteilung. Die folgenden Zahlen und Grenzwerte sind fiktive Lehrbeispiele, kein Kundenfall und kein mit Presenti erzieltes Ergebnis.
| Messgröße | Bisheriger Prozess: vier Wochen | Neues Formular: zwei Wochen |
|---|---|---|
| Eingereichte, unterschiedliche Anfragen | 100 | 50 |
| Anfragen mit vollständigen Angaben bei der ersten Einreichung, ohne Rückfragen | 76 | 46 |
| Bis zum Beobachtungsstichtag erledigte Anfragen | 80 | 45 |
| Erledigte Anfragen, bei denen ein dokumentierter Eingabefehler korrigiert werden musste | 4 | 3 |
| Erfasste zusätzliche Arbeitszeit für Unterstützung beim neuen Formular | Nicht auf dieser Grundlage gemessen | 120 Minuten |
Ob die Angaben bei der ersten Einreichung vollständig waren, wird anhand der ausgefüllten Felder und der dokumentierten Rückfragen bestimmt. Vollständig bedeutet nicht erledigt: Eine vollständige Anfrage kann noch auf die Prüfung warten; eine unvollständige kann nach einer Rückfrage erledigt werden. Jede Anfrage zählt einmal, auch wenn sie mehrere Nachrichten auslöst.
Die fünf noch offenen Anfragen des Piloten bleiben in der Zahl der eingereichten Anfragen enthalten. Drei warten auf die anfragende Person, zwei auf eine prüfende Person. Würden sie ausgeschlossen, änderte sich die betrachtete Gruppe und die Präsentation würde schwerer verständlich.
Den Nenner bei jedem Ergebnis sichtbar lassen
Der Anteil bei der ersten Einreichung vollständiger Anfragen steigt von 76 ÷ 100 = 76 % auf 46 ÷ 50 = 92 %, also um 16 Prozentpunkte. „Um 16 % gestiegen“ ist eine andere Aussage. Zeigen Sie neben den Prozentsätzen auch die absoluten Zahlen, damit die Größe der beiden Gruppen erkennbar bleibt.
Die Quote der Korrekturen dokumentierter Eingabefehler beantwortet eine andere Frage: Bei wie vielen der bis zum Stichtag erledigten Anfragen war eine Korrektur nötig? Beim bisherigen Prozess beträgt sie 4 ÷ 80 = 5 %, im Pilot 3 ÷ 45 ≈ 6,7 %. Verwenden Sie nicht 3 ÷ 50, wenn die Messgröße ausdrücklich auf erledigte Anfragen bezogen ist.
Im Pilot wurden nur drei Korrekturen erfasst. Ihre Art und Schwere sind relevant; zudem könnten die fünf offenen Anfragen das spätere Bild verändern. Die aktuellen Zahlen beschreiben den Beobachtungsstichtag und belegen keine stabile langfristige Fehlerquote.
Der Unterstützungsaufwand beträgt 120 ÷ 50 = 2,4 zusätzliche Arbeitsminuten pro eingereichter Anfrage. Gemeint ist die Arbeitszeit, in der Beschäftigte bei der Nutzung des neuen Formulars helfen, nicht die Wartezeit der Anfragenden, die Bearbeitungsdauer oder eingesparte Zeit. Da diese Unterstützung in den Ausgangsdaten nicht auf dieselbe Weise erfasst wurde, belegt die Tabelle weder eine Nettoeinsparung an Arbeitszeit noch eine Veränderung der Arbeitsbelastung im Vorher-Nachher-Vergleich.
Das gemischte Ergebnis zeigen, statt es wegzumitteln
In diesem Beispiel hat das Team vor dem Pilot drei Kriterien vereinbart. Diese Grenzwerte gehören zu der fiktiven Entscheidung. Sie sind keine Branchenstandards.
| Vereinbartes Kriterium | Beobachtung im Pilot | Ergebnis zum Stichtag |
|---|---|---|
| Mindestens 90 % sind bei der ersten Einreichung vollständig | 46/50 = 92 % | Erfüllt |
| Bei höchstens 5 % der erledigten Anfragen muss ein Eingabefehler korrigiert werden | 3/45 ≈ 6,7 % | Nicht erfüllt |
| Höchstens 2 zusätzliche Unterstützungsminuten pro eingereichter Anfrage | 120/50 = 2,4 Minuten | Nicht erfüllt |
Eine Überschrift wie „Neues Formular besteht Pilot mit 92 % Erfolg“ würde zwei verfehlte Kriterien verbergen und vollständige Angaben in eine Gesamt-Erfolgsquote umdeuten. Besser: „Mehr Anfragen gehen vollständig ein; Ziele für Korrekturen und Unterstützung bleiben verfehlt.“
Fassen Sie die drei Messgrößen nicht durch einen Durchschnitt zu einer Ampel zusammen. Sie beschreiben unterschiedliche Sachverhalte, haben verschiedene Einheiten und sollen vor unterschiedlichen Problemen schützen. Entscheidet die Leitung trotz eines verfehlten Kriteriums für die Fortsetzung, halten Sie diese Entscheidung samt Bedingungen fest. Schreiben Sie das Ergebnis nicht nachträglich als bestanden um.
Beobachtete Verbesserung und Erklärung trennen
Geändert hat sich nicht nur das Formular, sondern auch der Beobachtungszeitraum und möglicherweise die Zusammensetzung der Personen oder Anfragearten. Es war ein Pilot mit einer nach Verfügbarkeit ausgewählten Gruppe, ohne zufällige Zuteilung und ohne parallele Vergleichsgruppe. Der Unterschied von 16 Prozentpunkten allein beweist nicht, dass das Formular die Verbesserung verursacht hat.
Suchen Sie nach Erklärungen, die für den nächsten Schritt relevant sind. Waren einfache Anfragen überrepräsentiert? Haben Beschäftigte mehr Unterstützung geleistet? Fiel eine arbeitsreiche Phase nicht in den Test? Wurde die Vollständigkeit in beiden Gruppen nach denselben Regeln beurteilt? Diese Fragen gehören neben das Ergebnis, nicht in einen pauschalen Haftungshinweis am Ende.
Im fiktiven Test vermutet das Team, dass ein missverständlich beschriftetes Feld zu den Korrekturen beiträgt. Das ist eine Hypothese. Prüfen Sie die drei korrigierten Vorgänge und die Unterstützungsnotizen, bevor Sie eine gemeinsame Ursache behaupten. Zeigen die Unterlagen unterschiedliche Probleme, wird eine einzelne geänderte Feldbeschreibung möglicherweise nicht alle lösen.
Trennen Sie qualitative Beobachtungen von den Zählwerten. Eine Aussage einer teilnehmenden Person kann Unklarheiten erklären, zeigt aber nicht deren Häufigkeit. Verwenden Sie freigegebene, zuordenbare Aussagen, sofern sie vorliegen. Erfinden Sie kein Zitat, nur damit die Folie persönlicher wirkt.
Eine Empfehlung mit einem begrenzten nächsten Schritt verbinden
Hier wäre ein nachvollziehbarer Vorschlag, die Korrekturfälle zu prüfen, das fragliche Feld dort zu präzisieren, wo die Belege dies stützen, und vor einer Ausweitung einen Test ähnlichen Umfangs zu wiederholen. Es bleibt ein Vorschlag, keine Freigabe und keine Vorhersage, dass die Ziele erreicht werden.
Das nächste Briefing sollte Formularversion, beteiligte Abteilung, Beobachtungszeitraum, bereitgestellte Unterstützung, Kennzahlendefinitionen und Entscheidungskriterien nennen. Behalten Sie die Messgrößen bei, sofern sie die Frage weiterhin beantworten. Ändert sich eine Definition, erläutern Sie den Grund. Vergleichen Sie die neue Zahl nicht mit der alten, als sei nichts geschehen.
Legen Sie mit der zuständigen Analyse- oder Serviceverantwortung einen zur Entscheidung passenden Beobachtungszeitraum und Teilnahmeplan fest. „Fünfzig Anfragen haben letztes Mal gereicht“ rechtfertigt keine statistische Aussage. Dieses Beispiel enthält weder eine Berechnung des Stichprobenumfangs noch einen Signifikanztest.
Will die auftraggebende Person sofort ausweiten, benennen Sie, worauf sich die Zustimmung beziehen würde: welche Abteilungen, welche Unterstützung, welche offenen Risiken und welche Beobachtung eine Pause auslösen würde. Eine vollständige Einführung ist eine andere Zusage als die Beteiligung eines zusätzlichen Teams.
Gliederung für sieben Folien zu Pilotergebnissen
- Empfehlung. Nach Prüfung der Korrektur- und Unterstützungsprobleme einen begrenzten Test wiederholen; die Freigabe steht noch aus.
- Umfang des Piloten. Bisherigen und neuen Prozess, Teilnehmende, Zeiträume, Stichtag und Grenzen des Vergleichs zeigen.
- Ursprüngliche Kriterien. Die drei vereinbarten Grenzwerte vor den Ergebnissen vorstellen.
- Beobachtete Ergebnisse. 76/100 gegenüber 46/50, 4/80 gegenüber 3/45 sowie 120/50 Arbeitsminuten zeigen. Die Messgrößen getrennt halten.
- Was ungeklärt bleibt. Offene Anfragen, Korrekturfälle, Unterstützungsnotizen und das vermutete Feldproblem zeigen, ohne eine Ursache festzulegen.
- Nächster Test oder Alternative. Erläutern, was geändert wird, was vergleichbar bleibt und welche Entscheidung die nächste Beobachtung stützen soll.
- Entscheidung und Bedingungen. Die tatsächliche Zustimmung der auftraggebenden Person festhalten; Verantwortliche und Folgetermin ergänzen, sobald sie bestätigt sind.
Einzelanfragen und Berechnungen gehören in die ergänzenden Unterlagen. Die Hauptpräsentation sollte genug Details enthalten, um die Empfehlung zu erklären, ohne dass das Publikum während der Besprechung jeden Nenner selbst rekonstruieren muss.
Ein Briefing erstellen, das das gemischte Ergebnis bewahrt
Nachdem die Serviceverantwortlichen die Zahlen geprüft haben, können Sie die Notizen über Presentis Eingabe „Paste Text“ (Text einfügen) zu einem Folienentwurf ordnen. Geben Sie Definitionen und Grenzen zusammen mit den Zahlen ein. Lassen Sie das Werkzeug nicht darüber entscheiden, ob der Pilot erfolgreich war.
Erstelle eine Präsentation mit sieben Folien zu den Ergebnissen dieses fiktiven Piloten für ein internes Formular. Ausgangsdaten: vier Wochen, 100 unterschiedliche Einreichungen, 76 bei der ersten Einreichung vollständig, 80 erledigt, bei 4 erledigten Anfragen musste ein Eingabefehler korrigiert werden. Pilot: zwei Wochen in einer Abteilung, 50 Einreichungen, 46 bei der ersten Einreichung vollständig, 45 erledigt, bei 3 erledigten Anfragen war eine Korrektur nötig, außerdem 120 zusätzliche Arbeitsminuten für Unterstützung. Fünf Anfragen bleiben offen: drei warten auf die anfragende Person, zwei auf eine prüfende Person. Zeige 76 % gegenüber 92 %, einen Unterschied von 16 Prozentpunkten; 5 % gegenüber etwa 6,7 % Korrekturen unter den erledigten Anfragen; sowie 2,4 Unterstützungsminuten pro Einreichung im Pilot. Die vorab festgelegten Kriterien dieses Beispiels sind mindestens 90 % vollständige Angaben, höchstens 5 % Korrekturen und höchstens 2 Unterstützungsminuten. Nur die Vollständigkeit erreicht den Grenzwert. Es war kein randomisierter Test. Empfiehl, die Korrektur- und Unterstützungsprobleme vor einer Wiederholung ähnlichen Umfangs zu prüfen; die Entscheidung ist noch nicht freigegeben. Erfinde keine Kausalität, Einsparungen, Signifikanz oder erfolgreiche Einführung.
Prüfen Sie im Entwurf, ob jeder Prozentsatz seine Zählwerte behält, ob offene Anfragen nicht verschwunden sind und ob aus Unterstützungszeit keine „eingesparte Zeit“ geworden ist. Eine hilfreiche Pilotbesprechung kann die Fortsetzung empfehlen und zugleich deutlich sagen, dass der aktuelle Test nicht alle Voraussetzungen für eine Ausweitung erfüllt hat.
