Der Bericht, der auch Nein sagen kann

Teil 5 der Serie „Hinter der Karte" — regelbasierte Empfehlungen mit Gegenrechnung, und eine Schwelle, die auch mal schweigt

Kurzfassung

Viele Analyse-Werkzeuge liefern immer eine Antwort — auch wenn die Datenlage dafür eigentlich zu dünn ist. Das erzeugt falsche Sicherheit. Dieser Artikel zeigt, wie der YelmeAtlas-Bericht das Gegenteil tut: unter 30 Bewertungen verweigert er Empfehlungen bewusst, und jede Empfehlung, die er ausspricht, zitiert eine Zahl aus demselben Bericht — inklusive einer Gegenrechnung, die zeigt, was genau passiert, wenn man dem Rat folgt.

1. Diagnose: falsche Sicherheit durch immer eine Antwort

Ein Analyse-Werkzeug, das aus zwölf Bewertungen eine „Top-Empfehlung" ableitet, suggeriert eine Verlässlichkeit, die die Datenlage schlicht nicht hergibt. Zwölf Bewertungen können durch Zufall in eine beliebige Richtung kippen — eine daraus abgeleitete Handlungsempfehlung ist Rauschen mit Überschrift. Das eigentliche Risiko ist nicht die falsche Empfehlung selbst, sondern das Vertrauen, das eine selbstbewusst formulierte Empfehlung erzeugt, unabhängig davon, ob die Zahlen dahinter tragen.

Ein zweites, verwandtes Problem: Empfehlungen, die keine Zahl nennen („die Nutzer sind unzufrieden mit der Performance") lassen sich weder überprüfen noch priorisieren. Wie unzufrieden? Verglichen womit? Was ändert sich, wenn man es behebt?

2. Bisherige Lösungsansätze und ihre Grenzen

• Immer eine Empfehlung liefern, unabhängig von der Datenmenge. Erzeugt genau die falsche Sicherheit aus Kapitel 1.
• Empfehlungen ohne Zahlenbezug („könnte besser sein"). Nicht überprüfbar, nicht priorisierbar.
• Ein Sprachmodell formulieren lassen. Klingt oft überzeugender als die Datenlage hergibt — genau das Risiko, das in Teil 1 dieser Serie ausführlich besprochen wurde.

3. Der Ansatz von YelmeAtlas

Zwei Prinzipien tragen den gesamten Bericht: erstens eine feste Mindestmenge an Bewertungen, unterhalb derer der Bericht beschreibt, aber nicht empfiehlt. Zweitens: jede Empfehlung ist reine Arithmetik über Zahlen, die im selben Bericht bereits stehen — nachvollziehbar mit Taschenrechner, nie mit Vertrauensvorschuss.

4. Der Algorithmus im Detail

flowchart TD
    A["Bewertungen im Fenster"] --> B{"≥ 30 Bewertungen?"}
    B -->|nein| C["Nur Beschreibung,<br/>keine Empfehlung, keine Alarme —<br/>Bericht sagt das offen"]
    B -->|ja| D["Dominantes Thema ermitteln"]
    D --> E{"≥ 25 % der Beschwerden<br/>UND ≥ max(3, 10 % aller Beschwerden)?"}
    E -->|nein| F["Kein dominantes Thema —<br/>Bild gilt als nicht diffus genug<br/>für eine Einzel-Empfehlung"]
    E -->|ja| G["Empfehlung mit Gegenrechnung:<br/>Quote fiele von X % auf Y %"]

Die Ehrlichkeitsschwelle. Unter 30 Bewertungen im betrachteten Fenster verzichtet der Bericht bewusst auf jede Empfehlung und jeden Alarm — er beschreibt nur, was da ist, und sagt das offen: „Mit {Gesamtzahl} Bewertungen im Fenster ist die Datenlage zu dünn für verlässliche Empfehlungen. Fenster erweitern oder den nächsten nächtlichen Abgleich abwarten — der Bericht rät lieber gar nicht, als aus zu wenig zu raten." Die Zahl 30 ist eine feste, bewusst gewählte Grenze — kein statistisches Konfidenzintervall, sondern eine einfache, nachvollziehbare Linie.

Das dominante Thema. Ein Thema gilt nur dann als „dominant" genug für eine eigene Empfehlung, wenn es zwei Bedingungen gleichzeitig erfüllt: mindestens 25 % aller Beschwerden im Fenster und mindestens max(3, 10 % aller Beschwerden) in absoluten Zahlen. Dieselbe Doppelbedingung wie bei den auffälligen Tagen in Teil 4 — ein relativer Anteil allein reicht nicht, wenn die absolute Zahl trotzdem winzig ist.

Die Gegenrechnung. Das ist der eigentliche Unterschied zu einer generischen Empfehlung. Wörtlich, so wie der Bericht es formuliert:

„{Anteil} der Beschwerden hängen an diesem einen Thema. Arithmetisch: wird es vollständig behoben, sinkt die Beschwerdequote von {Quote} auf {Quote danach} — keine andere Investition im Fenster bewegt die Zahl stärker."

Die Formel dahinter:

Quote_danach = (Beschwerden_gesamt − Beschwerden_dominantes_Thema) ÷ Bewertungen_gesamt

Keine Schätzung, keine Modell-Prognose — eine Neuberechnung derselben Formel, mit einer Zahl weniger im Zähler. Jeder Leser kann sie mit den Zahlen aus demselben Bericht selbst nachrechnen.

Weitere Regeln, alle nach demselben Muster:

Jede dieser fünf Regeln ist reine Arithmetik über Zahlen, die im selben Bericht ohnehin stehen — keine Regel führt eine neue, unbelegte Behauptung ein.

5. Ein gemessenes Beispiel

Ein Fenster mit 200 Bewertungen und 60 Beschwerden (Quote: 30 %). Ein Thema trägt 20 dieser 60 Beschwerden — das sind 33 % (über der 25-%-Schwelle) und absolut mehr als max(3, 6) = 6 (über der absoluten Schwelle). Die Gegenrechnung: (60 − 20) ÷ 200 = 20 %. Die Empfehlung lautet damit korrekt: „behebt man dieses Thema vollständig, sinkt die Quote von 30 % auf 20 %" — eine Zahl, die jeder mit den beiden Ausgangszahlen selbst nachprüfen kann.

6. Grenzen der Methode

• Die Gegenrechnung ist eine arithmetische Obergrenze, kein Versprechen: Sie zeigt, was passiert, wenn ein Thema vollständig verschwindet — in der Praxis wird selten jede einzelne Beschwerde zu einem Thema durch eine einzelne Maßnahme beseitigt.
• Die Schwelle von 30 Bewertungen ist bewusst fest und nicht pro App angepasst — eine sehr kleine, aber sehr aktive Nischen-App bekommt dieselbe Grenze wie eine große.
• Fünf feste Regeln in fester Reihenfolge sind keine Rangliste im strengen Sinn — bei mehr Empfehlungsarten würde eine echte Priorisierung nötig, aber bei fünf ist eine feste, nachvollziehbare Reihenfolge ehrlicher als ein künstlich wirkender Score.

7. Fazit

Der Bericht ist an keiner Stelle klüger als seine eigenen Zahlen — und genau das ist der Punkt. Jede Empfehlung lässt sich auf eine Formel zurückführen, die derselbe Bericht bereits zeigt; die Ehrlichkeitsschwelle verweigert eine Aussage lieber ganz, als sie aus zwölf Bewertungen zu erfinden. Das ist kein Feature, das beeindrucken soll — es ist die Voraussetzung dafür, dass ein Bericht überhaupt in einem Meeting zitiert werden darf, ohne dass jemand nachfragen muss: „Woher kommt diese Zahl?"

Der letzte Teil dieser ersten Runde zeigt, wie zwei Apps nebeneinander ausgewertet werden — ohne dass für die zweite ein eigenes Konto nötig wäre. → Teil 6: Zwei Apps, ein Blick (folgt)

← Teil 4: Die Beschwerdequote und die auffälligen Tage