Wann eine Zahl etwas heißt — und wann sie Rauschen ist

Achtzehn Besuche mehr sind keine Nachricht

Eine Auswertung zeigt an einem Montag 62 Besuche und am Montag davor 44. Das sind 41 Prozent mehr, und die Zahl steht groß und grün da. Fast jede Auswertungssoftware zeigt genau das — und fast jede lässt die Frage weg, die davor kommt: Wäre derselbe Unterschied auch entstanden, wenn sich gar nichts geändert hätte?

Je kleiner die Zahl, desto größer der Anteil, den der Zufall daran hat.

Er wäre. Zählungen schwanken von allein, und zwar umso stärker, je kleiner sie sind. Bei rund hundert gezählten Ereignissen liegt die übliche Schwankung bei etwa zehn; bei zehntausend liegt sie bei etwa hundert — absolut mehr, aber im Verhältnis zehnmal weniger. Deshalb sind Prozentzahlen bei kleinen Mengen die gefährlichste Darstellung, die es gibt: Sie sehen bei 44 und 62 genauso entschieden aus wie bei 4.400 und 6.200.

Die Wurzel als Faustregel

Es braucht keine Statistiksoftware, um das abzuschätzen. Zählt man unabhängige Ereignisse, liegt die übliche Schwankung in der Größenordnung der Wurzel aus ihrer Zahl. Vergleicht man zwei Zeiträume mit zusammen n Ereignissen, ist ein Unterschied erst dann bemerkenswert, wenn er größer ist als etwa zwei Wurzeln aus n.

Ein Unterschied ist erst dann einer, wenn er größer ist als das, was Zählungen dieser Größe von allein schwanken.

Für die 44 und die 62 heißt das: zusammen 106, die Wurzel daraus ist gut 10, zwei davon sind 21. Der Unterschied beträgt 18 — er liegt darunter. Aus diesen Zahlen folgt nichts. Bei 4.400 und 6.200 dagegen: zusammen 10.600, Wurzel 103, zwei davon 206, Unterschied 1.800. Das ist eine Bewegung.

Genau diese Rechnung steht in unserer Auswertung hinter jeder Veränderung. Unter dem Pfeil, der nach oben oder unten zeigt, steht in kleiner Schrift ‚über dem Rauschen‘ oder ‚im Rauschen‘ — und unter 25 gezählten Ereignissen steht dort gar nichts, weil dann auch die Faustregel nichts mehr trägt. Ein Pfeil ohne diesen Zusatz wäre eine Behauptung.

Der Mittelwert beschreibt oft keinen einzigen Tag

Dreißig Tage, 197 Besuche, also 6,6 am Tag — das klingt nach einem gewöhnlichen Tag. Sieht man in die Tage hinein, waren es an drei Tagen zusammen 197 und an 27 Tagen null. Der Mittelwert beschreibt hier keinen einzigen der dreißig Tage. Er ist rechnerisch richtig und als Auskunft wertlos.

Wo Mittelwert und Median weit auseinanderliegen, beschreibt der Mittelwert niemanden.

Der Median hilft: Er ist der Wert, unter dem die Hälfte der Tage liegt, und ein einzelner Ausschlag hebt ihn nicht. Steht er weit unter dem Mittelwert, ist das die eigentliche Nachricht — der Verkehr kommt in Wellen und nicht als Strom. Ist er null, gibt es noch keine Grundlast, und unsere Auswertung schreibt genau das hin, statt ein Mittel als gewöhnlichen Tag auszugeben.

Dieselbe Vorsicht gilt für Quoten. Eine Konversionsrate aus sieben Besuchen springt zwischen null und vierzehn Prozent, je nachdem, ob an diesem Tag zufällig einer geklickt hat. Deshalb zeigen wir Quoten über die Zeit in Wochen und nicht in Tagen: Das Springen einer Tagesquote sieht aus wie eine Entwicklung und ist keine.

Lieber nichts zeigen als etwas Erfundenes

Die unangenehmste Entscheidung beim Bauen einer Auswertung ist die, eine Tafel leer zu lassen. Eine Tabelle, die aus einem einzigen Vorgang Rückstände für zwölf Seiten ausrechnet, sieht nach Wissen aus und ist keins. Wir setzen deshalb überall Schwellen: unter fünf Vorgängen im Zeitraum erscheint die Wirkungstafel gar nicht, unter fünf verschiedenen Adressen keine Verteilungskurve, unter sieben Tagen keine Verteilung der Tageswerte. An ihrer Stelle steht ein Satz, der sagt, warum.

Eine leere Tafel mit Begründung ist ehrlicher als eine volle ohne.

Das kostet Fläche und wirkt im ersten Moment wie ein Mangel. Es ist das Gegenteil: Eine Zahl mit zwei Nachkommastellen sieht aus wie eine Tatsache, auch wenn sie aus drei Ereignissen stammt. Wer eine Auswertung baut, entscheidet mit jeder Schwelle, wie viel Selbsttäuschung sie ermöglicht.

Danach