Passend dazu gab’s doch vor 3 Tagen eine
News
In dem Artikel steht:
Nach einem Monat lagen 43 Antworten vor, von denen lediglich sechs korrekt waren. Das entspricht einer Trefferquote von knapp 14 Prozent. Eine statistische Analyse mittels Binomialverteilung ergab eine Wahrscheinlichkeit von rund 6 Prozent, bei reinem Raten ein gleich schlechtes oder schlechteres Ergebnis zu erzielen. Dieser Wert liegt oberhalb der häufig verwendeten Signifikanzschwelle von 5 Prozent und spricht damit gegen eine verlässliche Unterscheidbarkeit.
Das ganze mal rein statistisch betrachtet: Der letzte Satz ist statistisch gesehen falsch bzw. zeigt er, dass die Autoren des Experiments (und/oder der Journalist des Artikels) sowohl das Ergebnis des statistischen Tests falsch interpretieren und sicher auch den falschen Test für das gewählt haben was sie eigentlich zeigen wollen. Aber der Reihe nach:
Erstens:
Ein p-Wert > 0.05 bei Nullhypothesensignifikanztests (wie bei dem hier verwendeten Binomialtest) ist keine Evidenz gegen einen statistisch signifikanten Unterschied, sondern nur fehlende Evidenz für einen statistisch signifikanten Unterschied.
H0 = Kein Unterschied
H1 = Unterschied
Hier versucht man die H0 zu verwerfen. Man will also zeigen, dass es einen Unterschied gibt. Aber genau das will der Autor ja sicher nicht; er will stattdessen sicher eigentlich zeigen, dass die wahrgenommene Klangqualität gleich bleibt.
Zweitens:
Wenn man zeigen möchte, dass es keinen signifikanten Unterschied in der wahrgenommenen Klangqualität gibt, muss man einen Äquivalenztest statt Nullhypothessentest durchführen.
H0 = Der Unterschied ist mind. so groß wie die Äquivalenzgrenze
H1 = Unterschied kleiner als X (Grenze die man bei einem Äquivalenztest selbst festlegen muss)
Mal abgesehen von der viel zu kleinen Stichprobe und das ein p-Wert von 0.06 selbst bei dem Nullhypothesentest zusätzlich schon ganz nah an der 0.05 Schwelle liegt (kein Kommentar dazu?): aus meiner Sicht hat der Typ den falschen statistischen Test angewendet für das was er eigentlich sicher zeigen wollte, nämlich dass es keinen Unterschied macht ob man ne Banane oder nen super special cable nimmt... Dazu kommt, dass man natürlich auch Probanden nehmen muss, die auf diesem Gebiet schon irgendwie Wissen oder Erfahrung haben und nicht irgendwelche Leute die selbst relativ große Unterschiede quasi per se nicht wahrnehmen, wohl aber irgendwelche Audiofreaks.
Direkt am Notebook stört mich das dann noch umso weniger.
