Um Begriffe wie Konfidenz oder Siginifikanz zu verstehen, ist es oft hilfreich, sich das Experiment in vielen Paralleluniversen vorzustellen. Zumindest solange wir annehmen, dass sich diese ähnlich zu unserem Universum verhalten.
© iStockphoto/Fraunhofer ITWM
Im letzten Beitrag »Warum Sie nicht Aussagesicherheit sagen sollten« sind uns die Begriffe Konfidenz und Signifikanz bereits begegnet. Nun, da ihr Namensvetter Aussagesicherheit (hoffentlich) von der Bildfläche verschwunden ist, wird es Zeit die beiden Begriffe besser zu verstehen und auch die letzten Missverständnisse auszuräumen.
Ob man nun von 95% Konfidenz oder 5% Signifikanz spricht, scheint eine statistische Spitzfindigkeit zu sein. Solange beide Zahlen 100 Prozent ergeben, ist es doch egal, oder? Für gewöhnlich antworte ich darauf mit »Ja«. Da wir in diesem Blog-Beitrag ein bisschen tiefer gehend über Statistik plaudern, nehme ich mir die Zeit für ein »Jein«.
Statistiker/innen trennen die Begriffe wie folgt: Möchten sie Aussagen über einen unbekannten Wert machen und dabei einen Bereich angeben, in dem sie den Wert höchstwahrscheinlich vermuten, sprechen sie von Konfidenz (z.B. 95%). Liegt hingegen eine Vermutung (Hypothese) auf dem Tisch, die sie durch Daten höchstwahrscheinlich bestätigen oder widerlegen können, von Signifikanz (z.B. von 5%).
Dieses »höchstwahrscheinlich« wird dann genau beziffert, z.B. als 95% Konfidenz oder 5% Signifikanz. Warum haben sich die Statistiker/innen für zwei Begriffe entschieden? Könnten wir bei den Hypothesentests nicht auch von Konfidenzen sprechen? Klar, hätte man tun können! Das wäre jedoch auf Kosten des Verständnisses gegangen. Betrachten wir beide Begriffe genauer.
Sie bekommen folgende Aufgabe von mir:
Bei 43-mal Kopf von 100 Würfen hätte Ihnen der Onlinerechner z.B. das Resultat [0.3373; 0.5278] ausgespuckt. Das bedeutet, dass wir mit 95%-Wahrscheinlichkeit (=Konfidenz) vermuten, dass unsere Münze eine Kopf-Wahrscheinlichkeit p zwischen 33,73% und 52,78% hat. Natürlich ist p ein fester Wert, der nicht springt. Nur welche Grenzen wir ausrechnen, hängt vom Zufall ab. Dieser beschert uns zufällig eine gewisse Anzahl an geworfenen Köpfen, die sich dann mit fester Formel in ein Konfidenzintervall umrechnen lässt.
Falls ich nicht nur Ihnen, sondern insgesamt 500 Leuten diese Aufgabe geben würde, wie viele werden mir dann ein Konfidenzintervall zurückschicken, dass den wahren Wert p=50% nicht enthält? Diese Antwort ist einfach: Mit 95%-Wahrscheinlichkeit (=Konfidenz) enthält das Intervall den wahren Wert. Also werden mir ca. 475 Personen ein passendes Intervall zurückschicken, während ca. 25 Personen die Münze für nicht fair halten werden. Alternativ dürfen auch Sie das Experiment selbst 500-mal wiederholen. Ich stelle mir hier gerne vor, dass man das Experiment immer nur einmal macht, sich aber das Resultat aus 500 Paralleluniversen anschaut (die hinreichend ähnlich zu unserem sind).
| Die Konfidenz beziffert also, wie genau Sie etwas wissen. Nämlich in wie vielen Paralleluniversen Ihr Wertebereich richtig ist. |
Im Beitrag über Aussagesicherheiten ist uns das sperrige Konzept der Signifikanz bereits begegnet. Als Auffrischung schlage ich vor, dass Sie hier kurz pausieren um den Beitrag nochmals zu lesen.
Dort wurde ein gezinkter Würfel überprüft. Dabei wurde kurz angenommen, der Würfel sei fair. Für diese Situation wurde dann berechnet, dass in 60 Würfen mit Wahrscheinlichkeit 95% höchstens 16 Würfe mit einer 6 fallen. Der Bereich 0 bis 16 war sozusagen unser Konfidenzintervall. Immer wenn nun ein Würfel in 60 Würfen mehr als 16-mal die 6 zeigt, hielten wir ihn für gezinkt. Diese Meinung haben wir dann auf 5%-Signifikanzniveau vertreten (= 100% - 95%).
Das ist typisch für Hypothesentests: Sie konstruieren ein Konfidenzintervall (unter einer Annahme, an die Sie nicht glauben), um dann (hoffentlich) Daten zu finden, die außerhalb dieses Intervalls liegen, damit Sie die ungeliebte Hypothese verwerfen können.
Erinnern Sie sich bitte an Ihre 25 Kollegen zurück, die mir rein zufällig ein Konfidenzintervall für die faire Münze zurückgesendet haben, das eben nicht den Wert p=50% umfasst hat. Jeder einzelne hätte von sich behaupten dürfen, er habe mit 5% Signifikanz nachgewiesen, dass die Münze gezinkt ist. Recht gehabt hätte keiner von Ihnen, denn hier hat nur der Zufall einen Streich gespielt. Wie er das eben in ca. 25 von 500 Fällen tut.
Wir können also sagen:
| Die Signifikanz beziffert, in wie vielen von denjenigen Paralleluniversen, in der die von Ihnen bevorzugte Hypothese falsch ist, Sie dennoch deren Wahrheit verkünden (weil Ihnen der Zufall einen Streich gespielt hat). |
Bei Konfidenzen hoffen Sie also, dass Ihre Modelle und Annahmen richtig sind und hoffen, dass das Intervall mit der hohen Konfidenz den wahren Wert enthält. Bei Signifikanzen hoffen Sie im Gegenzug, dass die Daten außerhalb der verkündeten Bereiche liegen, um die zugehörigen Modelle und Annahmen verwerfen zu können. Dabei fallen Sie in den speziellen Paralleluniversen (in denen die ungeliebte Annahme gilt) mit der kleinen Signifikanz als Wahrscheinlichkeit auf den Zufall herein.
Abschließend möchte ich eigentlich noch erklären, warum Sie nicht 50% Konfidenz sagen sollten. In einigen Paralleluniversen tue ich das jetzt auch direkt noch. In diesem hier möchte ich das Thema erst mal sacken lassen, verschiebe es auf einen folgenden Beitrag und danke Ihnen für Ihre Aufmerksamkeit! Ich hoffe signifikant dazu beitragen, dass Sie künftig beiden Begriffen mit guter Konfidenz begegnen werden.
Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM