Ad Hominem Info

Irrtümer und Trugschlüsse en gros und en detail

Benutzer-Werkzeuge

Webseiten-Werkzeuge


statistik:auswahleffekte:willkuerliche_stichprobe

Willkürliche Stichprobe

Stichprobenauswahl bei der die leichte Erreichbarkeit von Probanden eine größere Rolle spielt als dass diese repräsentativ ausgewählt werden.

Beispiel:

Für eine Meinungsumfrage werden nur „Follower“ in sozialen Medien befragt.

Eine solche Umfrage ist natürlich gewöhnlich nicht repräsentativ für die Gesamtbevölkerung.

Andere Namen

  • Nicht-repräsentative Stichprobe
  • Ad-Hoc-Stichprobe
  • Convenience sampling
  • Opportunity sampling

Beschreibung

Eine wirklich repräsentative (Zufalls-)Stichprobe zu erhalten ist aufwändig und nur mit guter Kenntnis von möglichen Störfaktoren und Kenntnis, wie man sie vermeidet, möglich.

Eine willkürliche Stichprobe wie in den Beispielen unten ist einfacher – und daher billiger – zu erforschen als eine „richtige“ Zufallsstichprobe. Daneben neigen Laien dazu, eine solche willkürliche Auswahl mit einer zufälligen gleichzusetzen.

Wichtig für das Verständnis dieses Fehlers ist, dass die Größe der Stichprobe hierbei nicht (oder nur wenig) relevant ist. Auch eine sehr große Stichprobe ist wertlos, wenn sie nicht repräsentativ ist.

Beispiele

Straßenumfrage

Bei einer Umfrage an einem öffentlichen Ort (z.B. auf der Straße oder im Bahnhof) werden Passanten z.B. zu ihrer Meinung, Wahlabsicht, etc., befragt.

Naheliegenderweise können nur Personen befragt werden, die sich zu der Zeit auch an diesem Ort befinden, was nicht unbedingt ein repräsentativer Bevölkerungsquerschitt ist – z.B. werden sich Mütter mit Kindern nicht im gleichen Maße am Bahnhof aufhalten wie Geschäftsreisende; Ebenso werden Berufstätige tagsüber in einer Einkaufsstraße unterrepräsentiert sein, u.s.w.

Darüber hinaus werden die Interviewer auch selektiv Passanten ansprechen, die sie für Erfolg versprechend oder wenigstens sympathisch halten. Selbst bei gut trainierten Interviewern wird dies alleine schon einen wichtigen Aspekt zur „Willkürlichkeit“ beitragen.

Damit nicht genug: die meisten Angesprochenen werden keine Zeit haben, um an einer Umfrage teilzunehmen, d.h. dass diejenigen, die wirklich antworten, wiederum danach gefiltert werden, wer Zeit für eine solche Umfrage zur Verfügung hat (siehe Schweigeverzerrung).

Obwohl Analysen auf Grundlage solcher Umfragen letztlich praktisch wertlos sind, werden sie nach wie vor – gerade in der Marktforschung – durchgeführt und als tragbare Ergebnisse verkauft.

Besucherumfrage auf einer Website

Ähnliches wie zur o.g. Straßenumfrage gilt auch für Besucherumfragen, wie sie auf verschiedenen Websites immer mal wieder durchgeführt werden. Das Beste was man über diese sagen kann ist dabei noch, dass man wenigstens Statistiken zum „Erfolg“ einer solchen Umfrage erhalten kann.

Üblicherweise klickt nur ein sehr kleiner Teil der Besucher, die zur Teilnahme aufgefordert werden, auf den Link zur Umfrage (üblicherweise 5 bis 10 %). Der Rest schließt das Popup so schnell wie möglich wieder – ver­mutlich sind die meisten Besucher durch unerwünschte Werbe-Popups darauf konditioniert, solche „Störungen“ zu ignorieren.

Aber selbst von denen, die den Schritt machen, zum Umfrage-Formular zu gehen, springen gewöhnlich mehr als die Hälfte wieder ab, ohne die Antworten am Ende auch abzuschicken. Diese Quote ist umso höher, je komplizierter und langwieriger das Umfrageformular ist.

Die Vermutung liegt nahe, dass die Nicht-Teilnehmer auch nicht völlig zufällig verteilt sind, sondern dass es eine systematische Schweige­verzerrung gibt, nach der bestimmte Besuchergruppen eher dazu neigen nicht teilzunehmen als andere.

Dazu kommt, dass auf diese Weise nur Besucher befragt werden, die eine Site bereits benutzen – nicht aber die sehr viel interessantere Personengruppe der potentiellen Besucher, oder – womöglich noch wichtiger: diejenigen, die die Site einmal besucht haben und nicht mehr wieder kamen. Siehe hierzu den Artikel zum „Survivorship Bias”.

Nichtsdestotrotz kann auch eine solche Umfrage hilfreiche Informationen zu den Besuchern der Website liefern – wenn man sich denn der Einschränkungen und Unsicher­heiten bewusst ist. Leider vergessen gerade kom­mer­zielle Anbieter solcher „Analysen“ gerne, auf diese hinzuweisen.

Studentenumfrage

In vielen akademischen Einrichtungen hat sich – gerade in Fächern wie Psychologie oder Sozialpsychologie eingebürgert, für Studien ausschließlich oder vorrangig Probanden durch Aushang an eben diesen Insti­tu­ti­onen zu rekrutieren.

In manchen Fällen erhalten die Studenten Teilnahmebescheinigungen („Scheine“), die für das eigene Studium notwendig sind, in anderen werden sie finanziell entlohnt – im Ergebnis nehmen so aber in jedem Fall (fast) ausschließlich Studenten teil, oft sogar größtenteils solche aus einem bestimmten Fachgebiet.

Solange der Zweck dieser Studien ausschließlich die Lehre ist, also dass die Durch­führenden auf diese Weise lernen, wie man Daten sammelt und analysiert, ist daran auch nichts auszusetzen. Problematisch wird es, wenn diese Daten dann ihren Weg in Publikationen finden und dabei Informationen über die Auswahl­ver­zer­rung bei der Erhebung „verloren gehen“.

Ausgleich durch Merkmalsgewichtung

Oft wird vorgegeben, die Verzerrung, die durch eine willkürliche Stichprobe entsteht, durch eine Gewichtung des Ergebnisses nach demoskopischen Merkmalen wieder ausgleichen zu können.

Damit dies funktioniert, muss der Forscher detaillierte Informationen zur Prävalenz des gesuchten Merkmales in den verschiedenen Bevölkerungsgruppen zur Verfügung haben, ebenso wie entsprechende Informationen zur Demographie der Grundgesamtheit (sprich: der Gesamtbevölkerung).

Eine solche Gewichtung ist enorm aufwändig und praktisch nur in Bereichen zu leisten, in denen über sehr lange Zeiträume sehr detaillierte Meinungsbilder erforscht werden. Das vermutlich einzige Beispiel hierfür ist die Wahlforschung – und selbst hier bleibt die Unsicherheit enorm.

Letztlich handelt es sich bei dieser Methode meist eher um eine Form von pseudo-wissenschaftlichen Marketing-Talk, dass zur Rechtfertigung der Kosten der Umfrage dient. Belastbare Ergebnisse erhält man so jedenfalls nicht.

Siehe auch

Weitere Informationen

statistik/auswahleffekte/willkuerliche_stichprobe.txt · Zuletzt geändert: 2019/01/15 21:55 von Sascha