Willkürliche Stichprobe

Stichprobenauswahl bei der die leichte Erreichbarkeit von Probanden eine größere Rolle spielt als dass diese repräsentativ ausgewählt werden.

Beispiel:

• Für eine Meinungsumfrage werden nur „Follower“ in sozialen Medien befragt.

Eine solche Umfrage ist natürlich gewöhnlich nicht repräsentativ für die Gesamtbevölkerung.

• Nicht-repräsentative Stichprobe
• Ad-Hoc-Stichprobe
• Convenience sampling
• Opportunity sampling

Eine wirklich repräsentative (Zufalls-)Stichprobe zu erhalten ist aufwändig und nur mit guter Kenntnis von möglichen Störfaktoren möglich. Eine willkürliche Stichprobe wie in den Beispielen unten ist einfacher – und daher meist auch billiger – zu erforschen als eine „richtige“ Zufallsstichprobe. Daneben neigen Laien dazu, eine solche willkürliche Auswahl mit einer zufälligen gleichzusetzen.

Wichtig für das Verständnis dieses Fehlers ist, dass die Größe der Stichprobe hierbei nicht (oder nur wenig) relevant ist. Auch eine sehr große Stichprobe ist wertlos, wenn sie nicht repräsentativ ist.

Bei einer Umfrage an einem öffentlichen Ort (z.B. auf der Straße oder im Bahnhof) werden Passanten z.B. zu ihrer Meinung, Wahlabsicht, etc., befragt.

Naheliegenderweise können nur Personen befragt werden, die sich zu der Zeit auch an diesem Ort befinden, was nicht unbedingt ein repräsentativer Bevölkerungsquerschitt ist – z.B. werden sich Mütter mit Kindern nicht im gleichen Maße am Bahnhof aufhalten wie Geschäftsreisende; Ebenso werden Berufstätige tagsüber in einer Einkaufsstraße unterrepräsentiert sein, u.s.w.

Darüber hinaus werden die Interviewer auch selektiv Passanten ansprechen, die sie für Erfolg versprechend oder wenigstens sympathisch halten. Selbst bei gut trainierten Interviewern wird dies alleine schon einen wichtigen Aspekt zur „Willkürlichkeit“ beitragen.

Damit nicht genug: die meisten Angesprochenen werden keine Zeit haben, um an einer Umfrage teilzunehmen, d.h. dass diejenigen, die wirklich antworten, wiederum danach gefiltert werden, wer Zeit für eine solche Umfrage zur Verfügung hat (siehe Schweigeverzerrung).

Obwohl Analysen auf Grundlage solcher Umfragen letztlich praktisch wertlos sind, werden sie nach wie vor – gerade in der Marktforschung – durchgeführt und als tragbare Ergebnisse verkauft.

Ähnliches wie zur o.g. Straßenumfrage gilt auch für Besucherumfragen, wie sie auf verschiedenen Websites immer mal wieder durchgeführt werden. Das Beste, was man über diese sagen kann, ist dabei noch, dass man wenigstens Statistiken zum „Erfolg“ einer solchen Umfrage erhalten kann.

Üblicherweise klickt nur ein sehr kleiner Teil der Besucher, die zur Teilnahme aufgefordert werden, auf den Link zur Umfrage (üblicherweise 5 bis 10 %). Der Rest schließt das Popup so schnell wie möglich wieder – ver­mut­lich sind die meisten Besucher durch unerwünschte Werbe-Popups darauf konditioniert, solche „Störungen“ zu ignorieren.

Aber selbst von denen, die den Schritt machen, zum Umfrage-Formular zu gehen, springen gewöhnlich mehr als die Hälfte wieder ab, ohne die Antworten am Ende auch abzuschicken. Diese Quote ist umso höher, je komplizierter und langwieriger das Umfrage-Formular ist.

Die Vermutung liegt nahe, dass die Nicht-Teilnehmer auch nicht völlig zufällig verteilt sind, sondern dass es eine systematische Schweige­verzerrung gibt, nach der bestimmte Besuchergruppen eher dazu neigen nicht teilzunehmen als andere.

Dazu kommt, dass auf diese Weise nur Besucher befragt werden, die eine Site bereits benutzen – nicht aber die sehr viel interessantere Personengruppe der potenziellen Besucher, oder – womöglich noch wichtiger: diejenigen, die die Site einmal besucht haben und nicht mehr wieder kamen. Siehe hierzu den Artikel zum „Survivorship Bias”.

Nichtsdestotrotz kann auch eine solche Umfrage hilfreiche Informationen zu den Besuchern der Website liefern – wenn man sich denn der Einschränkungen und Unsicher­heiten bewusst ist. Leider vergessen gerade kom­mer­zielle Anbieter solcher „Analysen“ gerne, auf diese hinzuweisen.

In vielen akademischen Einrichtungen hat sich in einigen Fächern – erwähnenswert sind z.B. Psychologie und Sozialpsychologie – eingebürgert, für Studien ausschließlich oder vorrangig Probanden durch Aushang an eben diesen Insti­tu­ti­onen zu rekrutieren.

In manchen Fällen erhalten die Studenten hierfür Teilnahmebescheinigungen („Scheine“), die für das eigene Studium notwendig sind, in anderen werden sie finanziell entlohnt – im Ergebnis nehmen so aber in jedem Fall (fast) ausschließlich Studenten teil, oft sogar größtenteils solche aus einem bestimmten Fachgebiet. Diese sind natürlich nicht repräsentativ für die Gesamtbevölkerung.

Solange der Zweck dieser Studien ausschließlich die Lehre ist, also dass die Durch­führenden auf diese Weise lernen, wie man Daten sammelt und analysiert, ist daran auch nichts auszusetzen. Problematisch wird es, wenn diese Daten dann ihren Weg in Publikationen finden und dabei Informationen über die Auswahl­ver­zer­rung bei der Erhebung „verloren gehen“.

Oft wird vorgegeben, die Verzerrung, die durch eine willkürliche Stich­probe entsteht, durch eine Ge­wicht­ung des Er­geb­nisses nach demoskopischen Merk­malen wieder aus­gleichen zu können.

Damit dies funktioniert, muss der Forscher detaillierte Inform­ationen zur Prä­valenz des ge­suchten Merk­males in den ver­schied­enen Be­völk­er­ungs­grup­pen zur Ver­fügung haben, eben­so wie ent­sprech­ende Infor­ma­tionen zur Demo­grafie der Grund­ge­samt­heit (z.B. der Ge­samt­be­völk­erung).

Eine solche Gewichtung ist enorm auf­wendig und praktisch nur in Be­reichen zu leisten, in denen über sehr lange Zeit­räume sehr detail­lierte Mein­ungs­bilder er­forscht werden. Das ver­mutlich einzige Bei­spiel hier­für ist die Wahl­forsch­ung – und selbst hier bleibt die Un­sicher­heit enorm.

• Schweigeverzerrung
• Prävalenzfehler

• Willkürliche Stichprobe auf Wikipedia

• Biased Sample Fallacy auf Logically Fallacious (Englisch)