Franklin D. Roosevelt beendete 1936 seine erste Amtszeit als Präsident der Vereinigten Staaten von Amerika. Sein republikanischer Herausforderer bei den Wahlen hiess Alfred Landon, Gouverneur aus Kansas. Zwar waren die Aufrüstung Deutschlands unter den Nationalsozialisten und der Spanische Bürgerkrieg Leitthemen in den grossen Tageszeitungen wie etwa der New York Times. Den Wahlkampf dominierten allerdings wirtschaftspolitische Themen. Die USA kämpften noch immer mit den Folgen der Grossen Depression: Mehr als neun Millionen Menschen waren arbeitslos, und die realen Einkommen waren zwischen 1929 und 1933 etwa um einen Drittel gesunken.

Die meisten Beobachter des Wahlkampfes sagten Roosevelt einen einfachen Sieg über seinen Herausforderer Landon voraus, nicht aber die bekannte Zeitschrift "Literary Digest". Diese prognostizierte Roosevelt einen Stimmenanteil von lediglich 43% und damit einen klaren Sieg für Landon. Die Zeitschrift basierte ihre Voraussage auf der grössten Stichprobe an Personen, welche je auf eine kommerzielle Umfrage geantwortet hatten: 2,4 Millionen! Zudem hatte das "Literary Digest" seit 1916 jeweils den richtigen Gewinner der Präsidentschaftswahlen vorausgesagt.

Wie wir allerdings wissen, hat dennoch Franklin Roosevelt die Wahl gewonnen, und zwar mit einer überwältigenden Mehrheit von 62% der Stimmen. Alfred Landon erzielte lediglich einen Stimmenanteil von 38% für seine Person! Selbst die riesige Stichprobe konnte somit nicht verhindern, dass das "Literary Digest" den wahrscheinlich grössten Prognosefehler in der Geschichte der Umfrageforschung publizierte: ganze 19 Prozentpunkte! Nicht zuletzt diese krasse Fehlprognose dürfte dazu geführt haben, dass die Zeitschrift wenig später (im darauffolgenden Jahr) eingestellt wurde.

Im Gegensatz zum "Literary Digest" sagte Georg Gallup, dessen eigenes Umfrageinstitut gerade im Aufbau war, korrekterweise Roosevelt als Sieger voraus, auch wenn seine eigenen Prognose ebenfalls um 6 Prozentpunkte vom tatsächlichen Ergebnis abwich. Erstaunlicherweise gelang es Gallup allerdings, das falsche Ergebnis des "Literary Digest" vor dessen Veröffentlichung mit einer Abweichung von lediglich einem Prozentpunkt korrekt vorauszusagen!

Es stellt sich somit die Frage, weshalb die Umfrage des "Literary Digest" trotz der riesigen Stichprobe ein so falsches Resultat liefern konnte. Wir wollen uns zunächst die (kontrafaktische, wie wir unten sehen werden) Situation betrachten, dass tatsächlich eine korrekte Zufallsstichprobe gezogen wurde. Mit den vorhandenen Angaben ergibt sich das folgende 99%-Vertrauensintervall für den Stimmenanteil von Roosevelt:

Setzt man die obigen Angaben in diese Formel ein, erhält man das folgende 99%-Vertrauensintervall für den Stimmenanteil für Roosevelt:

Unter der Annahme, dass das "Literary Digest" seine Stichprobe korrekt gezogen hätte, wäre die Wahrscheinlichkeit für einen Stimmenanteil von 62% für Roosevelt mehr als unwahrscheinlich gewesen!

Dies lässt nun die Feststellung zu, dass wohl eine sehr selektive Stichprobe vorgelegen haben muss:

• Das "Literary Digest" versandte insgesamt rund 10 Millionen Fragebögen. Allerdings wurden die angeschriebenen Personen nicht zufällig ausgewählt, sondern die meisten dieser Personen wurden aus vorhandenen Listen von Zeitschriftenabonnenten, Automobilbesitzern sowie aus Telefonverzeichnissen gezogen. Zu jener Zeit (1936) waren nun allerdings wohlhabendere Personen in solchen Listen klar übervertreten. Die Stichprobe war damit klarerweise verzerrt, indem reichere Personen mit einer grösseren Wahrscheinlichkeit Eingang in die Stichprobe fanden als ärmere Personen. Es waren aber gerade reichere Personen, welche Alfred Landon ihre Stimme gaben. Der erste Fehler des "Literary Digest" bestand somit in einem Selektionsfehler.
• Das zweite - und wahrscheinlich ausschlaggebende - Problem der Stichprobe war die enorme Zahl an Personen, welche nicht auf die Umfrage antworteten (nur gerade 24% aller angeschriebenen Personen schickten den Fragebogen zurück). Offensichtlich antworteten primär Personen mit einem starken Interesse am Ausgang der Umfrage. Und dies waren vor allem Personen, welche sich einen Wandel an der Spitze der USA wünschten und somit Alfred Landon ihre Stimme gaben. Wähler, welche Landon ihre Stimme gaben, antworteten weitaus häufiger auf die Umfrage der Zeitschrift als die Anhänger Roosevelts.

Die Stichprobe des "Literary Digest" war somit sowohl durch einen Nichtstichprobenfehler (nonresponse) als auch durch einen Stichprobenfehler (Selektionsfehler) verzerrt. Wie wir wissen, hilft bei einer solch selektiven Stichprobe auch eine noch so grosse Stichprobengrösse nicht, um Populationskennwerte präzise zu schätzen.