Thomas Petersen / 03.12.2013 / 00:17 / 5 / Seite ausdrucken

Klopfzeichen aus der Welt der Sozialwissenschaften (28)

Warum man manchmal die falschen Fragen stellen muss

Als Umfrageforscher muss man sich oft des Vorwurfs erwehren, man stelle die falschen Fragen, beispielsweise bei öffentlichen Vorträgen. Dort passiert es oft, dass einem Zuhörer die präsentierten Ergebnisse nicht gefallen, er sich bei der anschließenden Diskussion zu Wort meldet und empört verkündet: „Sie haben ja die vollkommen falschen Fragen gestellt!“ Nicht selten bemüht sich der Betreffende dann spontan, eine aus seiner Sicht bessere Frageformulierung zu entwickeln, in der Regel eine wüste Suggestivfrage, die den Befragten keinen anderen Ausweg mehr lassen soll als die gewünschte Antwort zu geben. Interessant ist dabei, wie viel Mühe viele Menschen bereits bei diesem einen Versuch haben. Eben waren sie sich noch ganz sicher, dass der Umfrageforscher ja völlig unfähig sei, anständige Fragen zu stellen, nun merken sie plötzlich, dass es ganz schön schwer ist, eine brauchbare Frageformulierung zu finden. Solche Diskussionen können etwas anstrengend sein, aber man lernt im Laufe der Jahre, damit umzugehen.

Dagegen lohnt es sich, einer anderen Situation, in der ein Umfrageforscher zu hören bekommen kann, er stelle die falschen Fragen, etwas mehr Aufmerksamkeit zu widmen. Am Beginn eines Umfrageprojekts steht meist der Auftrag eines Un-ternehmens, eines Mediums oder einer anderen Organisation, die eine bestimmte für sie wichtige Forschungsfrage beantwortet haben will: Warum ist das Konkur-renzprodukt im Markt erfolgreicher als das eigene? Welche Wirkung würde eine geplante Werbekampagne haben? Warum sinkt die Wahlbeteiligung? Würde eine neu eingeführte Zeitschrift genug Käufer bekommen, wie kann man diese poten-tiellen Kunden erreichen? Das sind alles ernsthafte, nicht selten klar umrissene Fragestellungen, so dass der Auftraggeber auch klare Vorstellungen davon hat, wie die Fragen im Fragebogen aussehen sollten.

Und dann erhält er den Fragebogenentwurf des beauftragten Instituts und fällt aus allen Wolken: Die Fragen, die er sich vorgestellt hat, findet er im Entwurf nicht wieder, zum Beispiel die für ihn so wichtigen „Würden-Sie-Wenn-“ oder „Wa-rum-Fragen“. Stattdessen werden viele andere Fragen gestellt, die scheinbar gar nichts mit dem Thema zu tun haben, etwa Fragen nach den Freizeitinteressen oder der Stimmung im Alltag. Ganz absurde Dinge sind darunter, wie etwa die Frage „Ist Ihnen in letzter Zeit zufällig einmal aufgefallen, dass jemand schmutzige Schuhe anhatte?“ oder Rätselspielchen, bei denen die Befragten Fehler in einer Zeichnung finden müssen. Was soll das? So mancher Auftraggeber fühlt sich verschaukelt wird regelrecht ungehalten: „Und das alles von meinem Geld!“

Doch für all die scheinbar unsinnigen Fragen gibt es einen Grund. Zu den am schwersten zu vermittelnden Elementen der Umfrageforschung gehört die Tatsache, dass Forschungsfragen etwas ganz anderes sind als die Fragen, die man der Bevölkerung in einem Fragebogen vorlegen kann. Das gilt besonders für die er-wähnten „Würden-Sie-Wenn-“ und „Warum-Fragen.“ Die meisten Menschen sind nämlich sehr schlecht darin, einzuschätzen, wie sie sich in einer hypothetischen Situation verhalten würden. Und ihre Handlungsmotive kennen sie schon gar nicht (oder würden sie auf direkte Nachfrage niemals offen zugeben).

Man muss deswegen die Forschungsfrage regelrecht übersetzen in meist mehrere sogenannte Testfragen. Schlechte Fragebogen erkennt man leicht daran, dass eine solche Übersetzung unterbleibt und die Forschungsfrage direkt an die Befragten weitergereicht wird, als könnten diese sie beantworten. Da wird dann gefragt: „Muss der Minister zurücktreten?“ Aber die Bevölkerung weiß nicht, ob der Mi-nister zurücktreten muss. Sie weiß, ob sie ihn kennt, ob sie ihn mag, ob sie seine Politik befürwortet und ob sie sein Verhalten skandalös findet. Aber die Frage, ob er zurücktreten muss, muss der Forscher in der Analyse all dieser Einzelfragen selbst beantworten.

Da man nun manche Dinge nicht durch direkte Fragen ermitteln kann, muss man auf indirekte Fragetechniken ausweichen: Man fragt nach etwas, was für sich ge-nommen nicht besonders interessant ist, was aber Rückschlüsse auf den eigentlich interessierenden Untersuchungsgegenstand zulässt. Den Grundgedanken zu sol-chen „Indikator-Fragen“ hat bereits vor rund 130 Jahren der zu Unrecht fast völlig vergessene Pionier der Sozialwissenschaften Gottlieb Schnapper-Arndt formuliert: Auf einer Fachtagung des damals bedeutenden „Vereins für Socialpolitik“ sagte er, es dürfte kaum möglich sein, die Zahl der unglücklichen Ehen zu ermitteln, aber man könne die Zahl der Ehescheidungen zumindest als „hinweisendes Symptom“ ansehen.

Dieser Gedanke des „hinweisenden Symptoms“ zieht sich durch die Fragebogen, vor allem dann, wenn es um etwas kompliziertere Themen geht. Einer guten Indi-kator-Frage sieht man ihren Zweck nicht an - und doch kann sie im Idealfall auf-wendige und ermüdende Ermittlungen ersetzen. Der St. Galler Marketingforscher Sven Reinecke berichtete vor einiger Zeit von einem besonders eindrucksvollen Beispiel: Ein großer Konsumgüterhersteller hat in seinem Produktangebot zwei Marken von Hundefutter. Mit großen und aufwendigen Marktuntersuchungen versuchte das Unternehmen jahrelang Hundebesitzer danach einzuteilen, ob sie eher zur Zielgruppe der einen oder der anderen Marke gehörten, zunächst mit mäßigem Erfolg. Nach immer wieder neuen Anläufen und Versuchen kam man schließlich zu der Lösung, alle komplizierten Abfragen durch eine einzige einfache Frage zu ersetzen, die lautete: „Feiern Sie den Geburtstag Ihres Hundes?“ Wie durch Zauberhand trennte diese Frage die beiden Zielgruppen voneinander wie Öl von Wasser. Alle so vernünftigen und sachgerechten Fragen waren gescheitert. Erst die scheinbar unsinnige „falsche“ Frage führte zum Ziel.

Sie lesen gern Achgut.com?
Zeigen Sie Ihre Wertschätzung!

via Paypal via Direktüberweisung
Leserpost

netiquette:

Bernd Hönig / 03.12.2013

Lieber Dr. Petersen, Vielen Dank für ihre erleuchtenden Kommentare, die mir ihr Fachgebiet, im Gegensatz z. Bsp. zur Psychoanalyse, die ich zu den esoterischen Künsten zähle, als Wissenschaft verständlich machen. Und so schlage ich in Bezug auf die sog. Energiewende die folgenden Fragen an verantwortliche Staatsdiener (Kanzleramt, Umwelt, Wirtschaft, Finanzen) vor: -Denken sie, dass der Mensch der Zukunft keinerlei Innovationskraft mehr hervorbringt? -Sind sie der Meinung, am Ende wissenschaftlicher Forschungen zu sein? -Halten sie es für nowendig, von nun an sämtliche Resourcen der Welt unter staatliche Verwaltung zu stellen? - Glauben sie an einen langfristigen Erfolg von Gesellschaftsexperimenten wie Sozialismus oder Ökologismus?

Otto Hildebrandt / 03.12.2013

Die Hundefutter-Frage ist genial. Aus früherer Zeit ist mir noch die Schwarzmeer-Frage in Erinnerung, um die Stärke des Nationalbewußtseins zu ermitteln. Die Indikator-Methode ist eine Allensbacher Spezialität und gleichzeitig das Problem. Das sei hier einmal ganz grundsätzlich beleuchtet, so wie Sie ihr Publikum ja auch gerne sozialwissenschaftlich belehren.  Die Indikator-Methode erinnert methodisch stark an die problematische Faschismus-Skala aus dem Projekt “Autoritären Persönlichkeit”, das natürlich soziologischer Blödsinn war (und ist), weil es mehr über die Vorurteile und Abneigungen der Fragenden, als über die Befragten selbst aussagte. Auf ähnlichen Niveau befinden sich die jährlichen FES-Studien, die uns weißmachen wollen, dass die Ausländerfeindlichkeit, der Antisemitismus, der Rassismus, der Antifeminismus, der Nationalismus oder was auch immer, in der “Mitte der Gesellschaft” angekommen sind. Das ernährt eine ganze Denuniazions-Industrie. Wissenschaft möchte man das nicht nennen. Adorno konnte ja auch einen Antisemiten auf Anhieb erkennen. Denn jeder, dem seine Art unangenehm war, war natürlich Antisemit, auch wenn er es noch gar nicht wußte. Am Beispiel Golo Manns ist diese “ich weiß mehr, als der Mensch selbst” auch der breiten Öffentlichkeit bekannt geworden. Die Art der Argumentation waren nicht alleine persönliche Interessen und den Charaktermängeln Adornos geschuldet, sondern war Ausfluss einer bestimmten Methode. Auch Philosemiten können dann leicht als verdsteckte Antisemiten entlarvt werden, wenn es notwendig ist. Es ist, wissenschaftstheoretisch gesprochen, ein holisitisches Modell, das nicht aus sich heraus widerlegt werden kann, aber Anspruch auf übergreifende Wahrheit erhebt.  Für mich ist das ein Grund, Allensbach-Umfragen, und insbesondere den hauseigenen Interpretationen, grundsätzlich zu mißtrauen. Je weiter die Indikator-Fragen von der Sache weg sind, umso größer das Problem der Selbstbezüglichkeit, der nachträglichen Interpretation und der Relevanz. Für manche Tatbestände eignen sie sich ganz hervorragend, für andere weniger. Die Politik gehört zu den Sachgebieten, für die sie sich eher weniger eignet. Gut für die kurzfristige Politikberatung. Wenn man mehr möchte, wird man mit leeren Händen da stehen. Allgemein wirken Meinungsumfragen in Deutschland manipulativ, indem sie ein Meinungsklima voraussetzen, das sie zu erforschen vorgeben. Das erklärt vielleicht ihre Beliebtheit. Die Fragebogen werden so konstruiert, dass sie vorgegebenen Meinungsschemata entsprechen, nicht den Meinungen der Befragten. Der Wert der Ergebnisse liegt ausschließlich darin, dass sich die Befragten sowohl bei der Umfrage, wie auch im politischen Verhalten diesen Meinungsschemata anpassen. Den meisten Befragten ist dieser Mechanismus nicht bewußt, aber er ist für den Wert der Ergebnisse relevant. Was die Umfragen auf keinen Fall wissen möchten, ist die Meinung der Befragten jenseits diese Kontextes. Ich habe früher oft an Telefonumfragen teilgenommen. Spätestens nach 10 Fragen machte ich mir um die geistige Gesundheit des Fragebogenerstellers sorgen und begann die Arbeitssklaven am Telefon zu bedauern. Enstprechend wenig aussagekräftig sind dies Ergebnisse, wenn man sie aus dem vorgegebenen Meinungskontext herausnimmt. Die größere Volatilität der Wahlumfragen ist nicht nur der größeren Stimmungsabhängigkeit des Wahlverhaltens geschuldet. Es kommt darin vor allem ein fundamentales Nichtwissen über die Meinungsbildung selbst zum Vorschein. Wenn man bessere Ergebnisse haben wollte, müsste man auch einmal über andere Herangehensweisen der Wahlforschung nachdenken. Inzwischen kommt der Effekt hinzu, dass die Meinungsumfragen größere Gruppen der Gesellschaft nicht mehr erreichen. Repräsentative Umfragen gibt es praktisch nicht mehr. Die statistische Korrektur beruhigt das wissenschaftliche Gewissen, macht die Daten aber nicht besser. Deshalb verbieten sich meiner Ansicht nach auch die weitreichenden Interpretationen, die oft mit politischen Umfragen verbunden sind, von selbst. Vom wahrscheinlich unvermeidlichen Schönreden der Ergebnisse zugunsten der Auftraggebenr, wie man es regelmäßig in der FAZ lesen kann, einmal ganz abgesehen. Was mir im Gedächtnis geblieben ist. Vor einiger Zeit war das Ergebnis einer Alllensbach-Umfrage (FAZ), dass über 70% der Befragten die europäische Rettungspolitik ablehnten. Entgegen einer früheren Umfrage waren die Werte leicht verbessert. Die Überschrift des Artikels hatte DDR 2.0 Charakter: Zustimmung zur europäischen Rettungspolitik steigt. Solche Artikel werden bei mir nicht einmal mehr als Belege aufbehalten.

Frank Holbers / 03.12.2013

Ich hab’s schon immer geahnt: Demoskopie ist eine der sinnlosesten Freizeitbeschäftigungen.

Stefan Göpke / 03.12.2013

Vielleicht sollten Sie zur Klarstellung ergänzen, dass Sie nicht die typischen “Umfragen” in Zeitungen meinen, deren Ergebnisse schon durch die Fragestellung feststehen. (“Ja, ich unterstütze die vernünftige Aussage, dass eine große Koalition alternativlos ist.” Oder: “Nein, ich möchte, dass Deutschland untergeht.” ... etwas übertrieben. )

Helfried Richter / 03.12.2013

Sehr geehrter Herr Peters, ab jetzt können Menschen, die Ihre Ausführungen gelesen haben, gar nicht mehr an Umfragen teilnehmen, weil sie bei Indikatorfragen ewig grübeln, was über diesen indirekten Weg herausgefunden werden soll ;) Bereits Ihre Hundegeburtsfrage ist für mich ein (bisher ungelöstes) Sudoku. Kann es sein, dass die Folgefrage dann war: Wenn ja, was schenken sie ihm?

Leserbrief schreiben

Leserbriefe können nur am Erscheinungstag des Artikel eingereicht werden. Die Zahl der veröffentlichten Leserzuschriften ist auf 50 pro Artikel begrenzt. An Wochenenden kann es zu Verzögerungen beim Erscheinen von Leserbriefen kommen. Wir bitten um Ihr Verständnis.

Verwandte Themen
Thomas Petersen / 08.01.2015 / 12:12 / 17

Die Muster des Totalitären

Eigentlich halte ich mich auf der „Achse des Guten“ ja ganz bewusst mit persönlichen politischen Meinungsäußerungen zurück, aber manchmal kann man das nicht eben durchhalten.…/ mehr

Thomas Petersen / 03.12.2014 / 12:00 / 3

Aus Ideologiefragen Sachfragen machen

Klopfzeichen aus der Welt der Sozialwissenschaften (48) Seltsamerweise neigen die Menschen dazu zu glauben, bei einer Streitfrage habe derjenige Recht, der die Mehrheit auf seiner…/ mehr

Thomas Petersen / 19.11.2014 / 20:02 / 0

Wie Sozialforscher aneinander vorbei forschen

Klopfzeichen aus der Welt der Sozialwissenschaften (47) Schon einmal habe ich auf die oft etwas verstörende Eigenschaft des Kernphysikers Heinz Maier-Leibnitz (1911-2000) hingewiesen,  scheinbar banale…/ mehr

Thomas Petersen / 05.11.2014 / 07:00 / 16

Dämliche Volksweisheiten über Statistik-Manipulation

Klopfzeichen aus der Welt der Sozialwissenschaften 46 Es gibt zwei Dinge, auf die man sich als Umfrageforscher absolut verlassen kann. Erstens: Wann immer man einen…/ mehr

Thomas Petersen / 18.10.2014 / 09:32 / 6

Klopfzeichen aus der Welt der Sozialwissenschaften (45): Soziale Konditionierung

Wer eine Ahnung davon bekommen möchte, wie die Berichterstattung der Massenmedien durch die Verwendung stereotyper Begriffe die Wahrnehmung von Politik beeinflusst und damit letztlich auch…/ mehr

Thomas Petersen / 06.09.2014 / 07:20 / 1

Klopfzeichen aus der Welt der Sozialwissenschaften (Folge 44)

Zehn Jahre Schon einmal habe ich an dieser Stelle über die Chronistenpflicht der Umfrageforschung geschrieben, doch angesichts des zehnjährigen Jubiläums der „Achse des Guten“ lohnt…/ mehr

Thomas Petersen / 11.08.2014 / 13:23 / 1

Klopfzeichen aus der Welt der Sozialwissenschaften (Folge 42)

Mit der Zivilcourage, schrieb kürzlich Jennifer Nathalie Pyka in einem Beitrag für die „Achse des Guten“, verhalte es sich ein wenig wie mit Gott: Sie…/ mehr

Thomas Petersen / 02.08.2014 / 11:50 / 1

Klopfzeichen aus der Welt der Sozialwissenschaften (Folge 42)

Hinter jeder Ecke lauert die Banalität Kürzlich wies mich ein Leser der „Achse des Guten“ auf ein im Deutschlandfunk gesendetes „Kulturgespräch“ zum Thema „Gehen“ hin.…/ mehr

Unsere Liste der Guten

Ob als Klimaleugner, Klugscheißer oder Betonköpfe tituliert, die Autoren der Achse des Guten lassen sich nicht darin beirren, mit unabhängigem Denken dem Mainstream der Angepassten etwas entgegenzusetzen. Wer macht mit? Hier
Autoren

Unerhört!

Warum senken so viele Menschen die Stimme, wenn sie ihre Meinung sagen? Wo darf in unserer bunten Republik noch bunt gedacht werden? Hier
Achgut.com