Udo Kuckartz, Thomas Ebert, Stefan Rädiker & Claus Stefer (2009). Evaluation Online. Internetgestützte Befragung in der Praxis. Wiesbaden: VS Verlag für Sozialwissenschaften, 128 Seiten, ISBN 978-3-531-16249-2, EUR 12,90

Zusammenfassung: Das vorliegende Lehrbuch erörtert anhand einer exemplarischen Lehrveranstaltungsevaluation Fragen der Verwendung internetgestützter Methoden in der Evaluationsforschung, wobei die Autoren einen Mixed-Methods-Ansatz verfolgen. Der Schwerpunkt der Auswertung liegt auf der Analyse qualitativer Daten mit MAXQDA. Die Verknüpfung der Darstellung mit einer exemplarischen Studie erlaubt es den Leser/innen, eine konkrete Vorstellung von der Vorgehensweise zu gewinnen, allerdings ist der allgemeine Nutzen des Bands gerade wegen dieser Fokussierung auf eine bestimmte Vorgehensweise eher beschränkt.

Keywords: Evaluation; Lehrveranstaltungsevaluation; Internet; Online-Befragung; Mixed-Methods; MAXQDA

In den vergangenen Jahren wurden insbesondere im Rahmen von Lehrveranstaltungsevaluationen an Hochschulen vermehrt internetbasierte Fragebögen eingesetzt. KUCKARTZ, EBERT, RÄDIKER und STEFER legen mit "Evaluation Online" ein Lehrbuch vor, das sich an Personen richtet, "die selbst Evaluation betreiben, sich für das Potenzial von Online-Forschung interessieren und es für sinnvoll halten, über standardisierte, quantitative Verfahren der Datenerhebung hinauszugehen" (S.9), ohne jedoch über Vorerfahrungen im Einsatz "Neuer Medien" zu verfügen (S.14). Das Buch versteht sich als logische Fortführung des 2007 erschienenen Bands "Qualitative Evaluation" (KUCKARTZ, DRESING, RÄDIKER & STEFER 2007; siehe dazu LÜDERS 2008), indem es mit Hilfe internetbasierter Erhebungsmethoden Nachteile qualitativer Evaluationen hinsichtlich Schnelligkeit, Stichprobengröße und Kosten auszugleichen versucht. [1]

Der Aufbau des Buches folgt einer exemplarischen Online-Evaluation, die sich, wie schon im Band von 2007, der an der Philipps-Universität Marburg abgehaltenen Lehrveranstaltung (LVA) "Einführung in die sozialwissenschaftliche Statistik" widmet. Interessant ist neben der Wahl dieses Evaluationsgegenstands für eine vorwiegend qualitative Evaluation auch, dass zwei Personen des Evaluationsteams die LVA als Lehrende betreuten. [2]

Das Lehrbuch entwickelt das Thema anhand eines konkreten Anschauungsbeispiels. Jedes Kapitel beginnt mit einer allgemeinen Beschreibung des jeweils nächsten Schritts bei der Durchführung einer Online-Evaluation, wobei relevante Evaluationsstandards wie beispielsweise fachlich angemessene und systematische Datenanalyse (S.15), Kontextanalyse (S.16) und die Wahl angemessener Verfahren (S.21), welche valide und reliable Informationen erbringen (S.32), deutlich hervorgehoben werden. Meist gegen Ende eines Kapitels finden sich unter dem Titel "So haben wir es gemacht" Anmerkungen dazu, wie die Autoren die besprochene Problemstellung in ihrer Musterevaluation gelöst haben. [3]

Dieser Aufbau ist begrüßenswert, weil die Lesenden so stets eine konkrete Vorstellung davon erhalten, was mit diesem oder jenem Begriff tatsächlich gemeint sein könnte. In der konkreten Umsetzung hat dieser Ansatz allerdings den Nachteil, dass sich Aussagen zur Musterstudie auch im Haupttext wiederfinden, weshalb dieser insgesamt etwas unentschlossen zwischen unterschiedlichen Genres schwankt und sich einmal eher als Evaluationsbericht, dann eher als Lehrbuch oder auch MAXQDA-Tutorial gibt. Auch wird alternativen Vorgehensweisen in der Regel wenig Platz eingeräumt. [4]

Der schmale Band ist in insgesamt zwölf Kapitel gegliedert. Nach einführenden Bemerkungen zu den Vorzügen (z.B. erhöhte Flexibilität und Effizienz) und Nachteilen (z.B. offene Fragen bzgl. Rücklaufquoten, Problem der Anonymität) einer Online-Befragung sowie einem kursorischen Hinweis auf allgemeine, etwa von der Gesellschaft für Evaluation formulierte Qualitätsstandards für Evaluationsstudien widmen sich die Autoren im zweiten Kapitel der "Planung einer Evaluation mit Online-Befragung". Bei der Beschreibung des Evaluationsgegenstands sowie des Evaluationszwecks fällt auf, dass die Autoren kaum auf die üblichen Typisierungen von Evaluationsprojekten wie beispielsweise summativ vs. formativ eingehen, weshalb es für uninformierte Lesende etwas überraschend sein könnte, dass die Autoren ihr Projekt als "interne Evaluation" bezeichnen (S.20), ohne dass zuvor erwähnt worden wäre, was im Gegensatz dazu eine externe Evaluation sein könnte. Nach einer kurzen Diskussion der Eignungskriterien einer Forschungsfrage für die Bearbeitung mittels Online-Befragung wie etwa die notwendige Vertrautheit der Befragten mit dem Internet o.ä. widmen sich KUCKARTZ et al. der konkreten technischen Umsetzung, wobei sie vier Varianten diskutieren, von denen allerdings zwei (E-Mail mit Formularanhang, Online-Fragebogen mit E-Mailversand) meiner Einschätzung nach eher von historischem Interesse sind. [5]

In Kapitel 3 besprechen die Autoren die "Inhaltliche Entwicklung des Erhebungsinstruments", wobei sie geschlossene vs. offene Fragen sowie Aspekte der Fragebogenkonstruktion diskutieren. An dieser Stelle wären eventuell konkrete Beispiele für gute und schlechte Formulierungen hilfreich gewesen. Für Personen, die sich in der Situation befinden, den ersten Fragebogen ihres Lebens entwerfen zu müssen, sind die Ausführungen wohl zu knapp, während sie erfahrenen Lesenden – als Zielgruppe wurden Personen benannt, "die selbst Evaluation betreiben" – wenig neue Einsichten bieten. [6]

In Kapitel 4 werden in Online-Fragebögen übliche Formate beschrieben, wobei interessant ist, dass sich die Kategorisierung an der technischen Umsetzung als HTML-Formular (z.B. Drop-Down-Listen, Radiobuttons, Checkboxes) orientiert. Alternativ hätte man sie auch nach dem Antworttyp (z.B. Einfachantwort, Mehrfachantwort, offene Antwort) gruppieren können, was für die definierte Zielgruppe vielleicht zugänglicher gewesen wäre. [7]

Das fünfte Kapitel widmet sich der Stichprobenauswahl sowie der konkreten Durchführung der Befragung. KUCKARTZ et al. besprechen zufallsgesteuerte und nicht-zufallsgesteuerte Stichprobenerhebungen sowie Vollerhebungen. Dabei stellen sie fest, dass bei Online-Erhebungen der Erhebungsaufwand nicht mit der Stichprobengröße korreliere (S.53). Allerdings ergäben sich aus den tendenziell größeren Stichproben bei Online-Befragungen neue Herausforderungen bei der Anwendung qualitativer Methoden. In weiterer Folge geben sie Tipps zur Bekanntmachung bzw. Einladung, zu während der Erhebung anfallenden Tätigkeiten sowie zum Abschluss der Befragung. In diesem sowie im darauffolgenden Kapitel 6 werden auch Fragen der Forschungsethik und das Problem der Anonymität angesprochen. Informativ sind unter anderem die Bemerkungen zur Anonymisierung bzw. Datenaufbewahrung wie beispielsweise der Hinweis auf die Verpflichtung, Adressdaten baldmöglichst zu vernichten. [8]

Die Kapitel 7 bis 9 widmen sich der Datenauswertung, der Schwerpunkt liegt hierbei auf der Analyse der qualitativen Daten mithilfe von MAXQDA. Die Autoren selbst verfolgen in ihrer Musterstudie einen Mixed-Methods-Ansatz, wobei sie nur beispielsweise Fälle nach Codes oder Kategorien (etwa "Kritikpunkte") oder auf geschlossenen Fragen basierenden Merkmalsausprägungen (etwa Demografie) sortieren, um so gezielt einzelne Fälle auszuwählen. Im Kontext einer Evaluationsstudie erscheint die pragmatische Herangehensweise der Autoren sehr angebracht. Die Schilderung ihrer Vorgehensweise sollte Studierende mit Methodenvorkenntnissen in die Lage versetzen, diesen Teil der Projektarbeit gut zu bewältigen, sofern die hier vorgenommene Darlegung passend erscheint. Diese Einschränkung auf eine bestimmte Vorgehensweise ist im Zusammenhang eines Lehrbuchs zur Evaluationsforschung allerdings nicht unkritisch, weil sich bei Evaluationsstudien die Methodenwahl nicht nur an der Untersuchungsfrage, sondern auch an den Erwartungen der Auftraggebenden bzw. der Nutzenden einer Evaluation zu orientieren hat. [9]

Nach einem Kapitel zur Berichterstellung schließt der Band mit einer methodischen Bilanz, wobei auch "veränderte Kompetenzanforderungen" an Studienautoren und -autorinnen infolge der Verwendung eines Online-Fragebogens (wie etwa Kenntnisse in Datenschutz, kompetenter Umgang mit der verwendeten Software sowie die Fähigkeit der Verarbeitung großer Datenmengen) genannt werden. Zuletzt diskutieren KUCKARTZ et al. den Mehrwert internetbasierter Mixed-Methods-Erhebungsverfahren hinsichtlich Kosteneffizienz, Datenqualität und Mobilität. [10]

Das Buch hinterlässt einen zwiespältigen Eindruck. Auf der einen Seite gefallen mir der an einer exemplarischen Studie orientierte Aufbau und die direkte Darstellung. Auf der anderen Seite ist nicht immer deutlich, was genau Gegenstand des Bandes ist bzw. wer sich davon angesprochen fühlen soll. Lesende, die bereits Erfahrung in der Durchführung von Evaluationsstudien sammeln konnten, wären besser beraten, ihre Zeit mit dem Studium der technischen Grundlagen von Online-Befragungen zu verbringen. Für Personen, die keine Erfahrung mit der Durchführung sozialwissenschaftlicher Studien haben, sind die methodischen Anmerkungen hingegen zu knapp geraten. Um als allgemeines Lehrbuch zu internetbasierten Befragungen zu gelten, fokussiert die Darstellung zu stark auf eine spezielle Vorgehensweise. Am ehesten könnten sich meiner Einschätzung nach Studierende mit Methodenkenntnissen für das Buch interessieren, die für ihre Bachelor- oder Master-Arbeit eine online-basierte, schwerpunktmäßig qualitative Befragung planen und hierfür einen Leitfaden suchen. [11]

Insgesamt hätten die Autoren vielleicht dem Unterschied zwischen Online- und Offline-Erhebung (beispielsweise hinsichtlich der Datenqualität) mehr Aufmerksamkeit widmen sollen. Das hätte sich insofern angeboten, als sie vor zwei Jahren bereits einmal einen ähnlichen Band publizierten (siehe KUCKARTZ et al. 2007). [12]

Kuckartz, Udo; Dresing, Thorsten; Rädiker, Stefan & Stefer, Claus (2007). Qualitative Evaluation. Der Einstieg in die Praxis. Wiesbaden: VS Verlag für Sozialwissenschaften

Lüders, Christian (2008). Sammelbesprechung zu: Christine Schwarz (2006). Evaluation als modernes Ritual. Zur Ambivalenz gesellschaftlicher Rationalisierung am Beispiel virtueller Universitätsprojekte / Udo Kuckartz, Thorsten Dresing, Stefan Rädiker & Claus Stefer (2007). Qualitative Evaluation. Der Einstieg in die Praxis. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 9(2), Art. 7, http://nbn-resolving.de/urn:nbn:de:0114-fqs080273 [Zugriff: 21.03.2009].

Thomas LINK, geb. 1970, Studium der Soziologie; Arbeitsschwerpunkte: politisches Bewusstsein, Einsatz Neuer Medien in der Lehre, soziale Ungleichheit gesundheitlichen Wohlbefindens, Gesundheitswesen.

Link, Thomas (2009). Rezension: Udo Kuckartz, Thomas Ebert, Stefan Rädiker & Claus Stefer (2009). Evaluation Online. Internetgestützte Befragung in der Praxis [12 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 10(3), Art. 5, http://nbn-resolving.de/urn:nbn:de:0114-fqs090352.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Creative Commons Attribution 4.0 International License