Udo Kuckartz, Thorsten Dresing, Stefan Rädiker & Claus Stefer (2008). Qualitative Evaluation. Der Einstieg in die Praxis (2. Auflage). Wiesbaden: VS Verlag für Sozialwissenschaften; 115 Seiten; ISBN: 978-3-531-15903-4, 14,95€

Zusammenfassung: Das Buch "Qualitative Evaluation" zeigt Schritt für Schritt die Vorgehensweise und stellt damit in sehr anwendungsorientierter Form das Handwerkszeug für eine qualitative Evaluation zur Verfügung. So werden Lesende in die Lage versetzt, eine solche Evaluation auch bei geringen Vorkenntnissen durchzuführen, wobei damit das Risiko verbunden sein kann, dass bei der Interpretation der Befunde wichtige Voraussetzungen für das Gelingen einer qualitativen Studie wie Verwurzelung der Interpretation im tatsächlich aufgezeichneten Text vernachlässigt werden.

Sind Sie schon einmal gefragt worden: "Wir haben da diese Interviews gemacht und wollen die jetzt qualitativ auswerten. Wie macht man das?" Nach einer solchen Anfrage habe ich mich auf die Suche nach Literatur gemacht, die ich – solchen Anfragen vorbeugend! – an alle verteilen könnte, die an dem "Wie" innerhalb einer Forschungsfrage interessiert sind, aber in der quantitativen Sozialforschung oder Medizin sozialisiert wurden. Oft versichern mir jene zu Beginn der Betreuung einer qualitativen Arbeit, dass sie "aber nicht an etwas interessiert seien, das furchtbar kompliziert ist und ewig dauert". Also suchte ich nach einem gut verständlichen und vorbereitenden Buch, das ich Interessierten an qualitativen Projekten vor Beginn des ersten Interviews geben könnte. In diesem Zusammenhang bin ich auf die Monografie von KUCKARTZ et al. gestoßen und fand den Titel: "Qualitative Evaluation. Der Einstieg in die Praxis" vielversprechend. Gleich das Vorwort bestätigte meine Assoziationen, heißt es da doch:

"Man einigte sich auf eine Schritt-für-Schritt-Beschreibung [...] bei einem maximalen Zeitumfang von 100 Stunden [...] So ließen sich vielleicht die bei vielen Kolleginnen und Kollegen vorhandenen Schwellenängste gegenüber qualitativen Methoden in der Evaluation überwinden. Schließlich würden viele nicht zuletzt deshalb vor qualitativen Evaluationen zurückschrecken, weil sie einen großen Zeitaufwand vermuten und die einzelnen Schritte bei qualitativen Verfahren nicht so recht klar seien." (S.7) [1]

So wird diese Rezension aus der geschilderten Perspektive erfolgen und beschreiben, welche Inhalte die Lesenden erwarten, aber auch eine Einordnung versuchen, d.h. Grenzen aufzeigen, die bei einem solchen "abgekürzten Verfahren" (KUCKARTZ et al., S.7) in der Natur der Sache liegen. [2]

Passend zum Untertitel wird hier ein Praxisleitfaden vorgestellt, der auf den ersten 60 Seiten beschreibt, welche (sieben) Schritte bei dieser speziellen Evaluation gegangen wurden und in einem hinteren allgemeinen Teil diese Schritte in Form einer "Checkliste" zusammenfasst. Schon hier sei angemerkt, dass sich insgesamt in diesen Kapiteln nur wenige Verweise auf forschungsmethodische Diskurse oder auf das Spektrum qualitativer Ansätze und Publikationen finden. Auch unter dem sich anschließenden Kapitel "Reflexion der qualitativen Vorgehensweise" bleiben die Autoren sehr nah an ihrem Evaluationsgegenstand (Evaluation der Lehrveranstaltung "Einführung in die sozialwissenschaftliche Statistik"). Sie versuchen die Frage zu beantworten, welchen "Mehrwert" diese qualitative Evaluation verglichen mit einer im Kontext Lehrevaluation an Hochschulen üblichen quantitativen Evaluation erbringen kann. [3]

Gefolgt werden diese Kapitel von dem ebenfalls sehr praxisnahen Kapitel "Praktische Details", in dem ein transkribiertes Interview zu finden sowie ein Beispiel für ein Transkript mit vorgenommener Kodierung abgedruckt ist. Zusätzlich zu den beispielhaften und das Forschungsprojekt beschreibenden ersten Kapiteln finden sich zwei Abschlusskapitel mit insgesamt vier Seiten Literaturhinweisen und Hinweisen auf Internet-Ressourcen sowie eine Zeitübersicht und die genannte Checkliste, die die sieben Schritte generalisiert beschreibt und für ähnliche Projekte zur Verfügung stellt. [4]

Zieht man diese Checkliste heran und liest gleichzeitig den Erfahrungsbericht auf den ersten 60 Seiten, so werden Lesende durch die folgenden Schritte geführt:

Im Folgenden soll näher beschrieben werden, welcher Wissenszuwachs nach der Lektüre der einzelnen Schritte zu erwarten ist: [6]

Ganz allgemein wird unter diesem Punkt beschrieben, dass zunächst gefragt werden müsse, was evaluiert werden soll (und was nicht), welchen Zweck die Evaluation also verfolge, was den Evaluationsgegenstand kennzeichne und wer von der Evaluation betroffen sei. Sieht man sich die Beschreibung der konkreten Vorgehensweise im ersten Teil des Buches an, so werden diese Fragen mit Leben gefüllt und es wird in einem kurzen Abriss erklärt, was unter "summativer" und "formativer Evaluation" zu verstehen ist. An dieser Stelle könnte eine vertiefendere Erläuterung des Gegenstandes "Evaluation", der ja titelgebend für das gesamte Buch ist, hilfreich sein, um qualitative Projekte aller Art von der hier thematisierten qualitativen Evaluation abgrenzen zu lernen. [7]

Im allgemeinen Teil wird beschrieben, wie eine Sammlung von Themen aussehen kann, aus der dann Fragen für den Interviewleitfaden generiert werden können. Auch wird die Empfehlung gegeben, einen "Probelauf" durchzuführen. Im konkreten vorderen Teil des Buches wird der von KUCKARTZ et al. verwandte Interviewleitfaden vorgestellt und darauf verwiesen, dass keine geschlossenen Fragen gestellt werden sollten. Der Interviewleitfaden enthält neben offenen Fragen auch Präzisierungshinweise und kann als Beispiel für einen geeigneten Leitfaden für halb-standardisierte qualitative Interviews sicher hilfreich sein. Dennoch erscheint mir der Wissenszuwachs aus diesem Kapitel und der Checkliste zu Schritt 2 nicht ausreichend dazu zu befähigen, einen Interviewleitfaden mit offenen Fragen zu gestalten, die zu einem aussagekräftigen Transkript führen. Gerade die Gestaltung von offenen Fragen, die eine Erzählaufforderung darstellen können, fällt erfahrungsgemäß vor allem dann schwer, wenn man im Rahmen einer Evaluation durchaus sehr konkrete Antworten auf konkrete eigene Fragen haben möchte. Hier könnte eine weiterführende Beschäftigung mit Vor- und Nachteilen höherer Strukturierung und der Wichtigkeit von Erzählgenerierung für die Lesenden hilfreich sein, um den eigenen Leitfaden besser einschätzen zu können. [8]

Die allgemeinen Hinweise in der Checkliste sehen z.B. Überlegungen zur Zahl der zu befragenden Personen, zur Auswahlstrategie und zur Zahl der Interviewer/innen vor und beschreiben das Vorgehen der Einbindung von Transkripten in MAXQDA. [9]

Hinsichtlich Transkriptionsregeln finden sich ein Literaturhinweis und die Beschreibung von Transkriptionsregeln im angewandten ersten Teil des Buches. Hier befähigt die Lektüre sicher dazu, gut vorbereitet in die Interviews zu gehen und diese zu transkribieren; eine Zeitübersicht gibt einen Anhalt für die nötige Zeitkalkulation. Eine Stunde Transkriptionszeit pro Interview ist allerdings sicher eher selten und war im Falle der vorgestellten Studie nur möglich, da die Interviews ca. 15 Minuten dauerten und auf die Darstellung von Betonungen usw. während der Transkription vollständig verzichtet wurde. [10]

Die sogenannte "Fallerkundung" besteht im Anfertigen von Memos beim Lesen der Transkripte, im Anlegen von Case Summaries und dem Belegen der Case Summaries mit einer Überschrift. Weiterhin wird dargelegt, dass hier schon mit einer Kontrastierung der Fälle und der Interpretation begonnen werden könne. [11]

Im allgemeinen Hinweisteil ist zu lesen, es solle mit fünf groben thematisch distinkten Auswertungskategorien begonnen und nach ein bis zwei Testinterviews das fertige Kategoriensystem in MAXQDA eingegeben werden. Sieht man sich die konkrete Umsetzung der Kategorienerstellung im praktischen ersten Teil des Buches an, so könnte man den Eindruck gewinnen, dass die thematischen Auswertungskategorien die Fragen des Interviewleitfadens genau wiedergeben und insgesamt sehr nah an den Fragen verblieben werden sollte. Damit besteht meines Erachtens allerdings die Gefahr, dass sich nur – vorher nicht explizierte – Hypothesen, die implizit mit den Fragen verknüpft sind, im Kategoriensystem wiederfinden. Außerdem könnte für Lesende der Eindruck entstehen, dass die qualitative Evaluation sehr nah an den Inhalten des quantitativen Vorgehens bleiben, d.h. nur die Themen der quantitativen Evaluation als Kategorien wieder aufgreifen solle. Gerade Letzteres kann dazu führen, dass evtl. sogar Dinge, die sich besser quantitativ erheben lassen, mittels einer qualitativen Evaluation abgebildet werden sollen. Eigene Erfahrungen mit der Supervision qualitativer Forschungsprojekte haben mir gezeigt, dass immer dann, wenn vermeintlich keine neuen Erkenntnisse mit dem qualitativen Material gewonnen werden können, die Gefahr besteht, dass implizit "gezählt" wird, als könnte so – ganz in der Logik der quantitativen Sozialforschung bleibend – das Gewicht einer Aussage gestützt werden. [12]

Hier werden die Hinweise gegeben, dass der Ergebnisbericht Kategorie für Kategorie aufgebaut und dabei auch Zitate einfügt werden sollten, da "Zitate meist unverzichtbarer Bestandteil der Ergebnisdarstellung eines qualitativen Projektes" (KUCKARTZ et al., S.44) seien. [13]

Wichtig ist sicher der Hinweis der Autoren, dass man "ein gutes Maß" finden müsse zwischen Beschreibung und Interpretation (S.114), wird hier doch die Interpretation als Mehrwert einer qualitativen Analyse explizit erwähnt. Hierzu findet sich auch eine Anleitung zum Visualisieren von Zusammenhängen zwischen Kategorien mithilfe einer Map in MAXQDA, sodass sich insgesamt festhalten lässt, dass hinsichtlich dieses Schrittes nötiges Handwerkszeug für die Berichtlegung vermittelt wird, wobei die Stellung von Zitaten noch deutlicher hätte Berücksichtigung finden können: Bei der Lektüre könnte man den Eindruck gewinnen, dass das Wiedergeben von Zitaten optional ist und keine besondere Bedeutung hat. [14]

Hier wird darauf hingewiesen, dass ein verdichtetes Fazit in einem Bericht nicht fehlen dürfe, und dass eine druckreife Version erstellt und die Daten archiviert werden müssen. Dem folgend finden sich im Buch die zusammengefassten Ergebnisse der von KUCKARTZ et al. durchgeführten Evaluation, gefolgt von einem Kapitel mit dem Titel: "Der Mehrwert der qualitativen Evaluation", das im Folgenden genauer beschrieben werden soll. [15]

Die Autoren führen in diesem Kapitel die Themen Fallorientierung, Ganzheitlichkeit und Komplexität, Kontextualisierung, Vermeiden von Fehlschlüssen, Prozessorientierung, Interaktion und Kommunikation, Authentizität und Vermeiden verborgener Normativität in jeweils wenigen Sätzen näher aus bzw. kontrastieren bezüglich dieser Themen die quantitative und qualitative Vorgehensweise. Gerade die Fallorientierung wird als Abgrenzungsmerkmal zwischen beiden Ansätzen genannt und es wird darauf hingewiesen, dass die qualitative Betrachtungsweise von Fällen mehr "Tiefe" gebe, da "Persönlichkeiten" deutlicher würden und so Verständnis und Mitgefühl für die untersuchten Personen möglich werden könne. Es wird darauf hingewiesen, dass die qualitativen Analysen für ein besseres Verständnis der (quantitativen) Antworten im jeweiligen Kontext sorgen könnten. [16]

Auch Grundhaltungen könnten exploriert und Kontexte von Handlungsweisen würden deutlich und könnten für die Interpretation genutzt werden. Es wird in diesem Zusammenhang aber auch darauf hingewiesen, dass ein freier Raum bei der Interpretation entstehe, der gerade bei fehlender Kontextinformation zu Missinterpretationen führen könne. Die Autoren kommen folgerichtig zu dem Schluss, dass gerade bei einem zeitlich und inhaltlich begrenzten Verfahren, wie es hier vorgeschlagen wird, regelmäßige Reflexionssitzungen zu methodischen und inhaltlichen Fragen notwendig würden. [17]

Hinsichtlich der potenziellen Anwendungsfelder werden u.a. Beispiele aus der Pädagogik, der Organisationspsychologie und der Evaluation von Interventionen genannt, und es wird deutlich gemacht, dass gerade einmalige und sich dynamisch verändernde Evaluationsgegenstände von einer zusätzlichen qualitativen Analyse profitieren können. [18]

Da ich vermute, dass die Lesenden neben den Schritten einer qualitativen Evaluation auch die methodische Einordnung dieses "Demonstrationsvorhabens" (S.11) interessiert, möchte ich versuchen, die wenigen Stellen im Buch wiederzugeben, die hierauf Rückschlüsse zulassen. Der vielleicht deutlichste Hinweis auf die methodische Einordnung findet sich gleich zu Beginn im Vorwort, dort aber in einer Fußnote: Hiernach bewegt sich das "Methodenverständnis ... nicht im Rahmen der objektiven Hermeneutik, sondern im Rahmen des theoretischen Codierens, wie man es etwa in der Grounded Theory oder auch in der qualitativen Inhaltsanalyse wiederfindet" (S.7). Weiter unten heißt es, man sei methodisch an "Techniken des theoretischen Codierens orientiert ... und weniger an textexegetischen oder sequenzanalytischen Verfahren" (S.14). [19]

An anderer Stelle im Buch stellen KUCKARTZ et al. selbst fest, dass sie als Autoren einer qualitativen Evaluation die Verpflichtung hätten, sich innerhalb des Methodenspektrums zu verorten und ihre Methodik näher zu beschreiben, doch schon im nächsten Satz bleibt diese Verortung sehr vage: Es ist zu lesen, man fühle sich einem pragmatischen Verständnis verpflichtet, das sich auch bei Mayring, Flick oder Kelle wiederfinde. Mit dieser methodischen Verortung, die mehr angibt, was sie nicht sein möchte ("nicht textexegetisch") und zum Teil weit auseinanderliegende Positionen genannter qualitativer Forscher nicht genauer benennt oder aufgreift, finden methodische Kernkriterien zu wenig Berücksichtigung. Gerade die Kenntnis von Gütekriterien qualitativer Forschung, wie sie z.B. von STEINKE (2000) oder von MEYER (2000) formuliert wurden oder auch ausführlich in der entsprechenden FQS-Debatte behandelt werden, stellen eine wichtige Voraussetzung für intersubjektive Nachvollziehbarkeit und reflektierte Subjektivität dar, worauf aber in dem hier besprochenen Buch aus meiner Sicht nicht genügend hingewiesen wird. [20]

Der hier beschriebene Mehrwert, d.h. ein besseres Verständnis für die (quantitativen) Antworten im jeweiligen Kontext, funktioniert vermutlich besonders gut in diesem Mixed-Methods-Ansatz, wobei die Verzahnung von quantitativen und qualitativen Methoden von den Autoren nicht als conditio sine qua non beschrieben wird. [21]

Prinzipiell halte ich dieses Buch für jede und jeden geeignet, die/der eine qualitative Evaluation machen und dabei umgrenzte Einsichten in ein Thema gewinnen möchte, das er oder sie bereits gut exploriert hat oder mit quantitativen Methoden gleichzeitig untersucht. Weiterhin werde ich dieses Buch tatsächlich an "Neulinge" im Feld der qualitativen Methodik weitergeben, denn hier lässt sich sehr anwendungsorientiert und mit geringem Aufwand ein erster Einblick in die konkrete Ausgestaltung eines qualitativen Projektes gewinnen. Dennoch glaube ich, dass Noviz/innen nach der Lektüre mit der Erstellung des Leitfadens und mit der Interpretation überfordert sein werden, falls sie sich nur mit diesem Buch beschäftigen oder nicht im Team mit erfahrenen qualitativen Forschenden arbeiten. So werden u.a. die Gestaltung des Interviewleitfadens auch für erzählgenerierende Fragen oder die Basierung im Text selbst und damit die Wichtigkeit von Zitaten nicht ausreichend behandelt, um als einzige Quelle für qualitative Forschung vorzubereiten. So ist meines Erachtens eine qualitative Evaluation, wie sie hier vorgeschlagen wird, nur dann produktiv, wenn im Team bereits gewisse Vorerfahrungen mit anderen qualitativen Methoden vorliegen und so die Tiefe und Kontextualisierung von Interpretationen nicht völlig dem Gusto der Evaluierenden überlassen sind. [22]

Möglicherweise führte gerade die große praktische Erfahrung der Autoren mit qualitativer Forschung, die sich in allen Teilen des Buches widerspiegelt, bei der gleichzeitigen Beschränkung auf einen gut lesbaren Praxisleitfaden zu einer Unterschätzung der Bedeutung von Einführung in die qualitative Methodik, die jedoch für unerfahrene qualitative Forscher/innen aus meiner Sicht von großer Bedeutung ist. Insgesamt möchte ich Neulingen auf jeden Fall zum Lesen dieses Buches raten, vorausgesetzt, es bleibt nicht die einzige einführende Lektüre [23]

Steinke, Ines (2000). Gütekriterien qualitativer Forschung. In Uwe Flick, Ernst von Kardorff & Ines Steinke (Hrsg.), Qualitative Forschung. Ein Handbuch (S.319-331). Reinbek: Rowohlt.

Meyer, Thorsten (2000). Kritische Bewertung von qualitativen Studien. In Regina Kunz, Günter Ollenschläger, Hans-Heinrich Raspe, Günther Jonitz & Norbert Donner-Banzhoff (Hrsg), Lehrbuch Evidenz-basierte Medizin in Klinik und Praxis (S.159-176). Köln: Deutscher Ärzteverlag.

Dr. Corina GÜTHLIN ist Psychologin und Leiterin des Arbeitsbereiches Forschungsmethodik im Institut für Allgemeinmedizin der Universität Frankfurt/Main. Als solche ist sie mit der Supervision quantitativer und qualitativer Projekte betraut und führt entsprechende Schulungen von Mitarbeiter/innen und Doktorand/innen durch.

Institut für Allgemeinmedizin
Goethe-Universität Frankfurt/Main
Theodor-Stern-Kai 7
D- 60590 Frankfurt/M.

Güthlin, Corina (2010). Rezension: Udo Kuckartz, Thorsten Dresing, Stefan Rädiker & Claus Stefer (2008). Qualitative Evaluation. Der Einstieg in die Praxis [23 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 12(1), Art. 14, http://nbn-resolving.de/urn:nbn:de:0114-fqs1101149.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Creative Commons Attribution 4.0 International License