Validität in multi-methodischen Forschungsdesigns: Reflexion von Herausforderungen in der Erforschung komplexer Fragestellungen

Zusammenfassung: Bildungsprozesse in der Jugendarbeit können aufgrund ihrer Vielschichtigkeit und Dynamik als komplexe Phänomene bezeichnet werden, deren empirische Erforschung den Blick auf ein Geflecht von Beziehungen und Strukturen erfordert. Um der Komplexität dieses Forschungsgegenstandes angemessen zu begegnen, haben BIEWERS GRIMM, LATZ, WEIS und SAMUEL (2022) in einer Studie am Zentrum für Kindheits- und Jugendforschung der Universität Luxemburg verschiedene qualitative und quantitative Verfahren in einem Mixed-Methods-Design kombiniert. Dieses Vorgehen bei der Datenerhebung und -auswertung ermöglichte es, die Bedingungen und Erfahrungen sowie die expliziten und impliziten Aspekte von Bildung im Alltag der offenen Jugendarbeit aus unterschiedlichen Perspektiven zu beleuchten. In der methodischen Reflexion der Studie zeigte sich, dass diese Ergebnisse aber nicht für eine gegenseitige Validierung genutzt werden konnten, da sie nicht konvergent zueinander waren. Die Qualität der Forschung stellte dies jedoch nicht infrage, denn auch die Komplementarität der Ergebnisse kann dazu beitragen, komplexe Forschungsgegenstände differenziert zu analysieren und tiefere, ganzheitlichere Einsichten zu generieren.

2.2 Erfassung komplexer Forschungsgegenstände durch die Kombination mehrerer Methoden

3.3 Validität des Forschungsdesigns als Indikator für Validität der Ergebnisse

Die Erforschung von Bildungserfahrungen in non-formalen Settings stellt eine besonders anspruchsvolle Aufgabe dar. Bildungsprozesse unterliegen generell einer Vielzahl von Faktoren, die das Lernen und die Entwicklung junger Menschen beeinflussen. Die non-formale und informelle Bildung etwa in den Angeboten der offenen Jugendarbeit ist darüber hinaus durch eine hohe Diversität der Lernumgebungen, eine große Heterogenität der Teilnehmenden sowie die Offenheit und Unverbindlichkeit der pädagogischen Angebote gekennzeichnet. Diese Rahmenbedingungen erfordern eine differenzierte Herangehensweise in der Datenerhebung und -analyse, wobei immer auch Fragen der Validität, der Repräsentativität und der Generalisierbarkeit der Ergebnisse zu berücksichtigen sind. [1]

Im Rahmen einer empirischen Jugendstudie am Zentrum für Kindheits- und Jugendforschung der Universität Luxemburg haben BIEWERS GRIMM et al. (2022) die Bildungserfahrungen Jugendlicher in der offenen Jugendarbeit untersucht. Dabei wurden verschiedene qualitative und quantitative Verfahren der Datenerhebung und -auswertung miteinander kombiniert, um so ein möglichst umfassendes Bild des komplexen Untersuchungsgegenstandes "Bildungserfahrungen" zeichnen zu können. Es wurde erwartet, dass ein kombiniertes methodisches Vorgehen den Ergebnissen mehr Tiefe und Breite verleihen, eine ganzheitlichere Betrachtung unterschiedlicher Aspekte von Bildung (Kontextbedingungen, subjektive Deutungen und Erfahrungen, Entwicklungen und Trends) ermöglichen (FLICK 2011; KELLE 2008) und gleichzeitig zur wechselseitigen Validierung und Absicherung der Befunde beitragen würde (WRONA & FANDEL 2010). [2]

Im vorliegenden Artikel nehmen wir eine Methodenreflexion vor, bei der wir uns mit dem zuvor skizzierten Vorgehen auseinandersetzen. Dazu wird zunächst grundsätzlich auf die Wahl eines multimethodischen Designs zur Untersuchung komplexer Forschungsgegenstände eingegangen (Abschnitt 2). Im Anschluss werden der forschungspraktische Umgang mit einzelnen im Rahmen der Methodenkombination auftretenden Herausforderungen beschrieben und die Vorteile und Grenzen des Vorgehens reflektiert (Abschnitt 3). In der abschließenden Diskussion werden die Erfahrungen zusammengefasst und eingeordnet (Abschnitt 4). [3]

Die Sozialwissenschaften verfügen über eine Vielzahl methodischer Zugänge, die in der Forschungspraxis zum Einsatz kommen können. Die Auswahl der adäquaten Methoden sowie das forschungspraktische Vorgehen müssen sich dabei in erster Linie nach der Art der Fragestellung und dem zu untersuchenden Gegenstand richten. [4]

Der Untersuchungsgegenstand unserer Studie – die Bildungserfahrungen, die junge Menschen in der offenen Jugendarbeit generieren – erwies sich nicht als unmittelbar zugänglich, sondern bedurfte zunächst einer theoretischen Klärung. In der Jugendarbeitsforschung werden diverse bildungstheoretische Grundbestimmungen von Jugendarbeit diskutiert, auf die im Rahmen der Studie rekurriert wurde, um erstens die inhaltlichen und strukturellen Merkmale von Bildungsgelegenheiten in diesem sozialpädagogischen Handlungsfeld besser zu verstehen. In diesem Zusammenhang wurde unter anderem die Relevanz von Subjektivität (SCHERR 2003), Sozialität und sozialer Anerkennung (STOJANOV 2006), Befähigung (KRAFELD 2010), Aneignung (DEINET & REUTLINGER 2014) und Lebensbewältigung (BÖHNISCH 2021) als rahmenden Theoriekonzepten für die empirische Darstellung von Bildungserfahrungen geprüft. Zweitens wurde an den umfassenden Kompetenzbegriff (WEINERT 2001) angeknüpft, der auch dem "Definition and Selection of Competencies" [DeSeCo]-Konzept der Organisation for Economic Co-operation and Development [OECD] (2005) zugrunde liegt. WEINERT (2001) verstand unter Kompetenzen

"die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können" (S.27f.). [5]

Nach GRUNERT (2012) liegt der zentrale forschungspraktische Nutzen dieses Kompetenzbegriffs darin, dass er es erlaubt, den komplexen Bildungsbegriff auch empirisch mit Blick auf seine Auswirkungen einzugrenzen und greifbarer zu machen. Im Rahmen unserer Untersuchung half der Kompetenzbegriff, die empirisch zu ermittelnden Bildungserfahrungen junger Menschen in der Jugendarbeit in ihrer Komplexität zu reduzieren und gleichzeitig deren wahrgenommene Auswirkungen zu beschreiben. [6]

Drittens wurde den Prämissen der transformatorischen Bildungstheorie im Anschluss an KOLLER (2018) gefolgt, um das Prozesshafte im Bildungsgeschehen empirisch erfassen zu können. KOLLER verstand Bildungserfahrungen als "Veränderung der grundlegenden Figuren des Welt- und Selbstverhältnisses von Menschen, die sich potenziell immer dann vollziehen, wenn Menschen mit neuen Problemlagen konfrontiert werden, für deren Bewältigung die Figuren ihres bisherigen Welt- und Selbstverhältnisses nicht mehr ausreichen" (S.15). Neben den Kompetenzgewinnen sollten in der Analyse also auch Veränderungen in den Denk- und Handlungsweisen der Jugendlichen empirisch nachgezeichnet werden, die diese im Rahmen der Jugendarbeit generieren. Dabei sollte konkret erforscht werden, durch welche Gegenstände und Themen (was) sich die Bildungserfahrungen junger Menschen in der Jugendarbeit kennzeichnen, welche Anlässe (weshalb) empirisch dazu führen, dass sie sich in diesem institutionellen Kontext neu und anders mit sich selbst und den sie betreffenden Themen auseinandersetzen, und wie solche Prozesse empirisch verlaufen, d.h. über welche internalen und externalen Bedingungen und Wege sie sich ereignen. Nicht immer sind solche Bildungs- und Veränderungsprozesse jedoch im diskursiven Bewusstsein der jungen Menschen präsent und können unmittelbar abgerufen werden. Häufig erschließen sie sich erst nach und nach und werden erst in der retrospektiven Betrachtung bewusst. Auch dies bedingt die Komplexität des Forschungsgegenstandes. [7]

Die Analyse von Selbst- und Weltveränderungen sowie Kompetenzgewinnen, die sich durch explizite und begründbare Aussagen belegen lassen, stellte daher zwar eine notwendige, jedoch nicht hinreichende Bedingung für die adäquate Erfassung des komplexen Forschungsgegenstands dar. Um ihn in seiner Gesamtheit zu erfassen, war auch die Analyse von Hinweisen auf Bildungserfahrungen erforderlich, die sich nicht unmittelbar aus den konkreten Aussagen der Jugendlichen ableiten ließen. Methodisch erschienen hierzu Ansätze aus der rekonstruktiven, interpretativen Forschung geeignet und notwendig, um beispielsweise Hinweise aus der Beobachtung sozialer Praktiken und Interaktionen oder aus der Kommunikation im Jugendhausalltag zu beziehen. Aus diesen Vorüberlegungen wurde das im Folgenden beschriebene methodische und forschungspraktische Vorgehen für die Studie abgeleitet. [8]

2.2 Erfassung komplexer Forschungsgegenstände durch die Kombination mehrerer Methoden

Das methodische Design der Studie wurde demnach unter Berücksichtigung der Tatsache konzipiert, dass Bildungserfahrungen in der Jugendarbeit komplexe Phänomene darstellen. Die gewählten Erhebungs- und Auswertungsmethoden sollten in diesem Sinne dazu geeignet sein, die Komplexität des Untersuchungsgegenstandes ein Stück weit zu reduzieren (TREUMANN et al. 2007). Dies bedeutete, dass der Untersuchungsgegenstand aus unterschiedlichen Perspektiven erfasst und in seiner Differenziertheit beleuchtet werden sollte. Das methodische Vorgehen zielte zudem darauf ab, die wechselseitige Validierung der Befunde der unterschiedlichen Erkenntnisstrategien zu gewährleisten, um die Validität der Befunde insgesamt zu erhöhen (WRONA & FANDEL 2010). [9]

Die Wahl der Erhebungsmethoden ist u.a. vor dem Hintergrund zu betrachten, dass qualitative und quantitative Verfahren zunehmend als komplementär betrachtet werden, da mit ihnen verschiedene Aspekte eines Forschungsgegenstands beleuchtet werden können (FLICK 2011; JICK 1983). So stellten CRESWELL und PLANO CLARK (2017) heraus, dass qualitative Methoden u.a. dazu dienen können, tiefe Einblicke in komplexe soziale Phänomene zu gewinnen, während quantitative Methoden die Möglichkeit bieten, Muster und Zusammenhänge auf einer breiteren Basis zu identifizieren. Die Kombination bzw. Integration qualitativer und quantitativer Ansätze dient zusammengefasst der Erreichung der folgenden Ziele (BERGMAN 2008; CARUTH 2013; GREENE 2007; TEDDLIE & TASHAKKORI 2009):

In diesem Sinne zielt die Integration verschiedener methodischer Ansätze insbesondere darauf ab, ein komplexes Forschungsproblem multiperspektivisch zu erfassen, was mit einer einzelnen Methode nicht möglich wäre. Die unterschiedlichen Zielsetzungen und Betrachtungsebenen können dabei in einem integrierten Ansatz zusammengeführt werden, wodurch die jeweiligen Grenzen überwunden werden können (s. z.B. FLICK 2011; GLÄSER-ZIKUDA, SEIDEL, ROHLFS, GRÖSCHNER & ZIEGELBAUER 2012; KELLE 2008). In der sozialwissenschaftlichen Forschung werden hierzu unterschiedliche Konzepte der Datenkombination diskutiert, wobei DENZINs (1978) Begriff der "Triangulation" wohl am häufigsten in diesem Zusammenhang verwendet wird. DENZIN unterschied vier Arten von Triangulation:

Anknüpfend an diese Überlegungen haben wir in unserer Studie zu den Bildungserfahrungen Jugendlicher in der Jugendarbeit mehrere Triangulationen umgesetzt: die Kombination unterschiedlicher sozialwissenschaftlicher Forschungsmethoden, die Integration mehrerer bildungstheoretischer Konzepte sowie die Verknüpfung von Forscher:innen- und Teilnehmer:innenperspektiven (s. z.B. FLICK 2011; GLÄSER-ZIKUDA et al. 2012; KELLE 2008). Der Fokus des vorliegenden Beitrags liegt zunächst auf der Methodentriangulation, wobei theoretische und forschungsperspektivische Fragen stets mit einbezogen sind. [13]

Im Folgenden wird das methodische Vorgehen in den einzelnen Teilschritten näher beschrieben und mit Blick auf das Ziel der Studie und unser Erkenntnisinteresse begründet. [14]

In einem ersten Schritt wurden teilnehmende Beobachtungen in sieben exemplarisch ausgewählten Jugendhäusern durchgeführt (HIRSCHAUER & AMANN 1997; KERGEL 2018). Mit der Wahl dieser Methode sollte dem Umstand Rechnung getragen werden, dass Bildungsprozesse in der Jugendarbeit mehr noch als in vielen anderen pädagogischen Settings eine soziale und performative Dimension besitzen, die kaum über Interviews oder Befragungen erfassbar sind. Vielmehr wurde davon ausgegangen, dass die Alltagsnähe, d.h. die Beobachtung von sozialen und kulturellen Praktiken, Alltagssituationen und -routinen, Interaktionen, des Umgangs mit Materialien sowie sportlicher, kreativer oder kultureller Aktivitäten im Jugendhaus Aufschluss über die interaktive Rahmung und die Anlässe von Bildungsprozessen geben könnten (RECKWITZ 2000). Die ausgewählten Jugendhäuser unterschieden sich hinsichtlich der räumlichen Lage, der Struktur der Besucher:innen (Alter, Geschlecht, Migrationsanteil) und ihrer Größe. Die Beobachtungen wurden jeweils von zwei Personen und in Anlehnung an KERGELs (2018) Vorgehensvorschlag zu ethnografischer Forschung in zwei Schritten durchgeführt: 1. Vermessung des Feldes und 2. Fokussierung und Protokollierung. Es ergaben sich insgesamt 60 DinA4-Seiten Protokolle und Notizen, in denen die Interaktionen von rund 70 Jugendlichen und 17 Pädagog:innen verschriftlicht wurden. [15]

Im Anschluss an die Beobachtungen wurden in den sieben ausgewählten Jugendhäusern Gruppendiskussionen (PRZYBORSKI & RIEGLER 2020) mit Jugendlichen durchgeführt. Ziel war es, die durch die Interpretation der Beobachtungsdaten gewonnenen Forscher:innenperspektiven durch die Nutzer:innenperspektive zu ergänzen, indem Erfahrungen und Deutungen der Jugendlichen selbst erhoben wurden. Gruppendiskussionen wurden gewählt, um einen möglichst dynamischen Austausch der Jugendlichen über ihre Erfahrungen zu initiieren. Neben der Reflexion diskursiv zugänglicher Veränderungserfahrungen sollte es möglich sein, aus den narrativen Erzählungen, retrospektiven Betrachtungen und Erinnerungen an vergangene Erfahrungen Momente der persönlichen und sozialen Entwicklung zu erschließen, die sich als eher implizit erwiesen und erst durch die Artikulation stärker ins Bewusstsein traten. Darüber hinaus sollte erforscht werden, worin die Jugendlichen selbst Auslöser und Anlässe (im Rahmen der Jugendarbeit) für ihre eigenen Entwicklungen sahen, welche Faktoren sie dabei als hilfreich bewerteten und inwiefern sie von diesen Veränderungen auch nachhaltig profitieren konnten. [16]

Um der Tatsache gerecht zu werden, dass Bildungserfahrungen und -prozesse häufig implizit verlaufen und erst retrospektiv im Laufe der biografischen Entwicklung zugänglich werden (KOLLER 2018; MAROTZKI 2006), wurde auch eine Gruppendiskussion mit ehemaligen Besucher:innen eines Jugendhauses durchgeführt. Auch diese Befragung zielte darauf ab, bereits länger zurückliegende Bildungserfahrungen retrospektiv nachzuzeichnen und dabei den Wert und die Wirkung dieser Erfahrungen für die heute erwachsenen Jugendlichen zu eruieren. [17]

Die Strukturierung der Gruppendiskussionen erfolgte anhand eines halbstandardisierten Interviewleitfadens, der Raum für eigene Themen und Erzählpassagen ließ (WITZEL 2000). Die Diskussionsrunden hatten eine unterschiedliche Gruppengröße und Dauer, sie variierten zwischen vier und zwölf Teilnehmer:innen und dauerten ein bis zwei Stunden. Sie wurden mit Tonbandgeräten aufgezeichnet und anschließend transkribiert. Zusätzlich wurden demografische Daten über einen Kurzfragebogen (Paper-Pencil) erhoben und ein Postskriptum erstellt (a.a.O.). Insgesamt nahmen 33 Jugendliche (54% männlich und 46% weiblich) im Alter von 11 bis 25 Jahren an den Gruppendiskussionen teil. [18]

Die Auswertung der Daten aus den Beobachtungen (Protokolle) und Gruppendiskussionen (Transkripte) erfolgte in Anlehnung an die qualitative Inhaltsanalyse nach MAYRING (2010). Das Datenmaterial wurde mithilfe des Analyseprogramms ATLAS.ti ausgewertet, wobei der Kodiervorgang jedoch mit Blick auf den komplexen Forschungsgegenstand für eine deduktive und induktive Kategorienbildung geöffnet und der Kodierleitfaden in einem zirkulären Prozess entsprechend angepasst wurde. Die Verwendung von theoriegeleiten und offenen Kodes ermöglichte es, sowohl unsere theoretische Rahmung als auch neue Aspekte zur Beantwortung der Forschungsfragen heranzuziehen. [19]

Mit der Online-Befragung, bei der wir uns an alle 60 luxemburgischen Jugendhäuser mit ihren potenziell 6.000 jugendlichen Besucher:innen richteten, verfolgten wir das Ziel, die in den qualitativen Teilstudien gewonnenen Erkenntnisse an einer größeren Stichprobe zu spiegeln. Im Gegensatz zu den qualitativen Erhebungen, die vertiefende Einblicke in die subjektiven Erfahrungen und Deutungsmuster einzelner Jugendlicher sowie in die sozialen Interaktionen und Rahmung von Bildungserfahrungen im Jugendhaus ermöglichten, ging es bei der Online-Befragung also darum zu überprüfen, ob sich die durch die Auswertung der Daten aus den Beobachtungen und Gruppendiskussionen herausgearbeiteten Aspekte auch in einer größeren Stichprobe wiederfinden ließen. Darüber hinaus wurde der Frage nachgegangen, ob weitere und ggf. neue Aspekte (Bildungsanlässe, Bildungsthemen, Erfahrungsaussagen etc.) würden erschlossen werden können. [20]

Der Zugang zur Online-Befragungsplattform "Qualtrics"¹⁾ wurde über einen QR-Code ermöglicht, mit dem alle per Post und E-Mail versandten Informationsmaterialien versehen waren. Um den Jugendlichen die Teilnahme zu erleichtern, konnte der Fragebogen in fünf Sprachen (luxemburgisch, französisch, englisch, portugiesisch, deutsch) ausgefüllt werden. Er bestand überwiegend aus geschlossenen Fragen mit abgestuften Bewertungsskalen (von "trifft überhaupt nicht zu" bis "trifft voll und ganz zu"). Die Items wurden zum einen aus den qualitativen Daten und den dort identifizierten Kategorien abgeleitet, zum anderen aus etablierten Fragebögen anderer empirischer Arbeiten übernommen bzw. angepasst²⁾. Ergänzt wurden sie durch offene Fragen zu subjektiven Erfahrungen, veränderten Denk- und Handlungsweisen sowie möglichen Kompetenzgewinnen der Jugendlichen. Zusätzlich wurden am Ende des Fragebogens demografische Daten erhoben, die dem Kurzfragebogen der Gruppendiskussionen entsprachen (s.o.). Die Fragebogenkonstruktion wurde mehrfach im Team sowie durch externe Expert:innen überprüft und von einigen Jugendlichen auf Verständlichkeit und Anwendbarkeit getestet. [21]

Die Datenauswertung der Online-Befragung erfolgte mit dem Statistik- und Analyseprogramm SPSS. Bei den offenen Fragen wurden zunächst Themenschwerpunkte herausgefiltert und anschließend summiert. Nach der Datenbereinigung wurde eine deskriptive Datenanalyse durchgeführt. Aufgrund der geringen Rücklaufquote von N=160 und der hohen Abbrecher:innenquote (nur N=58 Jugendliche beantworteten den Fragebogen bis zum Ende), konnten die ursprünglich geplanten Korrelationen bezüglich eventuell bestehender Gruppenunterschiede anhand der demografischen Daten nicht berechnet werden. Die folgende Abbildung 1 verdeutlicht das methodische Vorgehen und zeigt, wie die einzelnen Teilerhebungen aufeinander aufbauten.

Das beschriebene methodische Vorgehen war, wie bei der Anwendung qualitativer Verfahren üblich, durch einen nicht-linearen hermeneutischen Prozess gekennzeichnet (SOEFFNER 2011). Dies bedeutet, dass sich die eingesetzten Methoden nicht nur ergänzten, sondern im Forschungsverlauf zum Teil iterativ aufeinander aufbauten und miteinander verbunden waren. [23]

Im Rahmen der Studie kam es in diesem Sinne während der teilnehmenden Beobachtungen und insbesondere in Phasen des Rückzugs und der Reflexion zu mehreren Anpassungen und Weiterentwicklungen des Beobachtungsinstrumentariums (CLOOS, KÖNGETER, MÜLLER & THOLE 2009; HIRSCHAUER & AMANN 1997). Die Ergebnisse dieser Reflexionen hatten z.B. Einfluss auf die Fragestellungen und den gewählten Fokus der späteren Beobachtungsphasen. So flossen die Reflexionsergebnisse und Anpassungen auch in die Weiterentwicklung des Interviewleitfadens für die Gruppendiskussionen ein. Im Online-Fragebogen schließlich wurden insbesondere solche Themen abgefragt, die in den qualitativen Teilstudien besonders relevant waren. Die Fragebogenerstellung basierte somit auf der Auswertung der qualitativen Befunde. [24]

Das iterative Vorgehen ermöglichte auch in der Datenauswertung die Anwendung eines zirkulären Prozesses im Sinne einer induktiv-deduktiven Kategorienbildung (MAYRING 2010). Die Kombination aus theoriebasierter Kodierung einerseits und der Aufnahme immer neuer Kodes aus dem Material heraus ermöglichte die Zusammenführung vieler unterschiedlicher, auch neuer Dimensionen des Bildungsprozesses, seiner Anlässe und Themen. Dies führte insgesamt zu einem umfassenderen Verständnis dieses komplexen Forschungsgegenstandes. [25]

Ein Anliegen qualitativer Inhaltsanalyse ist nach MAYRING (2007) die Verallgemeinerung, Übertragung und Interpretation von Forschungsergebnissen, um daraus weitergehende Schlussfolgerungen ziehen zu können. Dabei ist nicht der einzelne Fall an sich von Interesse, sondern die Folgerungen und Transfers, die aus dem Material gezogen werden können. Die Befunde der vorliegenden Studie zu den Bildungserfahrungen junger Menschen in den Einrichtungen der offenen Jugendarbeit sollten demnach Rückschlüsse auf das Bildungspotenzial dieses sozialpädagogischen Handlungsfeldes im Allgemeinen ermöglichen. Um solche Schlussfolgerungen aus den empirischen Befunden ziehen zu können, war es uns wichtig, dass diese Befunde valide, d.h. gültig und genau waren und sich auf die tatsächlichen empirischen Daten bezogen, aus denen sie abgeleitet wurden (ROSSI, LIPSEY & FREEMAN 2004). [26]

Wie bereits dargelegt, war das Ziel des im Rahmen der Jugendstudie gewählten triangulativen Vorgehens in diesem Sinne die wechselseitige Validierung der Befunde (WRONA & FANDEL 2010). Dadurch sollte die "Gültigkeit von Ergebnissen einer Studie durch die Kombination unterschiedlicher Erkenntnisstrategien – insbesondere qualitativer und quantitativer Methoden – verbessert werden” (TREUMANN et al. 2007, S.42). Dieser Prozess erwies sich allerdings in der Forschungspraxis als voraussetzungsvoll. [27]

Nach KLUGE und KELLE (2001) kann eine Triangulation bzw. Integration von Forschungsergebnissen folgendermaßen zu einem Erkenntnisgewinn beitragen: Wenn die Ergebnisse der verschiedenen Teilstudien übereinstimmen, führt dies zur gegenseitigen Validierung der Befunde. Ergänzen sich die Ergebnisse, trägt dies zur Vervollständigung des Gesamtbildes bei. Und sich widersprechende Ergebnisse lassen sich als Anregung für weitere Forschungen interpretieren. KELLE und ERZBERGER (2004) sprachen in diesem Zusammenhang von Konvergenz bzw. Kongruenz in den erhobenen Daten bei übereinstimmenden, Divergenz bei sich widersprechenden und Komplementarität bei sich ergänzenden Ergebnissen. [28]

Im Rahmen der Methodenreflexion zur Jugendstudie stellte sich zunächst die Frage, was es für die Validität bedeutet, wenn sich die Befunde der einzelnen Teilstudien nicht ergänzten und bestätigten, sondern (in Teilen) widersprachen, und wie unterschiedliche Ergebnisse gegebenenfalls interpretiert und erklärt werden könnten. Das Problem divergenter Ergebnisse zeigte sich im Rahmen der Auswertung jedoch nicht, sondern die durch die drei Teilstudien gewonnenen Erkenntnisse wiesen durchweg in die gleiche Richtung bzw. es ließen sich zahlreiche Übereinstimmungen und Anschlussstellen feststellen. So konnte auf der Grundlage aller Befunde konstatiert werden, dass Jugendhäuser für Jugendliche ein Bildungs- und Lernort sind, an dem sie sich, ihre Persönlichkeit und ihre Kompetenzen weiterentwickeln. [29]

Im Laufe des Reflexionsprozesses wurde außerdem die Frage aufgeworfen, ob die unterschiedlichen Erkenntnisstrategien und Methoden tatsächlich verschiedene Teilaspekte desselben Phänomens erfassten. Für eine Triangulation mit dem Ziel einer Validitätsprüfung der Ergebnisse wäre genau dies die Voraussetzung (a.a.O.). Zwar ging es in den Beobachtungen, Gruppendiskussionen und bei der Online-Befragung um die Bildungserfahrungen Jugendlicher im Jugendhaus. Es zeigte sich aber, dass Forschende und Jugendliche aus unterschiedlichen Blickwinkeln und mit je anderem (theoretischen) Vorwissen bzw. Begriffsverständnis auf diesen Gegenstand blickten. Auch die bildungstheoretischen Perspektiven, die bei der Erstellung der Leitfäden für die Beobachtungen und Gruppendiskussionen und bei der Konstruktion des Fragebogens die Hintergrundfolie bildeten, entsprachen nicht unbedingt dem, was die Jugendlichen aus ihren Erfahrungen berichteten. [30]

Die Datenanalyse ergab, dass die vonseiten der Forschenden identifizierten Bildungsthemen und -anlässe von den Jugendlichen häufig nicht als solche wahrgenommen wurden. Situationen oder Aktivitäten, die von den Jugendlichen als wenig bildungsrelevant und eher als banale Alltagspraktiken bewertet wurden – exemplarisch seien hier etwa gemeinsames Spielen, Kochen oder Diskutieren genannt –, wurden vom Forschungsteam durch die bildungstheoretische Einordnung als bildungsrelevant und, dem transformatorischen Bildungsverständnis (KOLLER 2018) entsprechend, als Auslöser für Veränderungsprozesse interpretiert. Des Weiteren wurde in den Beobachtungen seitens der Forschenden sowohl auf offen sichtbare als auch auf implizite Bildungsaspekte geachtet. Die Jugendlichen hingegen thematisierten aktuelle und retrospektiv zugängliche Bildungsthemen wie etwa die Entwicklung von Offenheit, auf andere zuzugehen sowie erstmalige und neue Erlebnisse, die nachhaltig im Gedächtnis verblieben und zu neuen Haltungen und Einstellungen geführt hätten. [31]

Die Beobachtungsdaten repräsentierten zudem die Interpretationen der Forscher:innen auf das Gesehene, so z.B. die Deutung, dass sich durch eine spezifische Handlung im Gruppenkontext, etwa das Halten eine Rede vor anderen Jugendlichen, der Selbstwert der betreffenden Person erhöht habe bzw. in der Zukunft erhöhen könnte. Die Jugendlichen berichteten jedoch im Rückblick ganz konkrete Auswirkungen ihrer Erfahrungen. Beispielsweise gaben sie an, selbstsicherer geworden zu sein. [32]

Im Rahmen der Methodenreflexion im Team wurde daher ersichtlich, dass die verschiedenen Befunde eher als komplementär denn als kongruent zu betrachten waren (FLICK 2011; KELLE & ERZBERGER 2004): In den Studien wurden unterschiedliche Teilaspekte eines übergeordneten Themas – der Bildungserfahrungen Jugendlicher in der offenen Jugendarbeit – aus verschiedenen Perspektiven beleuchtet, die jedoch zu einem Gesamtbild integriert werden konnten. In Abbildung 2 ist dieses "Puzzle" dargestellt.

Abbildung 2: fokussierte Bildungsaspekte und Perspektiven in den einzelnen Teilstudien [33]

Das gewählte Mixed-Methods-Design diente also nicht der kumulativen Validierung von Forschungsergebnissen, sondern der Ergänzung von Perspektiven, die eine umfassendere Beschreibung und Erklärung und somit eine ganzheitliche Betrachtung des Untersuchungsgegenstands ermöglichte. Hierzu wurden die Befunde aus verschiedenen Datenquellen miteinander in Beziehung gesetzt und inhaltliche Themen zunächst auf Basis aller vorliegenden Erhebungen beleuchtet. Aufgrund der Erkenntnis aus der Methodenreflexion, dass die Befunde eher als komplementär zu betrachten sind und nicht unmittelbar nebeneinanderstehen können, wurde die Ergebnisdarstellung angepasst: [34]

Ein Thema, die identifizierten Bildungsthemen und -anlässe, wurde lediglich auf Grundlage der Beobachtungsdaten, also aus Forscher:innenperspektive beschrieben; hier erfolgte keine Integration der Befunde. Die Bildungs- und Veränderungsprozesse aufseiten der Jugendlichen sowie die Auswirkungen der Bildungserfahrungen wurden hingegen ausschließlich aus deren Perspektive dargestellt, wobei die Ergebnisse aus den Gruppendiskussionen mit jenen aus der Online-Befragung ergänzt wurden. Dadurch wurden Interpretationen (aus den Beobachtungen) und konkrete Aussagen (aus den Gruppendiskussionen und der Online-Befragung) voneinander getrennt und bei letzteren die Perspektive der Jugendlichen ins Zentrum gerückt. Es wurden also Befunde aus den qualitativen Erhebungen und der quantitativen Teilstudie trianguliert. Erst bei der Darstellung der förderlichen Faktoren für Bildungserfahrungen in der Jugendarbeit wurden schließlich alle Datenquellen und somit die Perspektive von Forschenden und Beforschten gemeinsam herangezogen und trianguliert. Die folgende Abbildung 3 illustriert das unterschiedliche Vorgehen je nach Thema.

Abbildung 3: herangezogene Daten und Perspektiven je nach Thema. Bitte klicken Sie hier oder auf die Abbildung für eine Vergrößerung. [35]

3.3 Validität des Forschungsdesigns als Indikator für Validität der Ergebnisse

Ein wesentlicher Indikator für die Generalisierbarkeit von Studienergebnissen und Schlussfolgerungen ist die Validität des Mixed-Methods-Forschungsdesigns. PONCE und PAGÁN-MALDONADO (2015) haben daher vier Aspekte herausgearbeitet, die zur Überprüfung der Validität hilfreich erscheinen:

Neben der beschriebenen Konsistenz der Ergebnisse zwischen den verschiedenen Methoden geht es hier also auch um die Güte des Designs im Allgemeinen und dessen Tauglichkeit, die Komplexität des Gegenstandes angemessen abzubilden. In diesem Sinne stellt die Validität ein grundlegendes Gütekriterium für mehrmethodische Forschungsdesigns dar (ROSSI et al. 2004). [37]

In unserer Studie konnten die genannten Kriterien erfüllt werden, sodass die Forschung als valide bezeichnet werden kann: Die Kombination von qualitativen und quantitativen Ansätzen trug dazu bei, den Gegenstand und seine Komplexität besser zu erfassen, und ermöglichte somit die Ableitung entsprechender Schlussfolgerungen. Im englischsprachigen Kontext wird dies treffend als "inference validity" bezeichnet (PONCE & PAGÁN-MALDONADO 2015, S.127), ein Begriff, der mit Inferenzvalidität oder Schlussfolgerungsvalidität übersetzt werden könnte, im deutschen Sprachgebrauch jedoch kaum Verwendung findet. Das gewählte Forschungsdesign sowie das systematische und regelgeleitete Vorgehen haben auch dazu beigetragen, die Generalisierbarkeit der Ergebnisse zu verbessern und diesen gleichzeitig mehr Tiefe und Breite zu verleihen, als es mit einzelnen Methoden möglich gewesen wäre. [38]

Nicht zuletzt ist die Studie anschlussfähig an die bestehende Forschung und ergänzt diese, indem ein bisher wenig erforschtes Feld untersucht wurde. Mit den gewonnenen Erkenntnissen konnte an vorhandenes theoretisches Wissen angeknüpft und dieses empirisch fundiert reflektiert und erweitert werden. So konnten Bildungsprozesse in der offenen Jugendarbeit erklärt und Rahmenbedingungen identifiziert werden, die von den Jugendlichen als förderlich wahrgenommen wurden. Von diesem Wissen können neben der Wissenschaft auch die (Jugend-)Politik und die pädagogische Praxis sowohl im non-formalen als auch im formalen Bildungsbereich profitieren. Die Ergebnisse können somit auch im funktionalen Sinne als valide bezeichnet werden (SCHOLZ & TIETJE 2002). [39]

Komplexe Forschungsgegenstände erfordern mitunter komplexe Forschungsdesigns. Die Bildungserfahrungen und -prozesse, die Jugendliche in der offenen Jugendarbeit generieren, können als ein solcher komplexer Gegenstand betrachtet werden, da sie sich nicht kausal bestimmten Zugängen zuordnen lassen. Um dieser Herausforderung in der empirischen Forschung adäquat zu begegnen, wurde in der vorliegenden Studie ein Forschungsdesign gewählt, bei dem verschiedene Triangulationen, nämlich von Theorien, Methoden und Forschungsperspektiven, miteinander verbunden wurden. Durch ein Mixed-Methods-Design war es möglich, die Bildungserfahrungen der Jugendlichen in diesem sozialpädagogischen Setting aus unterschiedlichen Blickwinkeln zu beleuchten und in ihren vielfältigen Ausprägungen zu erfassen. So konnten sowohl retrospektiv zugängliche Aussagen zu explizierbaren und begründbaren Entwicklungen aufseiten der Jugendlichen analysiert als auch eher implizite Hinweise auf Bildungserfahrungen und deren mögliche Auswirkungen dargestellt werden. [40]

Der methodischen Reflexion dieser Studie folgend musste auf verschiedene Herausforderungen reagiert werden. So war das triangulative Design nur bedingt geeignet, die Validität der Einzelergebnisse zu erhöhen, da dies nur dann sinnvoll erscheint, wenn sich die verschiedenen Methoden auf die Erforschung desselben Gegenstandsbereichs beziehen. Zielen sie jedoch auf unterschiedliche Aspekte eines Phänomens, so können weder übereinstimmende Ergebnisse als Indiz für Validität noch unterschiedliche Ergebnisse als Indiz für mangelnde Validität interpretiert werden. Während also eine gegenseitige Validierung der Ergebnisse der Teilstudien nicht möglich war, konnte die Validität des Mixed-Methods-Designs insgesamt bestätigt werden. Denn die entsprechenden Kriterien wurden u.a. durch ein systematisches, regelgeleitetes und transparentes Vorgehen erfüllt. [41]

Es hat also nichts mit mangelnder Forschungsqualität zu tun, wenn die Ergebnisse nicht konvergent sind und somit nicht zur wechselseitigen Validierung herangezogen werden können. Vielmehr steht bei vielen triangulativen Ansätzen nicht die Konvergenz, sondern die Komplementarität der Ergebnisse im Vordergrund. Diese sogenannten Komplementaritätsmodelle (KELLE & ERZBERGER 1999; TREUMANN 2005) leisten einen nicht minder wichtigen Beitrag zur Qualität der Forschung und zur Generierung von Wissen: Durch den Einsatz verschiedener Methoden werden neue relevante Aspekte sichtbar, die mit einer einzelnen Methode nicht in den Blick gekommen wären, und durch die gegenseitige Ergänzung der Ergebnisse wird eine ganzheitliche Betrachtung des Phänomens bzw. Gegenstandsbereichs ermöglicht. [42]

1) Qualtrics ist ein webbasiertes Tool zur Erstellung und Durchführung von Erhebungen; verwendet wurde eine lizenzpflichtige Version. <zurück>

2) Es wurden Items aus der Self-Esteem Scale (ROSENBERG 2014) und aus dem luxemburgischen Youth Survey (SOZIO, PROCOPIO & SAMUEL 2020) verwendet sowie Items der Skala zur allgemeinen Selbstwirksamkeitserwartung (JERUSALEM & SCHWARZER 2003) für den Befragungskontext adaptiert. <zurück>

Bergman, Manfred M. (2008). Advances in mixed methods research theories and applications. Basel: Sage.

Biewers Grimm, Sandra; Latz, Anita; Weis, Daniel & Samuel, Robin (2022). Bildungserfahrungen in non-formalen Settings: Eine Jugendstudie über das Potenzial und den Wert bildungsorientierter Jugendarbeit (Abschlussbericht). Esch-sur-Alzette: Universität Luxemburg (UL); Ministère de l’Éducation nationale, de l’Enfance et de la Jeunesse (MENJE), https://orbilu.uni.lu/bitstream/10993/55206/1/Jubi%20Abschlussbericht_final.pdf [Zugriffsdatum: 2.Juni 2023].

Böhnisch, Lothar (2021). Zwischenwelten: Eine Gesellschaftstheorie für die soziale Arbeit. Weinheim: Beltz-Juventa.

Caruth, Gail D. (2013). Demystifying mixed methods research design: A review of the literature. Mevlana International Journal of Education, 3(2), 112-122, https://files.eric.ed.gov/fulltext/ED544121.pdf [Zugriffsdatum: 2. Juni 2023].

Cloos, Peter; Köngeter, Stefan; Müller, Burkhard & Thole, Werner (2009). Die Pädagogik der Kinder- und Jugendarbeit (2., durchges. Aufl.). Wiesbaden: VS Verlag für Sozialwissenschaften.

Creswell, John W. & Plano Clark, Vicki L. (2017). Designing and conducting mixed methods research (3. Aufl.). Los Angeles, CA: Sage.

Deinet, Ulrich & Reutlinger, Christian (2014). Tätigkeit – Aneignung – Bildung: Positionierungen zwischen Virtualität und Gegenständlichkeit. Wiesbaden: Springer VS.

Denzin, Norman K. (1978). The research act: A theoretical introduction to sociological methods (2. Aufl.). New York, NY: McGraw Hill.

Flick, Uwe (2011). Triangulation: Eine Einführung (3. Aufl.). Wiesbaden: VS Verlag für Sozialwissenschaften.

Gläser-Zikuda, Michaela; Seidel, Tina; Rohlfs, Carsten; Gröschner, Alexander & Ziegelbauer, Sascha (Hrsg.) (2012). Mixed Methods in der empirischen Bildungsforschung. Münster: Waxmann.

Greene, Jennifer C. (2007). Mixed methods in social inquiry. San Francisco, CA: Jossey-Bass.

Grunert, Cathleen (2012). Bildung und Kompetenz: Theoretische und empirische Perspektiven auf ausserschulische Handlungsfelder: Studien zur Schul- und Bildungsforschung (Bd. 44). Wiesbaden: Springer VS.

Hirschauer, Stefan & Amann, Klaus (1997). Die Befremdung der eigenen Kultur: Zur ethnographischen Herausforderung soziologischer Empirie. Frankfurt/M.: Suhrkamp.

Jerusalem, Matthias & Schwarzer, Ralf (2003). SWE. Skala zur Allgemeinen Selbstwirksamkeitserwartung [Verfahrensdokumentation, Autorenbeschreibung und Fragebogen], https://doi.org/10.23668/psycharchives.4515 [Zugriffsdatum: 30.November 2020].

Jick, Thomas (1983). Mixing qualitative and quantitative methods: Triangulation in action. In John van Maanen (Hrsg.), Qualitative methodology (S.153-148). London: Sage.

Kelle, Uwe (2008). Die Integration qualitativer und quantitativer Methoden in der empirischen Sozialforschung: Theoretische Grundlagen und methodische Konzepte (2. Aufl.). Wiesbaden: VS Verlag für Sozialwissenschaften.

Kelle, Uwe & Erzberger, Christian (1999). Integration qualitativer und quantitativer Methoden. Methodologische Modelle und ihre Bedeutung für die Forschungspraxis. Kölner Zeitschrift für Soziologie und Sozialpsychologie, 51(3), 509-531.

Kelle, Uwe & Erzberger, Christian (2004). Qualitative und quantitative Methoden: kein Gegensatz. In Uwe Flick, Ernst von Kardorff & Ines Steinke (Hrsg.), Qualitative Forschung: Ein Handbuch (3. Aufl., S.299-309). Reinbek: Rowohlt.

Kergel, David (2018). Qualitative Bildungsforschung. Ein integrativer Ansatz. Wiesbaden: Springer VS.

Kluge, Susanne & Kelle, Udo (Hrsg.) (2001). Methodeninnovation in der Lebenslaufforschung: Integration qualitativer und quantitativer Verfahren in der Lebenslauf- und Biographieforschung (Bd. 4). Weinheim: Beltz Juventa

Koller, Hans-Christoph (2018). Bildung anders denken. Einführung in die Theorie transformatorischer Bildungsprozesse. Stuttgart: Kohlhammer.

Krafeld, Franz-Josef (2010). Der Befähigungsansatz (Capability Approach) als Perspektivenwechsel in der Förderung junger Menschen. Deutsche Jugend, 8, 310-316.

Marotzki, Winfried (2006). Bildungstheorie und Allgemeine Biographieforschung. In Heinz-Hermann Krüger (Hrsg.), Handbuch erziehungswissenschaftliche Biographieforschung (S.59-70). Wiesbaden: VS Verlag für Sozialwissenschaften.

Mayring, Philipp (2007). Generalisierung in qualitativer Forschung. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 8(3), Art. 26, https://doi.org/10.17169/fqs-8.3.291 [Zugriffsdatum: 14. Juni 2023].

Mayring, Philipp (2010). Qualitative Inhaltsanalyse. Grundlagen und Techniken (11. Aufl.). Weinheim: Beltz.

OECD (2005). The role of national qualifications systems in promoting lifelong learning. Report from thematic group 2: Standards and quality assurance in qualifications with special reference to the recognition of non-formal and informal learning, https://www.oecd.org/education/innovation-education/34376318.pdf [Zugriffsdatum: 2. Juni 2023].

Ponce, Omar A. & Pagán-Maldonado, Nellie (2015). Mixed methods research in education: Capturing the complexity of the profession. International Journal of Educational Excellence, 1(1), 111-135.

Przyborski, Aglaia & Riegler, Julia (2020). Gruppendiskussion und Fokusgruppe. In Günter Mey & Katja Mruck (Hrsg.), Handbuch Qualitative Forschung in der Psychologie (2. Aufl., Bd. 2, S.395-411). Wiesbaden: Springer VS.

Reckwitz, Andreas (2000). Die Transformation der Kulturtheorien. Zur Entwicklung eines Theorieprogramms. Weilerswist: Velbrück Verlag.

Rossi, Peter H.; Lipsey, Mark W. & Freeman, Howard E. (2004). Evaluation: A systematic approach (7. Aufl.). Thousand Oaks, CA: Sage.

Scherr, Albert (2003). Jugendarbeit als Subjektbildung. In Werner Lindner, Werner Thole & Jochen Weber (Hrsg.), Kinder- und Jugendarbeit als Bildungsprojekt (S.87-102). Wiesbaden: VS Verlag für Sozialwissenschaften.

Scholz, Roland W & Tietje, Olaf (2002). Embedded case study methods: Integrating quantitative and qualitative knowledge. Thousand Oaks, CA: Sage.

Sozio, Maria Eugenia; Procopio, Alessandro & Samuel, Robin (2020). Youth Survey Luxembourg. Technical Report 2019, University of Luxembourg, https://hdl.handle.net/10993/44435 [Zugriffsdatum: 27. September 2021].

Stojanov, Krassimir (2006). Bildung und Anerkennung: Soziale Voraussetzungen von Selbst-Entwicklung und Welt-Erschließung. Wiesbaden: VS Verlag für Sozialwissenschaften.

Teddlie, Charles & Tashakkori, Abbas (2009). Foundations of mixed methods research: Integrating quantitative and qualitative approaches in the social and behavioral sciences. Thousand Oaks, CA: Sage.

Treumann, Klaus P. (2005). Triangulation als Kombination qualitativer und quantitativer Forschungsmethoden. In Lothar Mikos & Claudia Wegener (Hrsg.), Qualitative Medienforschung: ein Handbuch (S.272-288). Konstanz: UVK.

Treumann, Klaus P.; Meister, Dorothee M.; Sander, Uwe; Burkatzki, Eckard; Hagedorn, Jörg; Kämmerer, Manuela; Strotmann, Mareike & Wegener, Claudia (2007). Medienhandeln Jugendlicher, Mediennutzung und Medienkompetenz. Bielefelder Medienkompetenzmodell. Wiesbaden: VS Verlag für Sozialwissenschaften.

Weinert, Franz E. (2001). Kapitel 1: Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit. In Franz E. Weinert (Hrsg.) Leistungsmessungen in Schulen (3. Aufl.). Weinheim: Beltz.

Witzel, Andreas (2000). Das problemzentrierte Interview. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 1(1), Art. 22, https://doi.org/10.17169/fqs-1.1.1132 [Zugriffsdatum: 14. Juni 2023].

Wrona, Thomas & Fandel, Günter (2010). Möglichkeiten und Grenzen einer Methodenintegration. Wiesbaden: Gabler.

Daniel WEIS ist als wissenschaftlicher Mitarbeiter im Zentrum für Kindheits- und Jugendforschung (CCY) der Universität Luxemburg in verschiedenen Forschungsprojekten und Evaluationsstudien im Bereich der non-formalen Bildung tätig.

Université du Luxembourg
Faculty of Humanities, Education and Social Sciences
Campus Belval
2, avenue de l’Université
4365 Esch-sur-Alzette, Luxemburg

Dr. Sandra BIEWERS GRIMM ist als Research Scientist im Zentrum für Kindheits- und Jugendforschung (CCY) an der Universität Luxemburg tätig und dort zuständig für den Arbeitsschwerpunkt non-formale Bildung. Sie befasst sich zurzeit u.a. mit Studien zur Jugendarbeit und Jugendberichterstattung sowie zur digitalen Bildung.

Université du Luxembourg
Faculty of Humanities, Education and Social Sciences
Campus Belval
2, avenue de l’Université
4365 Esch-sur-Alzette, Luxemburg

Anita LATZ ist als wissenschaftliche Mitarbeiterin im Zentrum für Kindheits- und Jugendforschung (CCY) der Universität Luxemburg in verschiedenen Forschungsprojekten und Evaluationsstudien im Bereich der non-formalen Bildung tätig.

Université du Luxembourg
Faculty of Humanities, Education and Social Sciences
Campus Belval
2, avenue de l’Université
4365 Esch-sur-Alzette, Luxemburg

Weis, Daniel; Biewers Grimm, Sandra & Latz, Anita (2024). Validität in multi-methodischen Forschungsdesigns: Reflexion von Herausforderungen in der Erforschung komplexer Fragestellungen [42 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 25(2), Art. 10, https://doi.org/10.17169/fqs-25.2.4211.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Funded by the KOALA project

Creative Commons Attribution 4.0 International License