Thomas Brüsemeister & Klaus-Dieter Eubel (Hrsg.) (2008). Evaluation, Wissen und Nichtwissen. Wiesbaden: VS Verlag für Sozialwissenschaften, 314 SeitenISBN 978-3-531-15586-9, EUR 34,90

Zusammenfassung: Ziel des Buches ist es, die aktuelle Evaluationspraxis im Bildungssektor kritisch zu diskutieren. Durch Evaluation entsteht neues Wissen und (teilweise) Nichtwissen. Dies geschieht im Rahmen von wichtigen Anwendungskontexten, bspw. PISA, Implementierung von Bildungsstandards, Bildungsberichterstattung und auch Governance von Schulen bis hin zu Portfolioansätzen. Die Rezeptions- und Austauschwege zwischen Politik, Evaluation und Praxis sind vielfältig, neben institutionalisierter Kommunikation stehen verschiedenste informelle Interaktionsbeziehungen.

Von den beteiligten Autorinnen und Autoren werden für verschiedene Evaluationsfelder Entstehungszusammenhänge von Wissen und Nichtwissen auf Makroebenen und Anwendungsprobleme auf nachgelagerten Ebenen aufgezeigt. Die Komplexität des Untersuchungsgegenstands bringt es mit sich, dass in diesem Band weder die erwähnten Bereiche erschöpfend reflektiert werden können, noch eine Einordnung in einen übergeordneten Zusammenhang geleistet werden kann. Es werden verschiedene Wege des "Einsickerns" von Daten, Kausalannahmen und Interpretationsmuster erfasst und durch eine wissensbezogene Perspektive analysiert.

Keywords: Evaluation; Evaluationsforschung; Evaluationskultur; wissensanalytische Betrachtung; Rezeptionsforschung; Bildung; Educational Governance

Evaluationen werden in zunehmend vielen Politik- und Programmbereichen durchgeführt. Die diversen Politikfelder weisen unterschiedliche Evaluationskulturen auf, die teilweise durch vorrangige Fragestellungen, aber auch u.a. durch disziplinäre Vertreter/innen, Art der Datenlage, Macht- und Kontextstrukturen sowie institutionelle Ausgestaltungen geprägt sind. Diese unterschiedlichen Evaluationskulturen unterliegen selbstverständlich einem Wandel und insoweit sind immer nur Momentaufnahmen möglich. [1]

Im Falle des vorliegenden Buches, herausgegeben von Thomas BRÜSEMEISTER und Klaus-Dieter EUBEL, handelt es sich um Beiträge, die fast alle in Bezug zur Bildungspolitik stehen und weitestgehend von Insidern aus diesem Feld geschrieben wurden. Basis für die Veröffentlichung war die Tagung "Wissensformen der evaluationsbasierten Steuerung aus Sicht der Empirischen Bildungsforschung", die am 23. und 24. März 2007 an der FernUniversität Hagen stattgefunden hat. Der Band ist in der Reihe "Educational Governance" (Band 5) des VS Verlag für Sozialwissenschaften erschienen. Die Autorinnen und Autoren reflektieren verschiedene Formen von Wissen im Bildungsbereich und teilweise deren Entstehungs- und Verwendungszusammenhang. [2]

Die PISA-Studie 2000 – die selbst eine Form der Evaluation ist – und deren für Deutschland erschreckende Ergebnisse haben Reformen im Bildungssektor und eine Zunahme an Evaluationsaktivitäten mit sich geführt. Neu eingeführte Schulinspektionen und regelmäßige Leistungstest sowie der Aufbau von Monitoringsystemen sind Beispiele hierfür. Evaluationen können je nach Evaluationszweck und -fragestellungen unterschiedlich gestaltet werden. Eine grundsätzliche Unterscheidung von Evaluationen ist jene in Evaluationen zur Rechenschaftslegung und Evaluationen zur Verbesserung von Programmen oder Politiken. Es haben sich verschiedene Evaluationsmodelle herausgebildet, die unterschiedlich die Werte der Stakeholder berücksichtigen und eher distanziert oder partizipativ angelegt sein können (BEYWL, SPEER & KEHR 2004). In der aktuellen Diskussion steht vielfach die Nutzung von Evaluation zur besseren Steuerung von Schulen im Vordergrund. Evaluationen werden oftmals von unterschiedlichen Gruppen genutzt wie bspw. Lehrer/innen, Schuldirektor/innen, Schulinspektor/innen, Ministerialbeamte, Politiker/innen oder Wissenschaftler/innen. [3]

Im Rahmen des Buches geht es zumeist um die Entstehung von neuem Wissen im Rahmen von Evaluationsaktivitäten, um Verwendungszusammenhänge dieses Wissens und um das Aufzeigen von Wissenslücken. Um es vorwegzunehmen: "Wissen und Nichtwissen sind dabei in je unterschiedlicher Intensität in den Beiträgen behandelt, so dass sich eine weitere thematische Untergliederung der Beiträge mehr oder weniger verbietet. Hierbei beziehen sich die Beiträge jedoch durchgängig auf das Schulsystem" (BRÜSEMEISTER & EUBEL, S.12). Die Lesenden haben somit ein breites Angebot an Texten, die auf verschiedensten Ebenen angesiedelt sind: Mikro-Ebene (Unterricht), Meso-Ebene (Schule) und Makro-Ebene (Bildungspolitik). Die Mehrzahl der Beiträge beschäftigt sich entweder ausschließlich mit der Meso- und der Makro-Ebene oder mit deren Wechselwirkungen. Dass "mehr Evaluationswissen gleich bessere Steuerung" (BRÜSEMEISTER & EUBEL, S.8) bedeutet, wird im Rahmen der Veröffentlichung hinterfragt. Es gibt nicht nur Schwierigkeiten bei der Erzeugung neuen Wissens, sondern auch bei dessen gezielter Verwendung. So werden verschiedene Entstehungs- und Verwendungsarten des Wissens betrachtet, u.a. symbolische, instrumentelle, substanzielle oder legitimierende Nutzungen des erzeugten Wissens. Diese Unterscheidungen werden von den Autor/innen mehr oder weniger explizit vorgenommen, die Einordnung bleibt teilweise den Lesenden überlassen. [4]

Die Auseinandersetzung mit Wissen und Nichtwissen ist für Evaluierende nicht neu. Mit der Auswahl eines bestimmten Evaluationsdesigns werden die Voraussetzungen für die empirische Erhebung bestimmter Informationen geschaffen. Dies bedingt gleichzeitig aber auch das Ausblenden bestimmter Wirkungszusammenhänge im Rahmen der betreffenden Evaluation. Beispielsweise können bei einem experimental gesteuerten Evaluationsdesign die Wirkungen einer Intervention bei Teilnehmenden im Vergleich zu einer Kontrollgruppe gemessen werden. Über die Gründe für die Wirkung werden keine Informationen erhoben. Einige Evaluationsverfahren beleuchten auch nicht-intendierte Effekte von Programmen, andere wiederum nicht. Durchgeführte Evaluationen werfen neue Fragen auf, die teilweise aus der Sicht von Evaluierenden, Entscheiderinnen und Entscheidern oder auch Beteiligten und Betroffenen entstehen, andererseits aber auch für die Forschung relevant sind. [5]

Peter WEHLING diskutiert in seinem Beitrag "Wissen und seine Schattenseite: Die wachsende Bedeutung des Nichtwissens in (vermeintlichen) Wissensgesellschaften" verschiedene Faktoren, die für die Koproduktion von Wissen und Nichtwissen ausschlaggebend sind. Dazu gehören institutionelle Rahmenbedingungen, kognitive Faktoren, die Dekontextualisierung des wissenschaftlichen Wissens sowie die Eröffnung neuer Wirkungshorizonte. WEHLING behandelt die "Politisierung" des Nichtwissens in Wissensgesellschaften auf einer sehr abstrakten Ebene. Offen bleibt damit, wie das Verhältnis von Wissen und Nichtwissen in der Bildungspolitik charakterisiert werden könnte: Wird hier seitens der Politik eher das Nichtwissen betont, und werden deshalb vermehrt wissenschaftliche (Evaluations-) Studien nachgefragt? Oder wissen Politiker/innen alles Wesentliche und können deshalb die Abschaffung der relativ neu eingeführten Vergleichsstudien fordern? [6]

Nils BERKEMEYER stellt in seinem Beitrag "Schulleitung zwischen Evaluation und Organisation" die Anforderungen in den Mittelpunkt, die aufgrund der Einführung von Evaluationen entstehen. Er geht der Frage nach, wie Schulleitungen auf die zahlreichen externen Interventionen reagieren können und betrachtet hierfür die Schule mit ihren Schnittstellen von Organisation, Schulleitung und Evaluation. Hierbei ordnet er zunächst verschiedene Evaluationsformen zwischen Entscheidungshilfen und Steuerungsinstrumenten ein, um dann in einem nächsten Schritt diverse Handlungsmöglichkeiten der Schulleitung zu analysieren. Die Handlungsmöglichkeiten basieren auf der Nutzung von Strategien begrenzter Rationalität und der verstärkten Beobachtung von Entscheidungsprozessen und -verläufen sowie der Organisation von Entscheidungen. Als Reaktionsmuster werden Rückzug, Attacke und der Aufbau neuer Organisationsstrukturen genannt. [7]

Harm KUPER analysiert das Verhältnis von "Wissen – Evaluation – Evaluationswissen". Der vermehrte Einsatz von Evaluationen geht im Bildungsbereich mit der Umorientierung hin zur Outputsteuerung einher. Lernstandserhebungen und deren aggregierte Daten stehen praktischem Erfahrungswissen auf Schul- und Klassenebenen gegenüber. Wie KUPER betont, ist über den Umgang mit den Ergebnissen der Lernstandserhebungen und deren Wirkungsweisen bzw. Nicht-Wirkungsweisen bislang zu wenig bekannt. [8]

Der Beitrag von Herbert ALTRICHTER beleuchtet Wissen über Reformen im Sinne von "Veränderungen der Systemsteuerung im Schulwesen durch die Implementation einer Politik der Bildungsstandards" und bezieht sich auf die Einführung von Bildungsstandards als neue bildungspolitische Strategie in Österreich. Festgestellt wird, dass die Akzeptanz der Bildungsstandards durch die Akteure zur Innovation (Lehrende) teilweise nicht gegeben zu sein scheint. ALTRICHTER betont, dass derartige Veränderungsprozesse nicht kurzfristige Wirkungen zeigen können, da Lehrkräfte "umlernen" müssten. Die Bildungsstandards würden bisher wenig im Unterricht genutzt. Die Übergänge zwischen verschiedenen Wissensformen auf System-, Schul- und Unterrichts-/Klassenebene stellen die Herausforderung zur Gestaltung von derartigen Reformprozessen auf der Basis von Bildungsstandards dar. [9]

Klaus-Jürgen TILLMANN, Kathrin DEDERING, Daniel KNEUPER, Christian KUHLMANN und Isa NESSEL gehen der Frage nach, inwiefern PISA als Konzept der evaluationsbasierten Steuerung in Deutschland greift. Dieser Beitrag arbeitet empirisch heraus, wie der "PISA-Schock" seit 2001 auf landespolitischer Ebene genutzt wurde, um bildungspolitisch neue Prioritäten zu setzen. Welche bildungspolitischen Entscheidungen wurden angeregt? Welche Maßnahmen und Programme wurden realisiert? Anhand von Fallstudien werden unterschiedliche politische Umgangsweisen mit der Situation nachgezeichnet, die auch als Ausdruck eines großen Legitimationsdrucks verstanden werden können. Es scheint dabei nicht weiter überraschend, dass die PISA-Ergebnisse politisch unterschiedlich genutzt werden, da es sich bei ihnen nicht um eine wirkungsorientierte Evaluation handelt. Die Interpretation der Daten hat große Spielräume zugelassen, auch weil zunächst wenig Hintergrundinformationen vorlagen. [10]

Matthias RÜRUP reflektiert die deutsche Bildungsberichterstattung, indem er kurz die schon länger existierenden Berichtssysteme in Deutschland erwähnt und den "neuen" Bildungsbericht (2006) einordnet. RÜRUP steht der neuen Bildungsberichterstattung sehr positiv gegenüber und begründet dies anhand der zugrunde liegenden Konzeption. Der Versuch einer systematischen Darstellung von Kontext, Input, Prozessen und Ergebnissen wird von RÜRUP lobend hervorgehoben. Dabei handelt es sich, wie RÜRUP betont, bei dem deutschen Bildungsbericht um ein Monitoring inklusive der Hervorhebung von dringendem Handlungsbedarf. Wie auch in BEYWL, SPEER und KEHR (2004) ausgeführt, ist auch in anderen nationalen Berichterstattungssystemen die Integration von Evaluationen in die Berichte bisher kaum realisiert. RÜRUP weist jedoch darauf hin, dass für 2010 als Sonderthema "Qualitätssicherung und Evaluierung" aufgegriffen werden soll. [11]

Der Beitrag von Urs KIENER und Moritz ROSENMUND knüpft direkt an RÜRUP an, indem die Berichterstattung in der Schweiz reflektiert wird. Die Autoren schätzen diese weitaus kritischer ein, wie schon in dem Titel "Systembeschreibung als Science Fiction? Zum Wandel der Beschreibung von Bildungssystemen" zum Ausdruck kommt: Der Bildungsbericht präsentiere "statische, affirmative Beschreibungen ohne Bezug auf aktuelle bildungspolitische Prozesse, wie [...] auch der deutsche Bildungsbericht [...]" (KIENER & ROSENMUND, S.181f.). Gerade diese gegenübergestellte Diskussion zweier Berichterstattungen ermöglicht es den Lesenden, Stärken und Schwächen der Bildungsberichterstattung abzuwägen. [12]

Bettina FRITZSCHE und Sabine REH reflektieren in "Ist schon viel Theorie dabei – Zur Kommunikation zwischen erziehungswissenschaftlicher Forschung und pädagogischer Praxis in der prozessorientierten Schulentwicklungsforschung" die von ihnen vorgenommene Rückmeldung von Wissen an Schulen. Hierbei handelt es sich nicht um beauftragte Evaluationen, sondern um Ergebnisse aus einem selbst initiierten Forschungsprojekt. Wissenschaftlich generiertes Wissen trifft hier auf die organisationale Praxis und wird nicht miteinander verknüpft, wie es bspw. verschiedene partizipative Evaluationsansätze vorsehen würden. Kommunikationsschwierigkeiten sind teilweise vorprogrammiert und werden hier bspw. anhand von Rückmeldungssituationen thematisiert. Diese haben gezeigt, dass Beobachter/innenwissen teilweise irritiert und professionell verstehende Beratung hilfreicher wäre. [13]

Jürgen KUSSAU unterscheidet verschiedene Interdependenzbeziehungen und betrachtet Interdependenz und Interdependenzunterbrechung im Rahmen der Konstitution der Schule. Es werde derzeit viel positives "evidenzbasiertes" Steuerungswissen erzeugt, das auf normatives Wissen der Akteure treffe und sich teilweise vermische. KUSSAU stellt die spezifischen Charakteristika des Schulwesen heraus und damit auch die Schwierigkeiten der Steuerung sowie die Notwendigkeit der Anbindung von Akteuren. Er bezeichnet Schulen als "organisierte Anarchien". Die Schulsteuerung richte sich an individuellen Akteuren – an einem "amorphen Publikum" – aus und es bleibe zu fragen, ob externe Evaluation im Konflikt mit Schulautonomie stehe. EHREN, LEEUW und SCHEERENS (2005) weisen auch auf dieses Spannungsfeld hin – z.B. im Falle von Schulinspektionen, die gleichzeitig kontrollieren und beraten sollen. KUSSAU thematisiert die Einführung von externer Evaluation, Steuerungswissen und Standards als "neue Regelungsstruktur". Er steht dieser kritisch gegenüber, da die Lehrenden nur reagieren können, das aktuelle Steuerungswissen zu einer Informationsüberlastung führen mag und weiterhin Ideologien zu kollektiver Handlungs- und Entscheidungsfähigkeit führen. [14]

Roman LANGNER nimmt als Ausgangspunkt seiner Betrachtungen die Organisationsstruktur des Bildungssystems mit seiner spezifischen Akteurskonstellation sowie die institutionellen Besonderheiten der Schule. Die unterschiedlichen Akteure definieren verschiedene Wirklichkeiten. LANGNER entwirft eine interessante "Handlungsanleitung" im Umgang mit Konkurrenz (Unterkapitel 3.4) und zeigt im Weiteren, wie Symbolisierungen im Kontext der Bildung eingesetzt werden. Nach LANGNER gibt es eine Indifferenz zwischen den Akteuren des Bildungssystems, die u.a. auf eine stark segmentierte bzw. fragmentierte Schullandschaft zurückgehe und die es zu überwinden gelte, denn: "Eine Konzentration gemeinsamer Kräfte von Politik, pädagogischer Profession, Wissenschaft, Verwaltung, Eltern und Schülern findet nicht statt" (S.264). LANGNER schlägt zur Überwindung von Symbolik und Praxis eine dialogorientierte Evaluation vor. [15]

Ute ALBERT will das "Portfolio im Kontext von Evaluation" auch mit der Evaluation der Meso- und Makroebene in Verbindung setzen. Unter einem Portfolio wird allgemein eine Technik der Beschreibung und Dokumentation von Fähigkeiten verstanden. Zunächst werden verschiedene Portfolioarten (auf Schüler/innen-, Studierenden-, Fakultäts- und institutioneller Ebene; Kompetenzen-, Lernprozess-, Abschlussportfolio) kurz eingeordnet und dann an einem Beispiel aus dem US-amerikanischen Raum vorgestellt, in dem Portfolios der Mikroebene auch zu Zwecken der Rechenschaftslegung und Qualitätssicherung sowie -verbesserung auf der Meso-Ebene eingesetzt werden. Eine mögliche Verknüpfung mit der Makro-Ebene zur Weiterentwicklung von Curricula und Methoden wird ebenfalls skizziert. Schwierig nachvollziehbar ist jedoch die scheinbare Überlegenheit des Portfolioansatzes gegenüber "Evaluationen" und die von der Autorin erwähnte Rückkopplungsproblematik der Evaluation (S.291). Portfolios können selbst als Evaluationsansatz begriffen werden, der jedoch evtl. auch überstrapaziert wird, wenn alle Ebenen Antworten auf ihre Fragen durch den Einsatz eines Instrumentes erhalten sollen. Wenn auch Portfolios eine innovative und sinnvolle Evaluationsart darstellen, ist die Überlegenheit gegenüber anderen Evaluationsarten, die ebenfalls miteinander verknüpft werden können – wie bspw. Selbstevaluation und Peer Evaluation – unklar geblieben. [16]

Zum Abschluss des Bandes liefert Uwe SCHIMANK "Nachtgedanken eines nachdenklichen Schulpolitikers". Er plädiert für das "kleine Brötchen backen" oder im Sinne von LINDBLOM für eine "science of muddling through". Er stellt fest, dass die Prinzipale ihre Wissenslücken haben und die Agenten (Lehrende) Widerstand üben, der durchaus heilsam sein kann. [17]

Wie im jeweiligen Politikfeld mit Wissen und Nichtwissen insbesondere im Rahmen von Evaluationen umgegangen wird, ist von verschiedensten Faktoren abhängig und nicht stabil über längere Zeit. Im Bereich der Bildungspolitik haben die Ergebnisse der PISA-Studien zu "PISA-Schock" und der Implementierung von Bildungsstandards sowie verstärkten Evaluationsaktivitäten geführt. Nicht nur einzelne Evaluationen entfalten ihre Wirkungen, sondern es werden zunehmend Evaluationssysteme aufgebaut (LEEUW & FURUBO 2008). Die Metapher "From Studies to Streams", die auch gleichzeitig Titel eines Buches von RIST und STAME (2006) ist, beschreibt, dass immer weniger Evaluationen als einzelne Studien durchgeführt werden, sondern vielmehr auf der Basis von "Informationsströmen" entstehen. Diese Informationsströme können die Form von Monitoringsystemen oder auch deren Verknüpfungen annehmen. Außerdem bauen Evaluationen zunehmend aufeinander auf und so entstehen neue "Ströme". Die Ausführung von Evaluationen ist u.a. von der jeweiligen Datenlage bzw. von den Mechanismen zur Sammlung von Daten bestimmt. Diese ist im Bildungssektor eher dezentral und erfordert viele Primärdatenerhebungen. Der Austausch über Evaluationspraktiken erfolgt weitestgehend innerhalb des jeweiligen Politikfeldes und weniger übergreifend. [18]

So sind auch die Beiträge der vorliegenden Publikation ausschließlich von Personen geschrieben, die Insider der Bildungsforschung und des Bildungsmanagements sind. Der Band veranschaulicht mit seiner Diskussion über die Produktion von Wissen und seine Verwendung die für den Bildungsbereich charakteristische Evaluationskultur und systemimmanente Schwierigkeiten in der Akteurskonstellation, die Wissen als Machtinstrument benutzen oder aber auch ablehnen. [19]

Lesende aus Forschung und Praxis können in dem hier besprochenen Band fündig werden. Es handelt sich selbstverständlich nicht um einen Handlungsleitfaden für den Umgang mit verschiedenen Wissensarten, Evaluationen und deren Entstehungszusammenhänge. Auch wird keine übergreifende Kategorisierung der Wissensarten und ihrer Verwendungsarten geliefert. In vielen Beiträgen wird die Schnittstelle zwischen Expert/innenwissen und dem Einbezug nicht-wissenschaftlicher Wissensträger/innen thematisiert. Eine Verknüpfung mit den "Communities of Practice" wird implizit gefordert, da das Bildungssystem durch viele Ebenen charakterisiert wird und Wissen über die verschiedensten Ebenen hinweg als steuerndes Element fungieren soll. Weitere Forschung zur Vertiefung des Wissens über Evaluationen könnte an einige Beiträge des Sammelbandes anknüpfen, und insbesondere Meta-Evaluationen würden hier den Verwendungszusammenhang des durch Evaluationen erzeugten Wissens und Nichtwissens weiter beleuchten. [20]

Ehren, Melanie C.M.; Leeuw, Frans L. & Scheerens, Jaap (2005). On the impact of the Dutch educational supervision act. American Journal of Evaluation, 26(1), 60-76.

Leeuw, Frans L. & Furubo, Jan-Eric (2008). Evaluation systems: What are they and why study them? Evaluation, 14(2), 157-169.

Rist, Ray C. & Stame, Nicoletta (Hrsg.) (2006). From studies to streams. New Brunswick: Transaction Publishers.

Sandra SPEER ist als unabhängige Evaluatorin für lokale, regionale und internationale Ebenen tätig. Sie ist im Vorstand der European Evaluation Society (EES) aktiv.

Speer, Sandra (2009). Rezension: Thomas Brüsemeister & Klaus-Dieter Eubel (Hrsg.) (2008). Evaluation, Wissen und Nichtwissen [20 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 11(1), Art. 16, http://nbn-resolving.de/urn:nbn:de:0114-fqs1001164.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Creative Commons Attribution 4.0 International License