Die Rollen- und Funktionsvielfalt von Evaluation im Kontext von E-Learning-Projekten

Dorothee M. Meister, Sigmar-Olaf Tergan & Peter Zentel (Hrsg.) (2004). Evaluation von E-Learning. Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. Münster: Waxmann, 248 Seiten, ISBN 3-8309-1311-7, EUR 19,80

Zusammenfassung: Das Förderprogramm "Neue Medien in der Bildung – Bereich Hochschule" wird in mehreren Bänden mit jeweils unterschiedlichen Schwerpunkten gut dokumentiert. Der hier besprochene Band beschäftigt sich mit den Evaluationskonzepten und ersten Evaluationsergebnissen der beteiligten Projekte. Wenngleich dem Buch der Entstehungskontext als Tagungsband an manchen Stellen anzumerken ist, bietet es in vier Abschnitten "Zielrichtungen", "methodologische Aspekte", "Zukunftsperspektiven" sowie Kurzportraits von Teilprojekten einen reichhaltigen Überblick über im Kontext von E-Learning relevante Evaluationskonzepte aus den Bereichen Psychologie, Sozialwissenschaft und Qualitätssicherung. Die Beiträge umfassen sowohl konzeptionelle Arbeiten zu verschiedenen Evaluationsmodellen als auch Beschreibungen konkreter Evaluationsstudien. Dabei wird das Spannungsverhältnis zwischen den unterschiedlichen Anforderungen an Evaluation deutlich. Darüber hinaus erhält man auch einen Einblick in die Durchführung und Rezeption der behandelten E-Learning-Projekte.

Keywords: E-Learning, computerbasiertes Lernen (CBL), webbasiertes Lernen (WBL), Lernplattformen, Evaluation, Qualitätssicherung, Evaluationsmodelle, Evaluationsmethoden

Die Verwendung von Computern als Lernbehelf hat eine lange Geschichte. Beispielsweise im Kontext medizinischer Ausbildung kommen Computer seit den 1960er Jahren zum Einsatz (McGOWAN & BERNER 2002). Die Geschichte der Computerunterstützung von Lernprozessen kann in Form einer Abfolge von Akronymen und Begriffen beschrieben werden, die jeweils den Neuigkeitswert eines bestimmten Aspekts hervorstreichen sollen wie beispielsweise: computer-based learning (CBT), web-based learning (WBT), computer-supported collaborative learning (CSCL) und schließlich E-Learning. Wenngleich der Begriff E-Learning nicht sehr präzise ist und im Allgemeinen als Überkategorie verstanden wird, werden damit dennoch neue Konzepte wie etwa integrierte Lernplattformen (Learning Management System) oder die Verwendung von standardisierten Metadaten (etwa LOM oder SCORM) zur Erstellung wieder verwendbarer Lernobjekte ins Spiel gebracht. Nach ersten Versuchen einer vollständigen "Virtualisierung" der Lehre hat in den vergangenen Jahren das Konzept des "blended learning", d.h. die Integration von E-Learning und Präsenzlehre, an Bedeutung gewonnen. [1]

Im Rahmen der Begleit- bzw. Evaluationsforschung wird der Einsatz computergestützten Lernens typischerweise "traditionellen" Lehrmethoden gegenübergestellt, wobei als Schlüsselargument für den Technikeinsatz in der Regel eine erhoffte bzw. behauptete Effizienzsteigerung gilt. Der Nachweis einer solchen Effizienzsteigerung soll vorzugsweise mit Hilfe von Medienvergleichsstudien erbracht werden, wobei dieser Forschungstyp allerdings selten die erhofften Leistungsgewinne hat darlegen können (so etwa KEANE, NORMAN & VICKERS 1991; FRIEDMAN 1994). Andere technisch orientierte Formen der Evaluation gehen in Richtung Usability-Studien oder Bewertungen der technischen Umsetzung mittels Kriterienkatalogen. Mit der Entwicklung universitätsweiter E-Learning-Strategien hat sich der Schwerpunkt der Begleitforschung bzw. der Evaluationsstudien von der isolierten Bewertung des Computereinsatzes weg verschoben, da nun der Aspekt der Organisationsentwicklung bzw. Hochschulreform gegenüber technischen Fragen in den Vordergrund rückt, wobei die Gegenüberstellung "moderner" computergestützter Lehrveranstaltungstypen mit "traditionellen" Lehrformen meist beibehalten wird. [2]

Das Förderprogramm Neue Medien in der Bildung des deutschen Bundesministeriums für Bildung und Forschung (BMBF) unterstützte 100 Projekte mit insgesamt 541 Projektpartnern. Im Rahmen des Begleitprojekts "kevih" (Konzepte und Elemente virtueller Hochschule) wurden fünf Workshops abgehalten, die teils in einer Buchreihe der Gesellschaft für Medien in der Wissenschaft (GMW) im Waxmann Verlag dokumentiert sind. Der vorliegende Band beschäftigt sich mit den Evaluationskonzepten einzelner Projekte, wobei Projektevaluation ein Ausschreibungskriterium des Förderprogramms war – allerdings ohne dass dabei spezifische Vorgaben gemacht worden wären. [3]

Die Beiträge sind in vier Kapitel gruppiert: (1) Zielrichtungen, (2) methodologische Aspekte, (3) Zukunftsperspektiven und (4) Kurzportraits von Projekten. Manche Autoren sind mit mehreren Beiträgen vertreten. Einige Artikel sind als Kommentare zu anderen Beiträgen konzipiert, was die Struktur dieses Workshops widerspiegeln dürfte. [4]

Zur Einführung ins Thema präsentieren die Herausgeber Dorothee M. MEISTER, Sigmar-Olaf TERGAN und Peter ZENTEL eine Übersicht über die Evaluationskonzepte der beteiligten Projekte. 35% betrachten Evaluation als zentrale Aufgabe, wobei interne Evaluationen (66%) gegenüber externen (39%) überwiegen. Die vier am häufigsten genannten Methoden sind: Fragebogen (50%), Logfile-Analysen (24%), Interviews (20%) und Gruppendiskussionen (15%). 80% wollen formativ evaluieren, vergleichsweise nur 60% streben eine summative Evaluation an. Dabei meint "formative Evaluation" im Allgemeinen eine projektbegleitende Form der Evaluationsforschung, deren Hauptinteresse die Verbesserung bzw. Optimierung eines Projekts ist. Als "summative Evaluation" wird hingegen eine das Endprodukt bewertende Studie verstanden, die häufig auch Rechtfertigungsfunktion gegenüber projektexternen Entscheidungsträgern erfüllt. Wenngleich sich die Literatur in der Benennung dieser beiden Typen weitgehend einig ist, ist diese Unterscheidung nicht erschöpfend. Beispielsweise WOODWARD (2002) benennt darüber hinaus ökonomische Evaluation, Monitoring und Akkreditierung als mögliche Evaluationstypen. [5]

Die Beiträge dieses ersten Kapitels "Zielrichtungen von Evaluation" beschäftigen sich mit möglichen Evaluationsszenarien [6]

Reinhard STOCKMANN streicht in seiner Darstellung einer wirkungsorientierten Programmevaluation hervor, dass sich die Evaluation von E-Learning-Programmen nicht auf Fragen der Usability bzw. der Lernwirksamkeit beschränken dürfe. Er diskutiert die Ziele und Aufgaben von Evaluationen sowie die Vorteile von internen bzw. externen Evaluationen. Das vorgestellte Konzept einer wirkungsorientierten Evaluation fokussiert den Prozesscharakter von Programmen und orientiert sich am Lebenslauf als heuristischem Modell, indem der "Lebensverlauf" eines Programms als Abfolge von Entscheidungen innerhalb institutionell vorgegebener Alternativen erscheint. Als theoretische Bezugsrahmen dienen ihm die Organisations- bzw. die Diffusionstheorie. Als inhaltlicher Interessensschwerpunkt ergibt sich daraus die Frage der Nachhaltigkeit, die aus dem Wechselspiel von Projekt, Trägerorganisation und Umwelt heraus verstanden wird. [7]

Christine SCHWARZ geht vom Spannungsverhältnis zwischen zwei Trends in der Evaluationsforschung aus – das sind: die vorhandenen Standardisierungsbemühungen und die post-positivistischen Sichtweisen von Evaluation als Vermittlungsinstanz –, um die komplexen und widersprüchlichen Rollen von Evaluation zu thematisieren. Das Spektrum der verschiedenen Rollen- bzw. Kompetenzerwartungen wird anhand einer Fallstudie zum Modellprojekt Virtual University Mixed Studies (VUMS) aufgeschlüsselt. Die Daten dieser Fallstudie gingen aus Dokumentenanalyse, Leitfadeninterviews, Visualisierung zur Arbeitssituation der Befragten sowie teilnehmender Beobachtung hervor. Interviewt wurden alle involvierten Akteursgruppen. Die Einzel- und Gruppeninterviews dauerten 45 bis 120 Minuten und wurden inhaltsanalytisch ausgewertet. [8]

Das VUMS war eines der ersten staatlich geförderten Modellprojekte mit dem Ziel einer Virtualisierung der Universität bzw. einer Stärkung von Fernlehrelementen mit den Mitteln der Videokonferenz, Tele-Vorlesungen und der Ausgabe von CD-ROMs. Die interne Evaluation war mit einer Förderung von 1 Mio. Euro integraler Bestandteil des Projektvorhabens, worin unterschiedliche Akteure involviert waren: vier Gutachter, ein angegliedertes Kompetenzzentrum, eine sozialwissenschaftliche Begleitung. Christine SCHWARZ zeichnet das Spannungsverhältnis zwischen den beteiligten Personengruppen und die verschiedenen Selbst- und Fremdbilder der evaluierenden Akteure nach. Dabei skizziert sie die verschiedenen mit "Evaluation" verknüpften Rollenerwartungen und das Spannungsverhältnis zwischen Kontrolle und Beratung. Sie beschreibt, wie die Evaluatoren als Konsequenz auf Freund-Feind-Erfahrungen ihre Erwartungen an die Kooperationsbereitschaft der durchführenden Akteure reduzierten und sich auf eine Forschungshaltung zurückzogen, was ihnen in weiterer Folge als mangelnde Handlungsorientierung angelastet wurde. SCHWARZ formuliert ein Modell von Evaluation, das auf den Säulen "internes Management" und "externe Politikberatung" ruht und insgesamt vier Rollen sowie damit verbundene Rollenanforderungen umfasst: (1) Beratung und gegenseitiges Vertrauen, (2) Forschung und Unparteilichkeit, (3) Kontrolle und Anerkennung von Macht sowie (4) Vermittlung und soziale Intelligenz. Sie nennt die Bewusstwerdung und Aushandlung der Rolle von Evaluation (role shaping) als Vorbedingung für gute Evaluation. [9]

Henry JOHNS berichtet vom Teilprojekt "Qualitätssicherung und Evaluation" des multimedialen Kooperationsverbunds "Hochschulen für Gesundheit". Dessen Konzept von Evaluation orientiert sich am "Excellence Modell" der European Foundation for Quality Management" (EFQM), das zum einen als Leitfaden für den Aufbau von Qualitätsmanagementsystemen und zum anderen als Instrument der Selbstbewertung dient. Den Vorschlägen der EFQM folgend, beschreibt JOHNS die Arbeit des Kooperationsverbunds anhand von neun Kriterien, die sich in die zwei Kategorien "Befähiger" (Führung; Politik und Strategie; Mitarbeiter; Partnerschaften und Ressourcen; Prozesse) sowie "Ergebnisse" (Kunden; Mitarbeiter; Gesellschaft; Schlüsselleistungen) zusammenfassen lassen. Als Schwierigkeit bei der Anwendung dieses Modells auf das Projekt "Hochschulen für Gesundheit" beschreibt JOHNS, dass diese eine neu gegründete, virtuelle Organisation sei, weshalb der Schwerpunkt der Analyse auf den "Befähigern" liegen müsse und von den Ergebnissen lediglich das Kriterium "Kunden", also die Studierenden und Dozenten, beurteilt werden könne. Den Bereich "Kunden" gliedert JOHNS weiter auf in eine Produkt-, eine Prozess- und eine Kontextevaluation. Als Methoden bei der konkreten empirischen Erhebung kommen bei der Studierendenbefragung einerseits fokussierte Interviews (sowohl Einzel- als auch Gruppeninterviews) und zum anderen, basierend auf den Ergebnissen dieser Interviews, eine standardisierte Befragung zum Einsatz. Die Lehrenden werden mittels Leitfadeninterviews jeweils vor und nach der Durchführung der Lehrveranstaltung befragt. [10]

Auch Hermann KÖRNDLEs Beitrag beschäftigt sich mit dem Verbundprojekt "Hochschule für Gesundheit", das für die Ausbildung von Gesundheitsberufen im tertiären Bereich eine Flexibilisierung der Studienmöglichkeiten erreichen will. Er skizziert nochmals den bereits von JOHNS beschriebenen Ansatz der Qualitätssicherung, schränkt jedoch ein, dass der Projektverlauf noch keine weiterführenden Aussagen über dessen Angemessenheit erlaube. [11]

Die Beiträge von Michael HEGER und Sabine SCHMIDT-LAUFF beschäftigen sich beide mit dem INGMEDIA Projekt. Der Schwerpunkt der Evaluation liegt hier auf der Anwendung der Aktionsforschung als einer Methode zur formativen Evaluation. Das INGMEDIA-Projekt basiert auf einer Kombination von virtueller Lehre und Präsenzlehrveranstaltungen; eine Projektevaluation kann sich somit nie nur auf E-Learning beziehen. Michael HEGER skizziert die in Ingenieursstudien dominierende defensive Lernstrategie, woraus sich für INGMEDIA die Frage ergibt, inwieweit Neue Medien zu aktivierenden Lehr-/Lernformen und expansivem Lernen beitragen können. HEGER definiert Evaluation in Anlehnung an Peter BAUMGARTNER (1999) als systematische, entscheidungs- und anwendungsorientierte Analyse und Bewertung, die zwei Funktionen erfülle: Rechenschaftslegung und Qualitätsentwicklung. Als solche sei Evaluation immer präskriptive Forschung und keine sozialwissenschaftliche Grundlagenforschung. Mit der Anwendung von Konzepten der in den 1970er Jahren entstandenen Aktionsforschung verbindet HEGER eine Orientierung hin auf (1) Intersubjektivität anstatt Objektivität, (2) Offenheit für Dynamik anstatt Reliabilität und (3) Praxisrelevanz/Komplexität anstatt Validität. Konkret sollen hochschuldidaktische Konzepte weiterentwickelt, die Erprobung im Realbetrieb evaluiert und die nachhaltige Nutzung sichergestellt werden. So wurden beispielsweise Laborpraktika an einem detailliert ausgearbeiteten und operationalisierten Lehrzielkatalog ausgerichtet. [12]

Sabine SCHMIDT-LAUFF knüpft daran an und skizziert das INGMEDIA Evaluationskonzept anhand von vier Funktionen der Evaluation: Legitimation, Dialog, Erkenntnis und Kontrolle. SCHMIDT-LAUFF spricht dem E-Learning insbesondere in Verbindung mit Aktionsforschung eine Katalysatorwirkung für die Organisationsentwicklung zu – etwa wenn sie als Ziel eine generelle Reflexion und Verbesserung von Lehre an den Hochschulen in Ingenieurstudiengängen angibt und die Integration virtueller Lernumgebungen in bestehende Studiengänge als Anlass sieht, um mit Verantwortlichen in Kontakt zu treten. [13]

Die genannten Beiträge zeigen das organisatorische Umfeld auf, in das Evaluation mitsamt den an sie geknüpften Erwartungen und Anforderungen eingebettet ist. Insbesondere vor dem Hintergrund, dass Evaluation im eigentlichen Sinn von Forschung zu unterscheiden und zweckorientiert sein muss, ist der Hinweis auf die Notwendigkeit eines "role shaping" wichtig. Interessant ist auch, wie insbesondere im Kontext der Aktionsforschung E-Learning einmal mehr als Vehikel bzw. trojanisches Pferd (SCHWARZ 2001) zur Hochschulentwicklung erscheint. [14]

Reiner FRICKE, Peter BAUMGARTNER, Hartmut HÄFELE und Kornelia MAIER-HÄFELE sowie Aemilian HRON diskutieren in ihren Beiträgen verschiedene methodologische Aspekte der Evaluation von E-Learning, wobei in diesem Kontext vor allem die Bewertung von Lernplattformen gemeint ist. Eine solche Evaluation steht dem Dilemma gegenüber, dass eine technische Bewertung zu kurz greift, während sich eine Evaluation didaktischer Szenarien bzw. Bewertung von Lerneffekten aber mit zahlreichen methodologischen Schwierigkeiten konfrontiert sieht. [15]

Reiner FRICKE entwirft ein allgemeines Modell zur Evaluation von Lehr-Lernumgebungen, das folgende Komponenten umfasst: (1) Instruktionsmethode, (2) Lernervariablen, (3) Lernthemen, (4) Lernergebnisse, (5) Lehr-Lernziele und Lehr-Lern-Theorien sowie (6) allgemeine Rahmenbedingungen. Diese Komponenten setzt er in einer deskriptiven bzw. einen präskriptiven Perspektive zueinander in Beziehung. Er definiert die Variablen "Kann", "Ist", "Plan" und "Entwurf", wobei das Prinzip der Evaluation darin bestehe, diese jeweils mit dem "Soll" (alle Intentionen, die zum Einsatz einer bestimmten Lehrmethode geführt haben) zu vergleichen. Im Kontext der Evaluation didaktischer Szenarien setzt diese Betonung des "Soll" dessen genaue Beschreibung und Operationalisierung voraus, woraus sich einige Hindernisse bzw. Grenzen für Evaluationsvorhaben ableiten. So sind die Konstrukteure bzw. Anwender nicht darin geübt, Lehrziele zu operationalisieren und didaktische Entwürfe explizit zu formulieren. Bei der Evaluation bestehender oder angekaufter Lernplattformen werde das Hauptaugenmerk oft auf technische Aspekte gelegt, als würde die Wahl des richtigen Werkzeugs schon didaktische Fragen klären. Bei der für einen solchen Soll-Ist-Vergleich notwendigen Feststellung von Lerneffekten ergibt sich die Schwierigkeit, wie diese methodisch kontrolliert bzw. experimentell einwandfrei zu erfassen seien. Ursache-Wirkungs-Aussagen seien nur mit Pfadanalysen möglich. Als mögliches Einsatzgebiet qualitativer Methoden lässt sich in FRICKEs Darstellung die Ist-Analyse nennen. Insbesondere bei Usability-Tests kommen Beobachtung und Gedankenprotokolle zum Einsatz. Im Rahmen der Evaluation der Methodenkonstruktion nennt FRICKE Expertenbefragungen als mögliche Forschungsmethode. [16]

Peter BAUMGARTNER, Hartmut HÄFELE und Kornelia MAIER-HÄFELE präsentieren in ihrem Beitrag "Lernplattformen im Feldtest" Ergebnisse aus der 2. Phase einer groß angelegten Vergleichsstudie von augenblicklich am Markt erhältlichen Lernplattformen. Sie bauen auf den Ergebnissen aus der ersten Projektphase auf (vgl. BAUMGARTNER, HÄFELE & MAIER-HÄFELE 2002), im Rahmen derer mit Hilfe einer "Schreibtisch"-Bewertung von Beurteilungskriterien (Qualitative Gewichtung und Summierung, QGS) ein Ranking von Lernmanagementsystemen erstellt wurde. Die 15 besten Produkte wurden in der in diesem Beitrag beschriebenen 2. Projektphase einem Praxistest unterzogen. Die Beurteilung erfolgt in drei Schritten: (1) Auswahl anhand von K.O.-Kriterien, (2) Usability-Test durch das Evaluationsteam bzw. durch Referenzen und Befragung von Bildungsinstitutionen, (3) ein halbjähriger Feldtest unter authentischen Bedingungen. Als Erhebungsinstrument wurden neben einem Online-Fragebogen auch Leitfadeninterviews verwendet. Die Autoren beschränken sich dabei nicht auf eine Darstellung des Evaluationskonzepts, sondern liefern eine Reihe konkreter Detailergebnisse. Allgemein haben die Lernplattformen – so die Autoren – keinen sehr guten ersten Eindruck gemacht: Überraschend viele Nutzern hätten sich mit den Programmen nicht leicht zurechtgefunden, wenngleich starke Unterschiede zwischen den Plattformen festzustellen seien. [17]

Aemilian HRON kommentiert den vorangegangenen Beitrag von BAUMGARTNER et al. und stellt sie einer ähnlichen Arbeit Rolf SCHULMEISTERs (2003) gegenüber. HRON hebt die methodischen Unterschiede zwischen den beiden Arbeiten heraus, wobei er zunächst den Ansatz einer qualitativen Gewichtung und Summierung (QGS) skizziert, mit dem BAUMGARTNER et al. sich gegen die verbreitete Vorgehensweise einer numerischen Gewichtung und Summierung (NGS) abzugrenzen versuchen. Bei der QGS werden die Lernplattformen anhand eines Kriterienkatalogs bewertet ("äußerst wichtig", "sehr wichtig", "wichtig", "weniger wichtig", "nicht wichtig"), diese Bewertungen werden aber nicht zu einem einzigen Indikator summiert (etwa im Sinn eines gewichteten Mittelwerts), sondern die Kategorien werden jeweils für sich mit dem Ziel eines Attributprofils zusammengeführt. HRON kritisiert hierbei die mangelnde Hilfestellung bzgl. des Verhältnisses der Attribute zueinander. [18]

Interessant erscheint mir an der Studie von BAUMGARTNER et. al., dass hier der Einsatz verschiedener Lernplattformen in authentischen Settings untersucht wurde. Die Autoren gehen damit über die bloßen Expertenbeurteilungen mittels Kriterienkatalog hinaus und können sicherlich genauere Aussagen darüber treffen, welche Plattform in welchem Anwendungskontext von den Nutzern mit deren jeweils spezifischen Anforderungen und Computerkenntnissen am ehesten akzeptiert würde. Der Ansatz einer "qualitativen Gewichtung und Summierung" kann allerdings zumindest in dieser Darstellung nicht gänzlich überzeugen und erscheint ein bisschen wie ein Versuch, das letztgültige Urteil über besser oder schlechter an die Leser zu delegieren. [19]

Die Autoren des Abschnitts "Zukunftsperspektiven von Evaluation" diskutieren augenblickliche Fehlkonzeptionen (TERGAN) und mögliche Weiterentwicklungen (HAUBRICH, PRÜMMER, HEMSING) von Evaluationsmodellen im E-Learning-Bereich. SCHANZE präsentiert seinerseits eine Evaluation des Einsatzes computerbasierter Concept Maps. [20]

Sigmar-Olaf TERGAN beschreibt das Konzept der realistischen Qualitätsevaluation anhand von zehn Thesen. Seine Argumentation geht davon aus, dass insbesondere E-Learning-Projekte Angaben über ihre Qualität machen müssen. Doch gründen Evaluationen von E-Learning-Angeboten oft auf unrealistischen Annahmen bezüglich der Wirksamkeit medienbasierten Lernens, den Bedingungen erfolgreichen Lernens, der Verallgemeinerbarkeit von Evaluationsergebnissen oder in Bezug auf das Konzept von Evaluation selbst. In den Erläuterungen seiner fünften These – "sich der Stärken und Schwächen der eingesetzten Evaluationsmethode bewusst sein" – beleuchtet TERGAN kritisch die Methoden Medienvergleich, Experiment sowie Expertenbeurteilungen mittels Kriterienkatalogen. TERGAN formuliert die These (S.144), dass der direkte Schluss von der Qualität eines Lernangebots auf den Lernerfolg unrealistisch sei, wenn er die situativen Bedingungen außer Acht lasse. Er greift diesen Gedanken in These 7 wieder auf, um das Maschinenmodell der Wirkungsforschung zu kritisieren. Merkmale von Lernangeboten seien darauf hin zu beurteilen, inwiefern sie Lernaktivitäten unterstützen und aufrechterhalten. Die These 8 lautet folgerichtig, dass die Rahmenbedingungen der Anwendungssituation in die Evaluation einzubeziehen seien, wobei These 9 jedoch wieder auf kontextunabhängige Kriterien eines Lernangebots fokussiert. TERGAN schließt mit der Forderung, dass bei der Beurteilung der Wirkung eines Lernangebots neben Befragungs- und Ratingmethoden auch Methoden zur Erfassung von Lernprozessen und Lernerfolg zu ergänzen seien. An dieser Stelle könnte man fragen, ob dieses Fazit angesichts der in den Thesen 5 bis 8 erarbeiteten Möglichkeiten in methodologischer Hinsicht nicht zu unscharf bleibt. Gerade die Betonung etwa der situativen Bedingungen würde einen eher naturalistisch orientierten Ansatz nahe legen. [21]

Karin HAUBRICH skizziert den jüngeren aus den USA stammenden Ansatz der Cluster-Evaluation, dessen Ziel es ist, die Unterschiede zwischen lokalen Implementierungen eines Programms nicht zu nivellieren, sondern unter Berücksichtigung der jeweils verschiedenen lokalen Rahmenbedingungen einen Nutzen aus dieser Differenz zu ziehen. Dabei eignet sich dieser Ansatz insbesondere zur Evaluation komplexer Programme, die auf systemische Veränderungsprozesse abzielen und mehrere Entwicklungsebenen umfassen. Die Kernfrage der Cluster-Evaluation lautet: Warum sind bestimmte Umsetzungsformen unter bestimmten Rahmenbedingungen erfolgreich oder eben nicht. Es geht ihr um eine nachvollziehbare Beschreibung und Analyse beobachteter Wirkungszusammenhänge, wobei unterschiedlichste Datenquellen und Erhebungsmethoden zum Einsatz kommen und die unterschiedlichen Perspektiven der einzelnen Akteure Berücksichtigung finden sollen. Die Triangulation nimmt im Sinn einer Kombination von Datenquellen, Methoden, Theorien und Evaluatoren einen zentralen Stellenwert ein. Die Schlussfolgerungen werden kommunikativ validiert und insbesondere auf ihre Genauigkeit und Vollständigkeit hin geprüft. Mit Hilfe von "logic models" (Verkettungen von Wenn-Dann-Aussagen) soll die "Handlungstheorie" eines Programms herausgearbeitet werden. HAUBRICH legt dar, inwiefern die Stärken und Schwächen dieses Verfahrens einander bedingen. Die Fähigkeit mit Unterschieden umzugehen, kippt in die Frage um, wie viel Differenz eine Programminitiative verträgt. Die enge Zusammenarbeit der Evaluatoren mit den Programmbeteiligten setzt ihrerseits das Vermögen der Akteure voraus, sich selbst als Nutzer der Evaluation zu begreifen. [22]

Im Rahmen des "med:u"-Projekts an der Universität zu Kiel wurden Concept Maps zur externen Wissensrepräsentation im Sinn eines Prüfungsinstruments, aber auch als unterstützendes Lernwerkzeug eingesetzt. Sascha SCHANZE skizziert die Geschichte und die grundlegenden Ideen dieses Ansatzes, wobei Concept Maps, insbesondere wenn sie in Lernplattformen eingebettet werden, über wenigstens drei entscheidende, mit konstruktivistischen Lernmodellen in Einklang stehende Eigenschaften verfügen: sie betonen die Eigenaktivität, sie fördern gemeinsames Lernen in Kleingruppen und sie eignen sich als Instrument zur individuellen Lernerfolgskontrolle bzw. Wissensdiagnose. Die von den Studierenden generierten Begriffsnetze könnten hinsichtlich einzelner Merkmale wie etwa Umfang, Dichte oder Fragmentiertheit bewertet oder mit einem von Experten erstellten Referenznetz verglichen werden, um Aussagen über ihre Qualität zu erlauben. Nach einer kurzen theoretischen Einführung berichtet SCHANZE von der Evaluation des Einsatzes von Begriffsnetzen im Rahmen eines physiologischen Praktikums. Die Evaluation erfolgte mit Hilfe eines Online-Fragebogens. Wenngleich die Studierenden die internetbasierten, mittels der JaTeK-Lernplattform erstellten Concept Maps als leicht verwendbar einschätzen, konstatiert SCHANZE eine gewisse Skepsis, die er auf den prinzipiellen Einsatz von neuen Informations- oder Kommunikationstechnologien in der Lehre zurückführt. [23]

Sigmar-Olaf TERGAN kommentiert Sascha SCHANZEs Beitrag zur Verwendung von Concept Maps. TERGAN betont, dass sich die wissenschaftliche Begleitforschung vorwiegend auf den Aspekt der Wissensvermittlung konzentriere und anderen Bereichen vielleicht zu wenig Beachtung schenke. [24]

Christine von PRÜMMER präsentiert das Evaluationskonzept zu "Virtual International Gender Studies" (VINGS), einem Kooperationsprojekt mehrerer Universitäten zur Geschlechterforschung. Mit der Projektevaluation beauftragt war das Zentrum für Fernstudienentwicklung (ZFE) der Fernuniversität Hagen, welches über reichhaltige Erfahrungen mit der Evaluation von virtuellen Lernangeboten verfügt. Doch während die am ZFE dominante Kurs- bzw. Systemevaluation vorwiegend auf die Bewertung von Systembestandteilen und den Technikeinsatz fokussiere, erfordere der Einsatz neuer Lehr- und Lernformen ein verändertes Evaluationskonzept, das auch mediendidaktische Aspekte, Fragen der Sozialverträglichkeit, Diskriminierungen beim Zugang oder die Privatisierung des Lernens in den Blick nimmt. In der empirischen Arbeit kommen dennoch auch Evaluationsinstrumente zu Einsatz, die sich an der Fernuniversität bewährt haben wie etwa: schriftliche oder telefonische Befragungen, Gruppen- und Einzelinterviews, Beurteilungen durch Experten oder Nutzer, teilnehmende Beobachtung oder statistische Auswertungen der Einschreib- und Leistungsdaten. [25]

Das Projekt ist so weit fortgeschritten, dass sich bereits einige konkrete Erkenntnisse und Hinweise bzgl. Kursumfang, Kurspräsentation, Inhaltsstrukturierung sowie -präsentation ableiten lassen. So wird der Zeitaufwand häufig unterschätzt. Die Studierenden verfügen oft über keine vorangegangenen Erfahrungen mit virtuellen Studienangeboten bzw. allgemein E-Learning. Der Kursablauf sollte deshalb nicht zu strikt, aber auch nicht zu flexibel sein. Die Inhalte sollten möglichst knapp dargestellt werden – weiterführende Texte sollten als ausdruckbare Texte zum Herunterladen angeboten werden. [26]

Das Evaluationskonzept von VINGS wird auch von Sabine HEMSING kommentiert. Auch sie unterstreicht das auf die Erfahrungen der Fernuniversität Hagen basierende Evaluationskonzept, meint aber, dass sich ein so umfassender Ansatz nur begrenzt auf andere Projekte übertragen lasse. Am ehesten erscheinen ihr Fragebögen und Logfile-Analysen als alltagstauglich. Computergenerierten Daten, deren Entstehung sich nicht anhand "realer" Spuren nachvollziehen lässt, begegnet sie u.a. wegen der leichten Manipulierbarkeit mit Skepsis. Auch HEMSING bespricht den möglichen Einsatz der Informations- und Kommunikationstechnologien als Evaluationsinstrument – etwa die Verwendung von Online-Fragebögen oder auch die in manchen Lernplattformen integrierten Evaluationswerkzeuge. HEMSING diskutiert einige problematische Aspekte der VINGS-Evaluation: die umfangreiche Datengenerierung habe ein Forschen in die Breite statt in die Tiefe zur Folge und führe zu langen Umsetzungszyklen; zudem sei eine Befragungsmüdigkeit festzustellen. Als Konsequenz empfiehlt sie eine Fokussierung der Evaluation und eine Reduktion der Datensammlung auf relevante Bereiche. [27]

Betrachtet man die Beiträge in diesem Kapitel, so scheinen an dieser Stelle wenigstens folgende zwei Hinweise noch einmal kurz erwähnenswert: der Hinweis auf das notwendige Selbstverständnis der Evaluierten als Nutzer von Evaluationen sowie die erwähnte Befragungsmüdigkeit der Studierenden. Beides verweist letztlich auf die Frage eines professionellen Umgangs mit Evaluationen im Sinn einer Erfolgs- bzw. Akzeptanzrückmeldung, welche über vorhandene Kommunikationskanäle auch wegen des Machtgefälles zwischen Lehrenden und Studierenden anders oft nicht möglich ist. [28]

Im abschließenden Kapitel werden einzelne Projekte des Förderprogramms noch einmal genauer vorgestellt. Manche dieser Projekte wurden bereits in vorangegangenen Beiträgen erwähnt. [29]

Rainer HEERS präsentiert Evaluationsergebnisse zum Projekt "Moderation VR" ("Moderation VR – Moderations- und Kreativitätsmodule in virtuellen Realitäten"), dessen Ziel es ist, Kreativitätstechniken kennen und einsetzen zu lernen. Als "Community-Plattform" bietet die eingesetzte Lösung eine Verwaltung von seminarspezifischen Arbeitsmaterialien, Lernmodule und Gruppenräume an. Die Evaluation geht von einer Dreiteilung in (1) Planungs-, (2) Entwicklungs- und (3) Einsatzphase aus. Je nach Phase ist die Hauptaufgabe einer Evaluation (1) das Sammeln von für die Planung nützlichen Informationen, (2) die iterative Optimierung des Projekts und (3) die Messung von Wirkung und Effizienz. Dabei bleibt bei der Darstellung im Text teilweise unklar, inwiefern sich diese von "normaler" Projektentwicklung unterscheiden. Die Evaluationsergebnisse des virtuellen Gruppenraums werden detaillierter dargestellt. So hat sich die Verwendung von Avataren, das meint hier die "virtuelle" Repräsentation der Teilnehmenden mittels Bildern, zur Stärkung der "Group awareness" bewährt; ebenso das nonverbale Signalrepertoire, das half, Sprecherwechsel zu organisieren und Zustimmung auszudrücken. [30]

Hans-Jürgen HAGEMANN beschreibt das zuvor von HEGER skizzierte Projekt INGMEDIA. Ausgehend von der Überzeugung, dass die Informations- und Kommunikationstechnologien neue, nicht-reproduktive Lernformen ermöglichen, soll INGMEDIA erlauben, verschiedene Typen von Praktika online vorzubereiten oder gänzlich in einer virtuellen Lernumgebung abzuhalten. [31]

Sigmar-Olaf TERGAN, Arno FISCHER und Peter SCHENKEL stellen das Projekt Evaluationsnetz ("Evaluationsnetz – Information, Erfahrungsaustausch und Prozessanleitung für die Qualitätsbewertung multimedialer Lernprogramme – EVA") vor. Sie gehen von der These aus, dass beim vorhandenen reichhaltigen Angebot nur geprüfte und qualitativ hoch stehende Lösungen eine Chance auf erfolgreichen Einsatz haben. Während eine summative, produktorientierte Qualitätsevaluation sich in der Regel Checklisten bzw. Kriterienkataloge bediene, kämen empirische Methoden de facto eher im Bereich der wissenschaftlichen Begleitforschung zum Einsatz. Das Projekt "Evaluationsnetz EVA" will in diesem Zusammenhang ein Online-Evaluationssystem schaffen, das Evaluatoren bei der Entwicklung einer Qualitätskontrolle unterstützen soll. In der Endversion soll es den Nutzern Evaluationsinstrumente für unterschiedlichste Einsatzgebiete zur Verfügung stellen. Darüber hinaus wird die Plattform auch einen Fragengenerator zur Erstellung von Fragebögen oder Wissenstests beinhalten. [32]

Reiner FRICKE präsentiert in seinem zweiten Beitrag einen Erfahrungsbericht zur Vorlesung "Einführung in die Erziehungswissenschaft" für 500 Studierende, bei der keine vorgefertigte Softwarelösung, sondern eine von FRICKE und zwei Studierenden entwickelte Lernplattform zum Einsatz kam. Die Verwendung der Lernplattform war eng an die Vorlesung gekoppelt und sollte die Studierenden durch das Zurverfügungstellen von Skripten oder Online-Tests aktivieren. Eine Untersuchung mit Hilfe des Heidelberger Inventars zur Lehrveranstaltungsevaluation (HILVE) ließ eine positive Bewertung dieses Vorlesungstyps durch die Studierenden erkennen. [33]

In seinem zweiten Beitrag geht Sascha SCHANZE noch einmal auf die Lernplattform JaTeK ein, die auf einer sowohl server- als auch client-seitigen Verwendung von Java sowie einer Trennung von Inhalt und Form (Templates) basiert. Die Plattform unterstützt den Präsenzunterricht, indem man sie zur Durchführung von Präsentationen nutzen kann. Sie unterstützt die Studierenden bei der Recherche, indem sie eine Datenbank mit geprüften Inhalten anbietet. Und sie ermöglicht die kollaborative Erstellung von Seminarbeiträgen mit Hilfe synchroner und asynchroner Kommunikationsmittel. Als Kommunikationsplattform findet sie auch im Umfeld problemorientierter Seminare Anwendung. Durch das Angebot von Online-Kursen, Fragebögen, von den Studierenden mit den korrekten Begriffen zu ergänzenden "Lückentexten", Simulationen und Concept Maps fördert sie zudem selbst gesteuertes Lernen. [34]

Das Buch ist aus einem Workshop hervorgegangen, was man ihm an manchen Stellen anmerkt. So sind die Artikel sehr kurz gehalten und reißen Themen oft nur an. Aus der Perspektive eines Lesers, der an einem Buch über die Evaluation von E-Learning interessiert ist, irritiert eventuell, dass manche Projekte in mehreren Beiträgen präsentiert werden, was zu Redundanzen führt. Diese beiden Punkte zusammen erzeugen bisweilen den Eindruck, dass der verfügbare Platz schlecht genutzt wurde. Auch hätte man sich bei manchen Beiträgen gewünscht, dass der konkreten Evaluationsarbeit bzw. dem Verhältnis von Vorgehensweise und erzielten Ergebnissen sowie daraus resultierenden Konsequenzen mehr Raum gegeben worden wäre. Dieser Nachteil des Bandes, die Gestrafftheit der Darstellungen, ist aber auch seine Stärke, da er so einen prägnanten Überblick über sehr verschiedene Evaluationskonzepte bietet, von denen der Großteil sozialwissenschaftlich bzw. psychologisch, manche aber auch eher betriebswissenschaftlich, an Qualitätssicherung oder Usability-Studien orientiert sind. Sollte man selbst in der Situation sein, ein E-Learning-Programm evaluieren zu wollen, so bietet dieser Band zahlreiche Anregungen und Anknüpfungspunkte für weitere Recherchen. [35]

In inhaltlicher Hinsicht vermögen mehrere Punkte eine weiterführende Diskussion zu provozieren. Da ist zum ersten die These, dass die Qualität eines Bildungsangebots, hier eines E-Learning-Angebots, nicht direkt mit dem Lernerfolg verknüpft sei. Das ist insofern einsichtig, als ein noch so gutes Lernangebot keinen Erfolg zeitigen kann, wenn es beispielsweise nicht akzeptiert oder etwa durch einen unglücklichen Einsatz mehr oder weniger unbrauchbar gemacht wird. Diese These stellt dennoch das Konzept einer Qualitätsevaluation in Frage, wenn diese die dem Lernangebot eigene Qualität und nicht glückliche oder eben unglückliche Umstände beurteilen soll. Dieser Punkt ist bedeutend, als sich damit die Stoßrichtung auch einer summativ gefassten Evaluation verschiebt. Die Quantifizierung der Güte eines Programms verliert an Bedeutung. Stattdessen tritt die Frage in den Vordergrund, warum ein Programm genau den Erfolg erbrachte, den es erbracht hat. Das geht über ein als Soll-Ist-Vergleich verstandenes Evaluationsmodell hinaus und macht für gewisse Mängel eines solchen Konzepts sensibel. Da ein so erweitertes Evaluationsmodell nach einer für situative Bedingungen und unterschiedliche Akteurperspektiven sensiblen Vorgehensweise verlangt, eröffnet es zudem Einsatzmöglichkeiten für stärker qualitativ orientierte Methoden. [36]

An zahlreichen Stellen fordern die Autoren und Autorinnen dieses Bands Perspektivenvielfalt, Methoden-, Daten- und Beobachtertriangulation ein. Wenn man jedoch die Grafiken über die intendierten Vorgehensweise bei der Programmevaluation in der Einleitung sowie die einzelnen Beiträge besieht, dominieren Methoden wie Expertenbewertungen mittels Kriterienkatalogen oder standardisierte Befragungen, im Idealfall mittels Online-Fragebogen. Diese Methoden sind praktisch, sie sind mit moderatem Aufwand umsetzbar, und sie sind in der Lage, eine breite Datenbasis zu generieren, auf Grundlage derer Entscheidungen legitimiert werden können – sie sind somit in der Lage für wichtige Funktionen einer Evaluation auf effiziente Weise die nötige Informationsgrundlage zu liefern. Wenn aber beispielsweise die Akteure selbst die Evaluationsergebnisse nutzen möchten, greifen sie oft zu kurz. Letztendlich wird damit, sofern man die angewandte Methode als von der Funktion einer Evaluation abhängig versteht, die Frage nach dem Stellenwert und der Verwendungsweise von Evaluationen im Hochschulbetrieb aufgeworfen. In diesem Zusammenhang erscheint das von Karin HAUBRICH geforderte Scheitern-dürfen von Projekten eine wichtige Voraussetzung, damit die Akteure Evaluation nicht als Kontrollinstanz, sondern als Feedbackinstrument oder Katalysator nutzen lernen. [37]

Drittens geben die Beiträge des Bandes Anlass, die Beziehung von E-Learning zu Evaluation zu diskutieren. Alle Autoren sind sich darüber einig, dass die Verwendung von E-Learning-Elementen mit einer Notwendigkeit zur Evaluation verknüpft ist. Dabei beschränken sich die Argumente nicht auf bloße Rechenschaftslegung gegenüber den Geldgebern. Zumindest im vorliegenden Band wird nicht angesprochen, inwiefern bzw. warum sich E-Learning und "traditionelle" Lehre in ihrer Evaluationsbedürftigkeit unterscheiden. Warum muss bei E-Learning-Projekten mehr evaluiert werden als bei herkömmlichen Lehrformen? Inwiefern unterscheidet sich dieses Verlangen nach Evaluation im Fall von E-Learning einerseits und Präsenzunterricht anderseits? [38]

So ist zum einen festzustellen, dass E-Learning-Angebote nicht selten unter Akzeptanzproblemen leiden und sich Erwartungen an eine Steigerung der Lerneffizienz oft nicht erfüllt haben. Im vorliegenden Band konstatiert etwa SCHANZE eine gewisse Skepsis der Studierenden gegenüber dem Einsatz computerbasierter Concept Maps. SCHANZE (S.184) führt das auf den Umstand zurück, dass das Lernen mit Büchern über Jahrhunderte hinweg optimiert worden sei, wohingegen im Fall computerbasierten Lernens oft schon die nötige Kompetenz im Umgang mit der Technik fehle. Zur Untermauerung führt er eine eigene Untersuchung an, der gemäß 58% der Studierenden sich als Unerfahrene oder Laien in Computersachen einstuften. Es mag sein, dass das Niveau der Computernutzung auf einem eher bescheidenen Niveau verbleibt, nichtsdestotrotz darf man aber nicht vergessen, dass die heutigen Studienanfänger – in welcher Weise auch immer – oft schon im Kindesalter zum ersten Mal einen Computer benutzten. Beispielsweise in einer von mir im November 2004 durchgeführten Umfrage an der Medizinuniversität Wien haben die Erstsemester-Studenten angegeben, durchschnittlich im Alter von elf Jahren (SD=3.8) zum ersten Mal einen Computer verwendet zu haben. 74% besitzen einen eigenen Computer. Aufgrund des Befragungskontexts lag die Rücklaufquote bei über 90%, so dass die Daten jedenfalls als für Studienanfänger des Fachs Medizin repräsentativ gelten dürfen. Anhand dieser Kennwerte ließe sich behaupten, dass Computer für den Großteil der heutigen Studienanfänger ein normaler Bestandteil ihres Lebens sind. Akzeptanzprobleme von E-Learning-Lösungen auf eine mangelnde Technikbegeisterung der Studierenden zurückzuführen ist ein heute nur noch eingeschränkt gültiges Argument, wenngleich es natürlich richtig ist, dass die bevorzugte Nutzungsweise des Computers durch die Studierenden nicht notwendigerweise den "Bedürfnissen" von Lernplattformen entspricht. So stellen beispielsweise STOKES, CANNAVINA und CANNAVINA (2004) fest, dass zwar E-Mail und Internet von Studierenden häufig genutzt werden, dass es aber keine vergleichbare "Kultur" bei der Verwendung anderer, für das Funktionieren von E-Learning jedoch wichtiger Kommunikationsformen wie etwa Forum oder Chat gibt. Hier schiene es wichtig, sich genauer damit zu befassen, warum die Computernutzung in manchen Lebensbereichen für diese Generation zur Selbstverständlichkeit geworden ist, in anderen jedoch nicht, um bei der Entwicklung von E-Learning-Lösungen daran anknüpfen zu können und die Studierenden bei der ihnen selbstverständlichen Form der Computer- bzw. Internetnutzung abzuholen. [39]

Des weiteren scheint die Notwendigkeit zur Evaluation im Kontext von E-Learning-Projekten aber auch durch wesentliche Merkmale von E-Learning bedingt zu sein. Es ist nicht nur der anhaltende Neuigkeitscharakter von E-Learning-Lösungen, der Evaluation notwendig macht. Auch ist es nicht nur der mit der Implementierung umfassender E-Learning-Strategien verbundene finanzielle Aufwand und somit Legitimationszwang gegenüber den Geldgebern. Vielmehr ist das Mehr an Evaluation ein äußeres Zeichen für den veränderten "Produktionsmodus" von Hochschullehre. So hat z.B. Michael KERRES (2001) darauf hingewiesen, dass die mediengestützte Lehre einen arbeitsteiligen Prozess der Lehrmittelerstellung erfordere, da außer der rein fachlichen Expertise auch fachdidaktisches und mediendidaktisches Wissen benötigt werde. Dazu kommen noch verschiedene technische Expertisen, die von der Verwaltung der Server-Infrastruktur bis zur internetgerechten Aufbereitung der Medien reichen. Mit der Kategorisierung von Medieninhalten mit Metadaten und deren Einspeisung in Datenbanken in Form von Repositorien geht zudem die Hoffnung einer längeren Haltbarkeit und besseren Wiederverwendbarkeit der Lehrinhalte auch in Kontexten einher, für die die Inhalte ursprünglich nicht entwickelt wurden. Bei E-Learning-Projekten sind in der Regel mehrere Abteilungen involviert, was für jeden der Akteure letztlich einen Verlust an Souveränität und Entscheidungskompetenz bedeutet. Evaluation erscheint hier als Mittel, diesen komplexen Prozess zu strukturieren und zuvor möglicherweise eher implizit getroffene didaktische oder produktionstechnische Entscheidungen zu rationalisieren. Es ist in diesem Zusammenhang interessant zu fragen, ob die E-Learning-Bestrebungen auf dem Niveau einer mit multimedialen Inhalten angereicherten Kommunikations- und Administrationsplattform zur Ruhe kommen werden oder ob die Entwicklung weiter in Richtung einer Kodifizierung oder vielleicht auch "Taylorisierung" der Hochschullehre gehen wird. [40]

Baumgartner, Peter (1999). Evaluation mediengestützten Lernens. Theorie – Logik – Modelle. In Michael Kindt (Hrsg.), Projektevaluation in der Lehre. Multimedia an Hochschulen zeigt Profil(e) (S.63-99). Münster: Waxmann.

Baumgartner, Peter; Häfele, Hartmut & Maier-Häfele, Kornelia (2002). E-Learning Praxishandbuch: Auswahl von Lernplattformen. Marktübersicht – Funktionen – Fachbegriffe. Innsbruck, Wien: StudienVerlag.

Friedman, Charles P. (1994). The research we should be doing. Academic Medicine, 69(6), 455-457.

Keane, David R.; Norman, Geoffrey R. & Vickers, John (1991). The Inadequacy of recent research on computer-assisted instruction. Academic Medicine, 66(8), 444-448.

Kerres, Michael (2001). Zur (In-) Kompatibilität von mediengestützter Lehre und Hochschulstrukturen. In Erwin Wagner & Michael Kindt (Hrsg.), Virtueller Campus: Szenarien, Strategien, Studium (S.293-302). Münster: Waxmann.

McGowan, Julie J. & Berner, Eta S. (2002). Computers in medical education. In Geoff R. Norman, Cees P.M. van der Vleuten & David I. Newble (Hrsg.), International handbook of research in medical education. Part one (S.537-579). Dordrecht, Boston, London: Kluwer.

Schulmeister, Rolf (2003). Lernplattformen für das virtuelle Lernen: Evaluation und Didaktik. München: Oldenburg.

Schwarz, Christine (2001). E-Learning und Bildungspolitik: Von der Nachhaltigkeit hoher Erwartungen. In Erwin Wagner & Michael Kindt (Hrsg.), Virtueller Campus: Szenarien, Strategien, Studium (S.374-384). Münster: Waxmann.

Stokes, Christopher W.; Cannavina, Cenwein & Cannavina, Giuseppe (2004). The state of readiness of student health professionals for web-based learning environments. Health Informatics Journal, 10(3), 195-204.

Woodward, Christel A. (2002). Program evaluation. In Geoff R. Norman, Cees P.M. van der Vleuten & David I. Newble (Hrsg.), International handbook of research in medical education. Part one (S.127-155). Dordrecht, Boston, London: Kluwer.

Thomas LINK, geb. 1970, Dr. rer. soc. oec., Studium der Soziologie, Forschungsassistent am Institut für Höhere Studien (Wien), seit 2002 Universitätsassistent im Bereich medizinische Aus- und Weiterbildung der Medizinuniversität Wien. Bisherige Arbeitsschwerpunkte: Soziale Ungleichheit, politisches Bewusstsein, Phänomenologie, computerbasiertes Lernen, E-Learning.

Link, Thomas (2004). Die Rollen- und Funktionsvielfalt von Evaluation im Kontext von E-Learning-Projekten. Review Essay: Dorothee M. Meister, Sigmar-Olaf Tergan & Peter Zentel (Hrsg.) (2004). Evaluation von E-Learning. Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven [40 Absätze]. Forum Qualitative Sozialforschung / Forum: Qualitative Social Research, 6(1), Art. 25, http://nbn-resolving.de/urn:nbn:de:0114-fqs0501254.

Forum Qualitative Sozialforschung / Forum: Qualitative Social Research (FQS)

ISSN 1438-5627

Creative Commons Attribution 4.0 International License