---

Evaluation von Bildungsprozessen 

 

1. Allgemeine Kennzeichen

Evaluation ist ein außerordentlich vielfältiger Begriff und umfasst eine Vielzahl möglicher Verhaltensweisen. Daher sollen hier anstelle einer abstrakten Definition die allgemeinen Kennzeichen einer Evaluation aufgeführt werden.

• Dem Wortstamm von „Evaluation“ entsprechend haben alle solche Maßnahmen mit Bewerten zu tun. Evaluation dient als Planungs- und Entscheidungshilfe und hat mit der Beurteilung von Handlungsalternativen zu tun.

• Evaluation ist ziel- und zweckorientiert. Sie hat primär das Ziel, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.

• Evaluationsmaßnahmen sollten dem aktuellen Stand wissenschaftlicher Forschungsmethoden angepasst sein.

• Bei der Evaluation von Bildungsmaßnahmen geht es also darum, zu überprüfen, ob die Maßnahme in ihrer konkreten Ausgestaltung in der Lage ist, die Ziele dieser Maßnahme zu erfüllen, ob sie also hält, was sie (oder man sich von ihr) verspricht.

2. Formen von Evaluationen

Intern vs. extern 

Bei der internen Form wird die Evaluation durch den Initiator der Maßnahme selbst durchgeführt, während bei der externen Evaluation aushäusige Experten damit beauftragt werden.

Fremdevaluation vs. Selbstevaluation

Je nachdem, ob Evaluator und zu Evaluierender identisch sind, wird von Selbst- oder Fremdevaluation gesprochen. Die Fremdevaluation, also die Evaluation durch eine andere Person kann als der Normalfall angesehen werden, denn die Selbstevaluation weist vor allem den Nachteil auf, dass den Ergebnisse eine Tendenz zur Selbstüberschätzung nachgesagt wird. 

Formativ vs. summativ 

Bei der formativen Evaluation handelt es sich um eine Prozessbegleitung, die der Steuerung des Lernprozesses dienen soll. Die summative Evaluation erfolgt bilanzierend nach dem Abschluss einer Maßnahme, nimmt also keinen konstruktiven Einfluss auf die Maßnahme selbst. Soll eine Steuerwirkung durch eine Evaluationsmaßnahme auf einen noch nicht abgeschlossenen Lernprozess ermöglicht werden, so wird eine formative Evaluation durchgeführt. Genügt es hingegen abschließend einen Leistungsstand oder ein Gesamterfolg zu bestimmen, so erfolgt eine summative Evaluation.

3. Instrumente für die Evaluation von Bildungsmaßnahmen

Empirische Verfahren 

Empirische Verfahren lassen sich in drei Gruppen unterteilen: systematische Beobachtungen, Befragungen (Fragebogen und Interview) und Tests. Im Folgenden soll vertieft auf den Fragebogen als Evaluationsinstrument eingegangen werden, da dies eine der häufigsten und am weitesten verbreiteten Methoden ist.

Fragebögen 

Nach dem Abschluss einer Maßnahme wird man wissen wollen, ob die Teilnehmer zufrieden sind, ob die Anregungen für praktikabel gehalten werden und ob tatsächlich ein Transfer geglückt ist. Für diese Zwecke bietet sich häufig eine schriftliche Befragung mittels Fragebögen an. Dazu stehen zwei Möglichkeiten zur Verfügung: Die Befragung der Teilnehmer unmittelbar am Ende einer Maßnahme und die Befragung einige Zeit nach der Bildungsmaßnahme zur Ermittlung des Transfererfolgs.

Die Befragung unmittelbar nach Beendigung einer Bildungsmaßnahme ist besonders bei Weiterbildungsmaßnahmen sehr beliebt, weil es ein kostengünstiges und schnell einsetzbares Instrument ist. Damit lassen sich jedoch nur die momentanen durch Stimmungen beeinflussten Einschätzungen der Teilnehmer bezüglich des Seminarerfolgs darstellen. Nicht möglich sind hingegen Aussagen über die Anwendung des Gelernten im betrieblichen Alltag. Auch die Beurteilung aus Sicht des Dozenten fehlt.

Zur Ermittlung des Transfererfolgs werden daher oft weitere Fragebögen mehrere Wochen oder Monate nach der Bildungsmaßnahme eingesetzt. Dabei werden Fragen nach der Anwendung des Gelernten im Arbeitsalltag und nach möglichen Verbesserungen der Arbeitsergebnisse gestellt.

Diese Art der Befragung bringt bessere Ergebnisse was die Auswirkung der Bildungsmaßnahme auf den realen Arbeitsalltag betrifft, ist aber auch kostenintensiver als eine Befragung unmittelbar nach Seminarende. Dazu kommt, dass die Bereitschaft der Teilnehmer Fragebögen auszufüllen erheblich niedriger ist als noch am Ende der Maßnahme.

Die Hauptprobleme von Befragungen mit Fragebögen liegen zum einen darin, dass komplexe Lernziele, wie z.B. Teamfähigkeit, Problemlösefähigkeit, Kreativität oder Motivation schwierig bis gar nicht messbar sind und zum Anderen, dass Veränderungen, die im Arbeitsprozess auftreten, nicht unmittelbar auf die Bildungsmaßnahmen zurückgeführt werden können. 

Qualitative Verfahren 

Qualitative Verfahren spiegeln die Bedürfnisse und subjektiven Einschätzungen von Betroffenen wieder ohne Ansprüche an Objektivität und Allgemeingültigkeit zu stellen. Die Vorteile dieser Verfahren liegen in ihrer flexiblen Handhabung und ihrer Anpassungsfähigkeit an verschiedene komplexe und wenig vorstrukturierte Situationen. Sie bringen Ergebnisse von unmittelbarer praktischer Bedeutung hervor. Außerdem kann mit einer höheren Akzeptanz durch die Betroffenen gerechnet werden. Es gibt mehrere Varianten an Befragungsinstrumenten, wie das unstrukturierte Interview, die teilnehmende Beobachtung oder den einfachen Fragebogen mit zum Teil offenen Antwortmöglichkeiten.

Weitere bewährte Methoden zur Evaluation von Bildungsmaßnahmen

Im Folgenden sollen einige Methoden näher beschrieben werden, die sich besonders für die Evaluation von Bildungsmaßnahmen eigenen:

Lerntagebuch

Das Lerntagebuch soll die einzelnen Elemente einer Bildungsmaßnahme und deren individuell empfundene Wirkung subjektiv festhalten. Es setzt die Fähigkeit über die eigenen Lernprozesse zu reflektieren voraus. Wichtig ist, dass genügend Zeit zum Führen des Lerntagebuchs zur Verfügung gestellt wird. 

Blitzlicht 

Beim Blitzlicht sagt jeder Teilnehmer in einem oder zwei Sätzen, wie er den heutigen Tag erlebt hat, wie er sich fühlt und was er sich vom kommenden Tag erwartet. Dazu kann man auch eine bildhafte oder schriftliche Form (Wandzeitung) der Darstellung wählen. Es sind keine Diskussionen erlaubt und der Moderator darf sich nicht für irgendwelche Punkte rechtfertigen. Die Dauer sollte nicht mehr als 15 Minuten betragen.

Das Blitzlicht ist ein Instrument, um die momentan herrschende Stimmung in einer Gruppe aufzuzeigen und damit einer Verarbeitung zugänglich zu machen. 

Stimmungsbarometer

Beim Stimmungsbarometer werden die Teilnehmer gebeten, ein anonymes Meinungsbild auf einer vorbereiteten Papierwand mittels Klebepunkten abzugeben. Jedes Gruppenmitglied kann dabei nur für sich selbst Aussagen treffen und zwar über persönliche subjektive Empfindungen oder belegbare Wahrnehmungen.

In allen drei Fällen wird ein Ansatzpunkt für eine Klärung auf der Inhalts- und besonders aber auch auf der Beziehungsebene gesucht. Die Vorteile eines solchen Diskussionseinstiegs können in drei Punkten zusammengefasst werden.

(1) Es wird ein Meinungsbildes aller Teilnehmer ermittelt und nicht einzelner Wortführer.
(2) Außer beim Blitzlicht sind anonyme Meinungsäußerungen möglich, wodurch Hemmschwellen abgebaut werden.
(3) Aggressionspotentiale und Konfrontationsgefahren lassen sich früh abbauen.

Nachbereitungsveranstaltung

Nachbereitungsveranstaltungen (Follow-up-Seminare) sind bei einer entsprechenden Ausgestaltung geeignet, ein differenziertes Bild über den Erfolg einer Bildungsveranstaltung zu zeichnen. Sie können darüber hinaus transferfördernd eingesetzt werden und Defizite der Hauptveranstaltung unmittelbar beheben helfen. Die Effizienz solcher Nachbereitungsveranstaltungen wird durch gezielte Vorbereitung gesteigert. Beispielsweise könnte eine Selbstevaluation des Transferergebnisses im Rahmen einer Gruppenarbeit erfolgen, indem über die Frage diskutiert wird, welches der Erfolg des Seminars am Arbeitsplatz und im Privatleben war. Als seminarinterne Evaluation könnte gleichzeitig geklärt werden, welche Aspekte des Seminars entbehrlich waren, welche fehlten und welche Anmerkungen zu den Trainern zu machen wären.

4. Qualitätszirkel als Evaluationsinstrumente

Im Qualitätszirkel untersucht ein Team oder ein Gremium die Qualität der eigenen Arbeit und sucht nach Verbesserungsmöglichkeiten. Es sind Treffen, bei denen die Mitarbeiter eines Arbeitsbereichs regelmäßig und nach einem systematischen Verfahren die Qualität ihrer eigenen Arbeit betrachten, beurteilen und Verbesserungen vereinbaren. Qualitätszirkel sind Orte innerhalb einer Einrichtung oder Organisation, an denen Entwicklung, Lernen und Erneuerung institutionalisiert sind. Es sind Treffen zur Qualitätssteigerung und Orte sozialen Lernens. Thema eines Qualitätszirkels kann prinzipiell alles werden, was zu verbessern ist.

Grundsätzlich sollten alle Mitarbeiterinnen und Mitarbeiter eines Teams, Bereichs oder Gremiums daran teilnehmen. Es gibt jedoch eine Obergrenze der Teilnehmerzahl, die zwischen zwölf und fünfzehn Personen liegt. Auch wenn die Anzahl der Teilnehmer unter drei sinkt, ist die Arbeit nicht mehr fruchtbar. Da dies aber ohnehin die Grenzen für die Größe arbeitsfähiger Gruppen sind, können diese Zahlen zugleich eine Orientierung bieten für die sinnvolle Größe von Gremien, die etwas entscheiden sollen.

Die Qualitätszirkel vereinbaren selbst den Rhythmus und die Dauer ihrer Sitzungen. Sie orientieren sich dabei an der Zahl der Themen, die sie bewältigen müssen und an den Bedingungen der jeweiligen Besprechungen und Konferenzen, deren Teil sie sind. Die Abstände zwischen den Treffen sollten nicht zu groß sein, und für ein Gespräch muss ausreichend Zeit zur Verfügung stehen. Für Qualitätszirkel mit Aufgaben im Primärprozess hat sich der Monatsrhythmus bewährt. Gremien aus dem Sekundärbereich müssen sich kaum häufiger als zwei- bis viermal im Jahr zusammen finden. An Gesprächszeit sollte nie weniger als eine Stunde zur Verfügung stehen, eineinhalb Stunden sind günstiger.

Qualitätszirkel werden grundsätzlich moderiert, ihre Ergebnisse müssen protokolliert werden.

 

---