B00DF3U7XO EBOK Biech Elaine

Prev Next

Nach dem Training geht’s weiter: Evaluation

In diesem Kapitel

Ziel und Zweck der Evaluation bestimmen

Die vier Evaluationsstufen nach Kirkpatrick verstehen

Wie verschiedene Trainingsevaluationssysteme entwickelt wurden

Grundlagen für einen praxisorientierten Evaluationsplan erarbeiten

Die Evaluation – das ist die fünfte und letzte Phase des Trainingszyklus, den ich in Kapitel 3 vorgestellt habe. Wenn Sie bis dahin gekommen sind, haben Sie den kompletten Trainingszyklus durchlaufen und können nun den Überblick genießen. Während der Evaluation werden Sie auf die früheren Phasen zurückblicken, zum Beispiel auf die erste Phase der Bedarfsanalyse. Die Lernziele, die Sie in der zweiten Phase formuliert haben, dienen Ihnen nun als Grundlage für die Evaluation.

Die Evaluationsphase (siehe Abbildung 13.1) ist auch für Sie als Trainer sehr wichtig. Hier können Sie sich als Geschäftspartner des Unternehmens, für das Sie arbeiten, beweisen. Denn Sie sind die Hauptansprechperson für Fragen wie: Wie hat das Training die Performance der Mitarbeiter verbessert? Wie stark ist die Fehler- und Nachbesserungsquote zurückgegangen? Wie hat das Training auf Umsatz und Mitarbeiterzufriedenheit gewirkt? Und schließlich: Inwieweit beeinflusst das Training wirtschaftliche Kennzahlen?

In diesem Kapitel gehe ich ausführlich auf die Gründe für die Durchführung von Evaluationen ein, beschreibe Kirkpatricks Evaluationsstufen und gebe Ihnen Handlungshilfen für die Erstellung eines eigenen Evaluationsplans.

Das Besondere in diesem Kapitel ist Dr. Donald Kirkpatricks eigener Beitrag Der Guru der Trainingsevaluation. Seine praktischen und logisch leicht nachvollziehbaren Gedanken zu seinem Modell beweisen, dass nicht alles kompliziert sein muss. Weniger ist manchmal mehr. Dieses Kapitel enthält auch ein Interview mit Jack Phillips, einem weiteren Fachmann zum Thema Trainingsevaluation. Ich freue mich, dass beide in diesem Buch den Lesern ihre Perspektive zu diesem interessanten Gegenstand mitteilen.

Abbildung 13.1: Phase 5 des Trainingszyklus: Evaluation

Ziel und Zweck von Evaluationen

Das Ziel eines Trainings besteht darin, die Mitarbeiter zu verändern: ihr Verhalten, ihre Ansichten, ihr Wissen, das Niveau ihrer Fähigkeiten. Die Trainingsevaluation wiederum hat zum Ziel, das Erreichen genau dieser Trainingsziele zu überprüfen. Ein Weg ist dabei das Feedback. Feedback kann der Trainer auf zweierlei Weise erhalten: durch Selbstauskunft der Teilnehmer oder durch deren Beobachtung.

Mit verschiedenen Evaluationsmethoden kann verschiedenen Personengruppen Feedback gegeben werden:

Mitarbeiter erfahren, wie erfolgreich sie beim Erwerben und Erlernen neuer Inhalte, Fähigkeiten und Verhaltensweisen waren.

Mitarbeiter erfahren, wo ihre beruflichen Stärken und Schwächen liegen. Evaluationsergebnisse können positiv verstärkend und motivierend wirken.

Trainer erfahren, welche unmittelbaren Veränderungen im Training notwendig sind und wie künftige Trainingsinterventionen und Programme besser gestaltet werden können.

Vorgesetzte erfahren, ob es eine beobachtbare Veränderung bei den Mitarbeitern gibt, ob sich das Training positiv auf den Erfolg und die Performance ausgewirkt hat.

Das Unternehmen erfährt, ob sich die Investition in die Weiterbildungsmaßnahme rentiert (ROI oder Return on Investment).

Die Evaluation ist zwar die letzte Phase im Trainingszyklus, doch das bedeutet nicht, dass Sie sich erst ganz am Schluss darüber Gedanken machen. Ganz im Gegenteil. Schon ganz früh in der Designphase – sofort nach der Formulierung der Trainingsziele – sollten Sie überlegen, wie Sie die Trainingsergebnisse messen wollen.

Kirkpatricks vier Evaluationsstufen

Das Modell verschiedener Evaluationsstufen ist hilfreich, um die verschiedenen Kriterien zu unterscheiden, die im Verlauf eines Evaluationsprozesses untersucht werden müssen, um zu messbaren Aussagen über die Qualität des Trainings zu kommen. Der US-amerikanische Experte für Evaluationen von Trainingsprogrammen Donald Kirkpatrick hat die vier Evaluationsstufen vor mehr als fünfzig Jahren entwickelt. Obwohl manche Unternehmen mittlerweile eine fünfte Stufe für den Return on Investment (ROI) hinzufügen, gilt Kirkpatricks Modell immer noch als Standard für die Evaluation von Weiterbildungsmaßnahmen.

Beachten Sie bei der folgenden Darstellung, wie einfach und doch elegant die einzelnen Stufen oder Ebenen des Modells aufeinander aufbauen. Auf jeder Stufe werden die erhobenen Daten objektiver und für das Management aussagekräftiger. Allerdings bedeutet jede Stufe mehr Arbeit und erfordert differenzierte Techniken der Datensammlung.

Viele Unternehmen und Organisationen bleiben nach wie vor bei der ersten Evaluationsstufe stehen und fragen nur nach der Teilnehmerzufriedenheit. Das ist zwar einfach, doch die Unternehmen selbst erfahren dadurch nichts, was den wirklichen Wert des Trainings belegen könnte.

Bevor Sie irgendeine Form der Evaluation durchführen, sollten Sie wissen, wozu die erhobenen Daten gebraucht werden. Wenn Sie die Daten gar nicht nutzen wollen, brauchen Sie auch nicht zu evaluieren.

Ebene I: Zufriedenheit (reaction)

Auf Ebene I wird gemessen, wie zufrieden die Teilnehmer mit dem Training waren. Die Teilnehmerreaktionen sind relevant, wenn es darum geht, ob das Seminar eines externen Trainers wiederholt werden soll. Auch wenn die Mitarbeiter für die Weiterbildungsmaßnahme gezahlt haben, ist die Zufriedenheit eine entscheidende Messgröße. Bei internen Weiterbildungsveranstaltungen gibt die Teilnehmerzufriedenheit Aufschluss darüber, welche Änderungen am Trainingsdesign eventuell notwendig sind. Für externe Berater wäre dies sicherlich auch interessant, doch darauf hat das Unternehmen, das den Trainer engagiert hat, in der Regel keinen Einfluss. Die Evaluation der Teilnehmerzufriedenheit findet bei nahezu allen Trainingsmaßnahmen statt.

Wenn Sie ein mehrtägiges Seminar leiten, kann es sinnvoll sein, am Ende jedes Seminartages eine Evaluation durchzuführen. Bei einem eintägigen Seminar ist vielleicht auch zur Halbzeit am Mittag ein kurzes Feedback angebracht, damit der Trainer das Programm je nach Bedarf noch kurzfristig umstellen kann. Auch die Teilnehmer profitieren, wenn sie über ihren bisherigen Lernfortschritt kurz nachdenken.

Sie wollen nach dem ersten Tag eine Zwischenevaluation durchführen, haben aber keinen Fragebogen zur Hand? Versuchen Sie es damit:

Stellen Sie zwei Flipcharts auf, auf ein Blatt schreiben Sie »Was positiv ist«, auf dem anderen »Was zu verbessern ist«. Bitten Sie die Teilnehmer um Verbesserungsvorschläge, aber auch um Lob für gelungene Aktivitäten. Notieren Sie die Antworten der Teilnehmer.

Ich teile auch regelmäßig Karteikarten an die Teilnehmer aus und bitte sie darum, den Seminartag mit einer Note zwischen 1 und 6 zu bewerten und eine Begründung für die gegebene Note anzufügen. Die Karten bleiben anonym.

Auf Ebene I werden zwar keine Aussagen über Leistungsverbesserungen oder tatsächliche Verhaltensänderungen gemacht. Dennoch liefert diese Evaluationsstufe wertvolle Informationen.

Die Leistung des Trainers wird beurteilt.

Ebene I liefert schnell und kostengünstig Informationen.

Wenn das Evaluationsinstrument, in der Regel ein Fragebogen, gut gemacht ist, liefert er wichtige Daten über den Verbesserungsbedarf.

Die Teilnehmerzufriedenheit gibt dem Management erste Orientierung darüber, ob weiter in diese Weiterbildung investiert werden soll.

Wenn unmittelbar im Anschluss an das Seminar evaluiert wird, beträgt die Rücklaufquote annähernd 100 Prozent. Damit ist die Datenbasis vollständig.

Ebene II: Lernen (learning)

Auf Ebene II wird gemessen, ob die Teilnehmer tatsächlich etwas gelernt haben, das heißt, ob sie – je nach Trainingsziel – ihr Wissen ausgebaut, ihre Fähigkeiten verbessert oder ihre Verhaltensweisen geändert haben. Was haben die Teilnehmer aufgenommen? Wissen sie, wie sie das Gelernte umsetzen können?

Die Ziele des Trainingsdesigns geben eine erste Grundlage dafür, was auf Ebene II zu evaluieren ist. An dieser Stelle können Trainer nicht nur herausfinden, wie zufrieden die Teilnehmer waren, sondern was sie im Ergebnis künftig anders tun können. Tests, Fertigkeitsübungen, Simulationen, Gruppenevaluationen, Rollenspiele und andere Assessment-Instrumente richten das Augenmerk darauf, was die Teilnehmer während des Trainings gelernt haben. Tests gehören zwar zum Lernen, doch allein das Wort wird häufig mit Stress und Unbehagen verbunden und ruft schlechte Erinnerungen an die Schule hervor. Deshalb sollten Sie andere Wörter als »Test« oder »Prüfung« verwenden, auch wenn Sie genau dies tun. Die Daten, die durch Messung von Lernergebnissen erhoben werden, können auf verschiedene Weise genutzt werden.

Selbsteinschätzung für die Teilnehmer im Vergleich zum Stand vor dem Training

Einschätzung des Wissensstands des Teilnehmers in Hinblick auf die beruflichen Anforderungen

Wird eine Meinungsbefragung durchgeführt, kann die Einstellung gegenüber einem bestimmten Sachverhalt erfragt werden.

In handwerklichen Bereichen kann die Beherrschung von Sicherheitsbestimmungen bei der Fertigung geprüft werden.

Ebene III: Verhalten (behavior)

Auf Ebene III wird geprüft, ob die Teilnehmer das erlernte Wissen und die Fähigkeiten auch umsetzen können. Findet tatsächlich ein Lerntransfer am Arbeitsplatz statt?

Da auf dieser Ebene das Verhalten am Arbeitsplatz gemessen werden muss, ist die Evaluation um einiges schwieriger. Erstens können die Teilnehmer das neue Verhalten erst dann zeigen, wenn sie Gelegenheit dazu haben. Zweitens ist es schwierig vorherzusagen, wann sie es umsetzen. Dass sie gleich die erste Gelegenheit ergreifen, ist nicht gesagt. Bei dieser Evaluationsstufe ist also der Zeithorizont wichtig.

Manchmal ist es noch komplizierter: Der Teilnehmer hat vielleicht das Verhalten gelernt und bereits angewendet, doch der Vorgesetzte erlaubt ihm nicht, damit fortzufahren. Als Trainer hoffen Sie, dass dies nicht geschieht, doch solche Fälle gibt es leider häufiger, vor allem wenn die Abteilung Weiterbildung sich selbst fragt, ob das Problem vielleicht durch Training gar nicht gelöst werden kann. Zur dritten Evaluationsstufe gehört es auch zu messen, wie häufig die gelernten Fähigkeiten und Fertigkeiten eingesetzt werden, je nachdem welche günstigen oder ungünstigen Umstände bestehen.

Die Evaluationsstufen I und II sollten unmittelbar nach dem Training erfolgen, für die dritte Stufe gilt dies nicht. Zunächst müssen die Teilnehmer am Arbeitsplatz beobachtet werden, müssen Fragebogen entwickelt und muss mit den Vorgesetzten geredet werden. Schließlich werden die Daten ausgewertet. Die Evaluation ist vielleicht schwieriger, der Nutzen ist jedoch eindeutig.

Die Evaluation fördert tatsächliche Verhaltensänderungen am Arbeitsplatz.

Die Evaluationsergebnisse von Ebene III können, wenn möglich, quantifiziert werden und mit den anderen Arbeitsplatzergebnissen in Beziehung gesetzt werden.

Falls festgestellt wird, dass der Lerntransfer mangelhaft ist, können entsprechende Maßnahmen zur Änderung des Trainingsdesigns ergriffen werden.

Eine Vorher-Nachher-Messung erbringt Daten, die auch zum Verständnis anderer Zusammenhänge wertvoll sein können.

Manchmal helfen Verhaltensmessungen auch bei der Suche nach der Ursache fehlender Veränderungen, die mit der Weiterbildungsmaßnahme nichts zu tun haben.

Ebene IV: Ergebnisse (results)

Auf Ebene IV wird der Einfluss des Trainings auf das Unternehmen oder die Organisation selbst gemessen. Die Stichwörter sind Kosten-Nutzen-Analyse oder Return on Investment. Auf dieser Ebene sind andere Methoden erforderlich als auf den vorigen.

Die Ergebnisse lassen sich in wirtschaftlichen Kennzahlen ausdrücken wie: verminderte Personalfluktuation, verbesserte Qualität, ausgebauter Kundenservice, verminderter Ausschuss, rückläufige Fehlerquote, weniger Fehlzeiten, weniger Reklamationen. Sie müssen auch die andere Seite der Gleichung beachten, das heißt, wie viel das Training insgesamt (Design und Durchführung) im Vergleich zu den Ergebnissen kostet. Die Datenerfassung dazu ist relativ leicht: Man addiert die Kosten für Trainer, Material und Ausrüstung, Reisekosten, Raumbelegungskosten und Kosten der Abwesenheit am Arbeitsplatz.

Eine Kosten-Nutzen-Analyse wird normalerweise erstellt, bevor die Entscheidung für ein Trainingsprogramm fällt, um zu prüfen, ob die Investition sich voraussichtlich lohnen wird. Die Berechnung des Return on Investment (ROI) wird nach dem Training vorgenommen.

Die Messungen beziehen sich auf die tatsächlichen, für das Unternehmen erzielten Effekte des Trainings. Zu den Messdaten auf Ebene IV gehören Produktivität, Qualität, Effizienz, Kosten und Kundenzufriedenheit.

Der Guru der Trainingsevaluation

Von Dr. Donald Kirkpatrick

Ja, ich habe das Buch Evaluating Training Programs: The Four Levels veröffentlicht. Hier können Sie lesen, wie es dazu kam.

Ich unterrichtete am Management Institute der University of Wisconsin und wollte meinen Doktor in Erziehungswissenschaften machen. Das Thema meiner Dissertation lautete: »Evaluating a Human Relations Training Program For Supervisors«. Ich dachte, da ich am Institut unterrichtete, könnte ich gleich den Erfolg meines Trainingsprogramms untersuchen. Das waren meine Überlegungen:

Wenn ich etwas bewerten will, interessiert mich als Erstes, welchen Eindruck die Teilnehmer von dem Programm haben. Schließlich sind sie unsere Kunden! Ich nannte das Ganze REACTION.

Als Nächstes wollte ich messen, inwieweit die Teilnehmer die Dinge lernten, die wir ihnen zu vermitteln suchten: Managementlehre und Managementmethoden sowie Mitarbeitermotivation und -ausbildung. Außerdem wollte ich wissen, ob sich durch das Trainingsprogramm die Einstellung der Teilnehmer zu ihrem Unternehmen, ihrem Beruf und seinen neuen Herausforderungen verändert hatten. Deshalb nannte ich diesen Teil der Evaluation LEARNING.

Schließlich wollte ich wissen, ob die Teilnehmer das Gelernte am Arbeitsplatz praktisch umsetzen, und nannte diesen Teil BEHAVIOR. Und zuletzt wollte ich herausfinden, ob für das Unternehmen konkrete Trainingsergebnisse messbar sind, und nannte dies RESULTS.

In der Zeitschrift Training & Development, herausgegeben von der ASTD, veröffentlichte ich 1959 eine Serie von vier Artikeln, jeder war einer der »Ebenen« gewidmet, so wie sie nun genannt wurden. Viele Trainer probierten sie aus und erzählten einander davon. Viele haben mir geschrieben und um eine Kopie der Artikel gebeten.

Erst 1993 bat mich Jane Holcomb, eine befreundete Kollegin, ein Buch darüber zu schreiben, denn niemand konnte die Artikel mehr finden, sondern redeten nur noch von den »vier Ebenen«. Die erste Auflage von Evaluating Training Programs: The Four Levels erschien 1994. Einige Jahre später kam eine broschierte Ausgabe heraus, 1998 erschien die zweite, um einige neue Fallstudien ergänzte Auflage. Ich wollte im zweiten Teil des Buches einige Fallstudien hinzufügen, um dem Leser zu zeigen, wie andere Organisationen die vier Ebenen anwandten. Als Erstes sprach ich mit Dave Basarab, dem Evaluationsexperten bei Motorola. Als ich ihm sagte, wer ich bin, antwortete er: »Don Kirkpatrick! Wir benutzen Ihre vier Ebenen auf der ganzen Welt!« Ich reagierte eher mit Unglauben: »Wirklich?« Basarab hat schließlich nicht nur eine Fallstudie geschrieben, sondern auch das Vorwort zu dem Buch verfasst.

Ich halte Vorträge auf vielen Konferenzen und in vielen Unternehmen. Manche bezeichnen mich bereits als einen »Guru« oder als eine »Legende«, doch eigentlich habe ich nur vier einfache und praktische Wege zur Evaluation von Trainingsmaßnahmen aufgezeigt.

Leitfaden für die Durchführung der vierstufigen Evaluation

Nach dem allgemeinen Überblick zeige ich Ihnen nun, mit welchen Methoden Sie jede einzelne Evaluationsstufe durchführen können. Sie erfahren außerdem, was Sie bei der Entwicklung eines eigenen Evaluationsplanes beachten müssen.

Messung auf Ebene I

Die Teilnehmerzufriedenheit kann leicht während des Seminars oder im direkten Anschluss daran gemessen werden, am besten, bevor die Teilnehmer den Raum verlassen. Normalerweise wird dazu ein Bewertungsblatt mit konkreten Fragen, einer Zufriedenheitsskala und einer offenen Frage ausgeteilt. Seit Neuestem verwenden Trainer auch Online-Fragebogen. Der Nachteil ist allerdings eine geringere Rücklaufquote.

Wie gehen Sie vor?

1. Legen Sie fest, was Sie wissen wollen.

Wahrscheinlich wollen Sie etwas darüber wissen, wie relevant der Inhalt für die beruflichen Anforderungen der Teilnehmer war und ob der Schwierigkeitsgrad der behandelten Themen angemessen war. Sie werden auch wissen wollen, ob sie mit der Präsentation des Trainers zufrieden waren, ob er zugänglich war und auf Fragen eingehen konnte oder wie sie dessen kommunikative Fähigkeiten einschätzen.

2. Gestalten Sie ein Format, das die Teilnehmer leicht ausfüllen können und das es Ihnen ermöglicht, die Antworten zu quantifizieren.

Es gibt viele verschiedene Arten von Fragebogen, die Gestaltung hängt davon ab, was Sie (siehe Punkt 1) von den Teilnehmern wissen wollen. Sie können kurze Statements formulieren, die anhand einer Skala zwischen 0 bis 7 (»stimme gar nicht zu« bis »stimme voll zu«) bewertet werden sollen. Offene Fragen sind ebenfalls möglich. Sie können auch beides miteinander kombinieren. Wenn Sie konkrete, wertende Fragen stellen, ist es auf alle Fälle empfehlenswert, am Ende einige Zeilen für allgemeine Bemerkungen freizulassen.

3. Versuchen Sie, eine Rücklaufquote von 100 Prozent zu erzielen.

Wenn das Timing stimmt und für das Ausfüllen des Fragebogens genügend Zeit eingeplant wird, können Sie einen kompletten Rücklauf erzielen. Zwanzig Minuten vor Seminarende teilen Sie die Blätter aus und bitten die Teilnehmer, sich vor dem Zusammenpacken etwas Zeit zu nehmen. Je mehr Zeit Sie veranschlagen, desto größer ist auch die Wahrscheinlichkeit, dass Sie ausführliche Kommentare erhalten.

Ehrliche Antworten sind die Grundbedingung für eine sinnvolle Evaluation. Deshalb sollten Sie Anonymität garantieren. Bitten Sie die Teilnehmer, den ausgefüllten Bogen beim Herausgehen auf einen Tisch an der Seite zu legen, statt ihn an ihrem Platz liegen zu lassen. Wenn Sie wichtige Gründe dafür haben, die Urheber der Kommentare zu erfahren, zum Beispiel weil Sie Feedback geben wollen, sollten Sie es den Teilnehmern freistellen, den Fragebogen zu unterzeichnen.

Wenn Sie als interner Trainer tätig sind, hat Ihre Abteilung höchstwahrscheinlich bestimmte Bemessungsstandards entwickelt, die Sie erfüllen sollten, das heißt, ab denen sie mit Ihren Trainerleistungen zufrieden ist (zum Beispiel eine Bewertung von 5,5 bis 7 auf der Zufriedenheitsskala).

Eine umfassende Checkliste zur Trainingskompetenz finden Sie am Ende dieses Kapitels. Einige Aspekte daraus können Sie gut für die Evaluation auf Ebene I nutzen. Vielleicht wollen Sie und Ihre Kollegen sie auch für ein gegenseitiges Feedback verwenden.

Viele Praktiker im Weiterbildungsbereich tendieren mittlerweile dazu, die Messung der Teilnehmerzufriedenheit als zu unbedeutend und oberflächlich abzutun. Das liegt vielleicht daran, weil es differenziertere Evaluationsmethoden gibt und weil es klüger erscheint, sich mehr auf Kennzahlen zu konzentrieren. »Smile Sheet« ist zu einem abschätzigen Begriff geworden. In diese Falle sollten Sie aber nicht tappen. Die vier Ebenen nach Kirkpatrick bauen sorgfältig aufeinander auf. Ebene I kann nicht einfach übersprungen werden, wenn Sie auf Ebene II und III evaluieren wollen. Auch wenn »nur« Reaktionen abgefragt werden, sind es die Reaktionen Ihrer Kunden, und zwar aus erster Hand. Für Trainer gibt es kaum erfolgreichere und wirksamere Möglichkeiten, über ihre eigene Leistung Feedback zu erhalten. Auch das beste Trainingsdesign ist so gut wie wertlos, wenn es mangelhaft präsentiert wird. Der Lernerfolg der Teilnehmer wird dadurch erheblich beeinträchtigt. Die erste Evaluationsstufe dient auch dazu, Fragen zum Inhalt zu stellen. Zentral ist es hier, den Fragebogen so zu formulieren, dass die Art der Vermittlung der wesentlichen Seminarinhalte gemessen werden kann.

Messung auf Ebene II

Haben die Teilnehmer etwas gelernt? Die Evaluation auf Ebene II kann anhand von Selbsteinschätzungen, Assessments, Tests, Simulationen, Fallstudien oder anderen Aufgaben durchgeführt werden. Die Lernevaluation sollte zum Ende der Weiterbildung durchgeführt werden, bevor die Teilnehmer verabschiedet werden. Dies setzt voraus, dass auch vor der Trainingsmaßnahme gemessen wird. Ein Vorher-Nachher-Vergleich macht den Lerneffekt durch das Training sichtbar.

Was wird gemessen? Wissen, Fähigkeiten (Skills) und/oder Verhaltensweisen/Einstellungen – je nach Trainingsgegenstand. Mit Tests lässt sich Wissen abfragen, Verhaltensstudien und Meinungsbefragungen messen Einstellungsänderungen. Der Erwerb bestimmter Fähigkeiten wird durch Leistungstests und Arbeitsproben evaluiert. Wie auf Ebene I ist durch die Integration der Evaluation in das Seminar eine 100-prozentige Rücklaufquote erzielbar.

Manche Trainer führen die Evaluation zum Vergleich mit einer Kontrollgruppe durch. Auch Kirkpatrick empfiehlt dieses Vorgehen, sofern es zweckmäßig ist. Allerdings kann eine Vergleichsevaluation auch Zeitverschwendung sein, obwohl die Methode am besten wissenschaftlich abgesichert ist. Wenn die Teilnehmer andere Lerngelegenheiten hätten, die einen Vorher-Nachher-Vergleich verfälschen würden, besuchten sie wohl kaum eine Weiterbildung. Wenn sie also nur durch das Training lernen, wozu braucht man dann eine Kontrollgruppe? Am besten urteilen Sie jeweils selbst, ob eine Vergleichsevaluation sinnvoll ist.

Es gibt noch eine Vielzahl weiterer Evaluationsinstrumente für Ebene II: mündliche Tests, Aufsätze, Multiple-Choice-Tests oder Simulationsaufgaben wie die Postkorbübung, Rollenspiele und Fallstudien. Zu den Assessments gehören Selbsteinschätzungen, Team-Assessments oder Ausbilder-Assessments. Webbasierte Evaluationen sind ebenfalls denkbar. Sie sind kostengünstig und zeitsparend, werfen allerdings auch Fragen auf: Wie kann garantiert werden, dass die richtige Person die Testfragen beantwortet? Wie werden die Prüfungsfragen geschützt? Die meisten Organisationen und Unternehmen, die webbasierte Assessments durchführen, haben darauf Antworten gefunden. Sie sollten also jeweils darauf achten, dass die Evaluationsergebnisse quantifizierbar sind.

Stellen Sie klare und geradlinige Testaufgaben. Versuchen Sie nicht, den Lernenden ein Bein zu stellen. Sie wollen den Lernerfolg messen, um verbesserte Leistungen am Arbeitsplatz zu sichern.

Kümmern Sie sich schließlich um optimale Prüfungsbedingungen, das heißt, die Teilnehmer sollten bei gutem Licht und angenehmer Raumtemperatur ruhig und ungestört an ihren Aufgaben arbeiten können. Der Test sollte nicht länger als nötig sein. Die Teilnehmer müssen die Prüfungsregeln kennen und wissen, ob sie während des Tests Fragen stellen können.

Jeden Test sollten Sie vorher an einer Pilotgruppe ausprobieren. Die Messergebnisse sollten Sie so schnell wie möglich den Mitarbeitern aushändigen. Das Feedback aus der Evaluation ist umso wertvoller, je schneller es erfolgt.

Messung auf Ebene III

Auf Ebene III geht es um den Lerntransfer. Gibt es tatsächlich eine Verhaltensänderung am Arbeitsplatz? Für diese Evaluationsstufe ist dementsprechend ein anderer Zeithorizont nötig. Die Frage ist nur, wie viel Zeit? Die Experten sind sich darin aus guten Gründen nicht einig. Der Zeitbedarf für sichtbare Verhaltensänderungen hängt zum einen von der Art der Weiterbildungsmaßnahme ab und zum anderen von den äußeren beruflichen Gegebenheiten, zum Beispiel davon, wann das neue Verhalten am Arbeitsplatz tatsächlich gefragt ist oder wie lange der Teilnehmer braucht, um das neue Verhaltensmuster zu verinnerlichen. Also, wie lange? Die Bandbreite reicht von zwei bis zwölf Monaten. Wahrscheinlich werden Sie sich mit dem entsprechenden Fachmann im Unternehmen in Verbindung setzen, um den individuellen Zeithorizont für die Umsetzung des Gelernten zu bestimmen.

Auch auf Ebene III wird ein Vorher-Nachher-Vergleich empfohlen. Die Frage einer Kontrollgruppe muss ebenfalls entschieden werden.

Was genau messen Sie auf Ebene III? Jeder einzelne Punkt in der Evaluation sollte einem der vereinbarten Trainingsziele zugeordnet werden können. Auf Grundlage der Trainingsziele können Sie eine Liste der Fähigkeiten erstellen, die zur angestrebten Performance am Arbeitsplatz gehören. Konsultieren Sie eventuell einen Experten, der Ihnen bei der Gestaltung der Evaluation behilflich ist. Er kennt alle Nuancen, die zur Erfüllung einer Aufgabe erforderlich sind.

Nachdem Sie festgelegt haben, was Sie messen wollen, müssen Sie entscheiden, welche Evaluationsmethode dafür geeignet ist. Zu den Methoden gehören Interviews, Fokusgruppen, Beobachtungen vor Ort, Follow-up-Fragebogen, Kundenumfragen und Kollegen- oder Vorgesetztenaussagen.

Die Evaluationsstufe III sollte nicht auf die leichte Schulter genommen werden. Sie erfordert einen hohen Einsatz von Hilfsmitteln. Deshalb sollten Sie sich über den Gegenstand und die Art der Messung genaue Gedanken machen und vor allem auch wissen, wofür Sie die erhobenen Daten verwenden wollen.

Trainer sollten in Evaluationsmethoden auf Ebene III geschult sein. Unternehmen investieren in Weiterbildungsmaßnahmen, weil sie davon ausgehen, dass ein Lerntransfer an den Arbeitsplatz stattfindet. Ergebnisse können erst dann erwartet werden, wenn sich das Verhalten der Mitarbeiter positiv verändert. Um dies zu klären, ist die Evaluationsstufe III vorgesehen.

Was ist zu tun, wenn die Evaluation ergibt, dass sich die erwarteten Ergebnisse nicht eingestellt haben? Gehen Sie zurück zum Trainingsdesign. Wenn die Fähigkeit, die Sie evaluiert haben, tatsächlich erforderlich ist, sollten Sie untersuchen, ob das Trainingsmaterial und die eingesetzten Lerntechniken adäquat waren und genügend Zeit für das Erlernen dieser Fähigkeit eingeplant war. Vielleicht brauchen die Teilnehmer noch Arbeitshilfen oder genauere Anweisungen für die Umsetzung am Arbeitsplatz. Manchmal stellt sich heraus, dass etwas in der Bedarfsanalyse gar nicht aufgetaucht war. Zum Beispiel setzen die Teilnehmer eine Fähigkeit deshalb nicht ein, weil sie gar nicht mehr oder nur selten gebraucht wird. In diesem Fall können Sie es beim nächsten Mal weglassen. Das ist also ein gutes Beispiel dafür, wie die fünfte und die erste Phase des Trainingszyklus ineinandergreifen.

Schlechte Transferergebnisse möchte kein Trainer haben. Doch das Gute an schlechten Ergebnissen ist immerhin, dass man daraus kluge Schlüsse ziehen kann. Soll das Programm weitergeführt oder überarbeitet werden? Oder soll es komplett verworfen werden? Ohne die Evaluation auf Ebene III könnten Sie wahrscheinlich keine fundierte Entscheidung treffen.

Messung auf Ebene IV

Die Ergebnisse auf Ebene IV sind wahrscheinlich am schwierigsten zu messen. Kirkpatrick erzählt, dass er am häufigsten gefragt wird, wie man denn auf Ebene IV evaluieren soll. Als professioneller Trainer sollten Sie in der Lage sein nachzuweisen, dass Ihr Training einen positiven Beitrag zur Wertschöpfung des Unternehmens leistet, auch wenn dies zugegebenermaßen eine Herausforderung darstellt.

Eine Schwierigkeit besteht darin, dass die Trainingseffekte sich kaum isoliert nachweisen lassen, weil Sie nie sicher sein können, ob das Geschäftsergebnis nicht von externen Faktoren beeinflusst wird. Kann eine isolierte Betrachtung überhaupt gelingen? Der Vergleich mit einer Kontrollgruppe könnte in diesem Fall wertvoll sein, doch selbst da können andere Faktoren hereinspielen, zum Beispiel der Verlust eines wichtigen Kunden, das Auftauchen eines neuen Wettbewerbers, eine neue Einstellungspraxis oder die allgemeine Wirtschaftslage. Für die Bewertung dieser Faktoren gibt es die verschiedensten statistischen Methoden, auf die ich in diesem Buch nicht eingehen kann.

Was können Sie also tun, wenn das Management Sie nach handfesten Beweisen für den Erfolg des Trainings fragt? Eine Vorher-Nachher-Messung ist relativ einfach zu bewerkstelligen, weil die Berichtszahlen (Umsatz, Verkäufe, Ausgaben, Fehlmengen, Beschwerdezahlen) in der Regel verfügbar sind. Die Kunst besteht darin herauszufinden, welche Zahlen relevant sind.

Die zweite Schwierigkeit besteht darin, den genauen Zeitrahmen festzulegen, in dem sich der Trainingseffekt zeigen soll. Er liegt irgendwo zwischen neun und 18 Monaten. Sammeln Sie die Daten, von denen Sie annehmen, dass sie die Wirkung des Trainings beweisen. Bei der Messung werden normalerweise betriebswirtschaftliche Instrumente benutzt, die über die Abteilung Weiterbildung hinausgehen. Denken Sie daran, dass es vor allem darum geht, den Trainingserfolg möglichst isoliert zu betrachten. Einen letzten, über alle Zweifel erhabenen Beweis werden Sie vielleicht nicht liefern können, doch Ihre Zahlen sollten so klar sein, damit das Management eine Entscheidung treffen kann.

In diesem und sicher auch in anderen Büchern lesen Sie, dass die Weiterbildung mit den betriebswirtschaftlichen Erfordernissen in Einklang stehen muss. Wie können Sie das gewährleisten? Kirkpatrick schlägt vor, mit Ebene IV zu beginnen. Entscheiden Sie zusammen mit dem Management, welche Ergebnisse erzielt werden müssen. Als Nächstes ermitteln Sie, welches Verhalten (Ebene III) erforderlich ist, um die gewünschten Ergebnisse zu erzielen. Anschließend bestimmen Sie exakt, welches Wissen, welche Fähigkeiten und Verhaltensweisen /Einstellungen die Trainingsteilnehmer erwerben müssen, um die Erwartungen an die künftige Performance zu erfüllen (Ebene II, Lernen). Und schließlich entwickeln Sie einen maßgeschneiderten Trainingsplan, der gewährleisten sollte, dass die Mitarbeiter für Veränderungen offen sind.

Welche Evaluationsstufen sind jeweils sinnvoll?

Sie können das Training auf einzelnen oder auf allen Ebenen evaluieren. Wie entscheiden Sie, was Sie genau unternehmen? Wovon hängen der Umfang und die Art der Evaluation ab? Beantworten Sie die folgenden Fragen, dann haben Sie eine Entscheidungsbasis.

Was wird mit dem Training bezweckt?

Wie wollen Sie die Evaluationsergebnisse nutzen?

Welche Veränderungen oder Verbesserungen sind auf Grundlage der Evaluationen geplant?

Wer sind die Stakeholder und was wollen sie von Ihnen messen lassen?

Wird erwartet, dass die Weiterbildung sich auf die Unternehmensziele auswirkt?

Welche Hilfsmittel sind für die Evaluation erforderlich?

Nur weil es vier Evaluationsstufen gibt, bedeutet das nicht, dass Sie alle vier durchführen müssen. Entscheiden Sie nach Beantwortung der vorangegangenen Fragen, was Ihrer jeweiligen Weiterbildungsveranstaltung am meisten dienlich ist. Evaluationsexperten sind sich darin einig, dass Ebene III und vor allem Ebene IV meist nur sparsam eingesetzt werden, weil sie zeitaufwendig und kostenintensiv sind. Eine Faustregel ist vielleicht, dass Evaluationen auf Ebene IV dann sinnvoll sind, wenn die angestrebten Ergebnisse für das Unternehmen eine hohe Priorität besitzen oder wenn die Weiterbildungsmaßnahmen sehr teuer sind.

Evaluationsmethoden

Viele Evaluationsmethoden habe ich in diesem Kapitel bereits kurz genannt. In diesem Abschnitt möchte ich einige genauer darstellen und die Vor- und Nachteile diskutieren, damit Ihnen die richtige Auswahl leichter fällt.

Schriftliche Tests zur Lernzielkontrolle

Mit dieser Methode wird gemessen, wie gut die Teilnehmer den Inhalt des Trainingsprogramms gelernt haben. Der Ausbilder oder Trainer teilt klassische Testbogen aus oder überspielt Computertests in der Lernklasse, mit dem der Lernfortschritt in der Gruppe bewertet wird. Die Prüfungsfragen sollten sich genau an den Lernzielen orientieren. Die methodische Validität und Reliabilität der Tests muss gewährleistet sein. Validität bedeutet kurz gesagt, dass tatsächlich das gemessen wird, was gemessen werden soll, und Reliabilität bedeutet, dass der Test bei Wiederholung unter gleichen Bedingungen das gleiche Messergebnis erzielt.

Multiple-Choice-Fragen erfordern einen hohen Vorbereitungsaufwand. Gut gemachte Tests bieten eine genaue Fokussierung auf den Lernstoff und reduzieren gleichzeitig die Trefferquote bei bloßem Erraten der Antwort. Für die Teilnehmer sind sie leicht zu handhaben und die Punktbewertung ist ebenfalls unkompliziert und eindeutig.

Entscheidungstests (wahr – falsch) sind schwieriger zu schreiben, als man glaubt. Sie sind wie Multiple-Choice-Tests einfach zu bewerten.

Zuordnungstests, bei denen Fragen und Antworten einander zugeordnet werden müssen, sind leicht zu schreiben und zu bewerten. Sie stellen für die Lernenden aber dennoch eine Herausforderung dar.

Lückentests oder Fragen, auf die frei geantwortet werden muss, erfordern ein gut eingeprägtes Wissen, da keine Gedächtnishilfen gegeben werden. Ein Nachteil ist, dass die Bewertung vielleicht weniger objektiv ist, als man denkt. Wenn die Frage nicht nach einer ganz bestimmten Antwort verlangt, muss die Bewertung vielleicht flexibler ausfallen als ursprünglich geplant. Anders als bei Multiple-Choice-Tests kann die richtige Lösung jedoch nicht geraten werden.

Aufsätze und Essays sind am schwierigsten zu bewerten, obwohl die Leistung auf einem höheren Niveau gemessen werden kann als bei allen anderen schriftlichen Tests. Die Benotung ist subjektiv.

Meinungsbefragungen

Mit Meinungsbefragungen soll herausgefunden werden, welche Einstellungsänderungen sich aufgrund des Trainings bemerkbar machen. Fachleute nutzen dieses Instrument, um Informationen über Wahrnehmung, Arbeitsgewohnheiten, Motivation, Werte, Überzeugungen und Arbeitsbeziehungen der Mitarbeiter zu sammeln. Meinungsbefragungen sind schwieriger zu erstellen, weil die Messgegenstände weniger greifbar sind. Es ist durchaus denkbar, dass die Teilnehmer so antworten, wie sie es für vermeintlich »richtig« halten.

Simulationen und Beobachtungen vor Ort

Bei Beobachtungen des Mitarbeiters am Arbeitsplatz oder in einer Job-Simulation kann kontrolliert werden, ob das Training seinen gewünschten Erfolg erzielt hat. Unterstützen Sie diesen Prozess, indem Sie eine Checkliste mit den zu beobachtenden Verhaltensweisen erstellen. Dies ist manchmal die einzige Möglichkeit, den Lerntransfer festzustellen. Doch manche Menschen reagieren mit Angst oder verhalten sich anders, wenn sie beobachtet werden. Auch sind Beobachtungen meist ziemlich zeitaufwendig. Der Beobachter muss qualifiziert und erfahren sein, um den Faktor Subjektivität, so gut es geht, auszuschalten.

Kriterienchecklisten

Die Checklisten können in Zusammenhang mit Beobachtungen verwendet werden und sind Grundlage für eine Befragung über eine Reihe von Leistungsmerkmalen, die evaluiert werden sollen.

Produktivitäts- und Performance-Berichte

Harte Produktionszahlen wie Verkaufsberichte und Fertigungssummen helfen Managern und Trainern dabei, tatsächliche Leistungssteigerungen genau zu beziffern. Ein Vorteil von Produktivitätsberichten besteht darin, dass kein neues Evaluationsinstrument entwickelt werden muss. Außerdem sind die Daten quantifizierbar. Nachteile liegen darin, dass man wenig Kontakt zu den Teilnehmern hat und die Berichte unvollständig sein können.

Messungen nach dem Training

Befähigungstests und Fortschrittstests sowohl von Managern als auch von Teilnehmern zeigen an, ob eine Leistungssteigerung am Arbeitsplatz stattgefunden hat. Die Ergebnisse der Messungen sind vielleicht nicht so objektiv, wie dies nötig wäre.

Bedarfs-/Ziel-/Inhaltsvergleiche

Weiterbildungsmanager, Teilnehmer und Vorgesetzte vergleichen die Ergebnisse der Bedarfsanalyse und die Kursziele und -inhalte auf ihre Übereinstimmung. Bewertungen der Relevanz der Kursinhalte am Ende eines Trainings dienen ebenfalls dem Vergleich.

Evaluationsbogen

Am Ende eines Seminars füllen die Teilnehmer einen Evaluations- oder Antwortbogen aus und geben Auskunft darüber, was ihnen am Training (nicht) gefallen hat. Gefragt wird meist nach Vortragsweise, Inhalt, Organisation und Räumlichkeiten. Damit wird den Teilnehmern gezeigt, dass ihre Einschätzung gefragt ist (»Ihre Meinung ist uns wichtig«). So können quantitative und qualitative Daten erhoben werden.

Interviews

Interviews sind zur Messung des Lerntransfers gut geeignet. So können auch Hemmnisse bei der Umsetzung des Gelernten aufgedeckt werden. Wie keine andere Methode übermitteln Interviews Interesse, Rücksicht und Empathie gegenüber den Teilnehmern und dienen gleichzeitig zur Datensammlung. Wenn Verhalten nicht direkt beobachtet werden kann, sind Interviews ein wertvolles Evaluationsinstrument. Sie sind zwar kostspieliger als andere Methoden, ermöglichen jedoch unmittelbares Feedback und der Interviewer kann sofort nachfragen.

Evaluation des Unterrichtenden

Professionelle Trainer geben Evaluationsbogen und Prüfungsblätter aus, um die Kompetenz, Effektivität und pädagogischen Fähigkeiten des Unterrichtenden zu bewerten. Siehe das Beispiel am Ende des Kapitels.

Mit allen diesen Evaluationsmethoden erhalten Sie die Informationen, die Sie benötigen. Manche sind für bestimmte Evaluationsstufen besser geeignet als für andere. Die letzte Entscheidung darüber treffen Sie selbst.

Man gewöhnt sich zwar schnell an seine Lieblingsmethode, doch es ist besser, sich verschiedener Methoden zu bedienen und bewusst abzuwechseln. Sie bekommen mehr Erfahrung und können besser beurteilen, welche Methoden in welcher Trainingssituation besser geeignet sind. Das ist ein wichtiges Eignungsmerkmal für Sie als Trainer.

In Einzelgesprächen können Sie Einsicht in den Erfolg Ihrer Weiterbildungsveranstaltung bekommen. Fragen Sie nach: »Was machen Sie nun anders, nachdem Sie am Trainingsprogramm teilgenommen haben? Haben Sie selbst in Ihrem Verhalten oder in Ihren Beziehungen zu anderen Unterschiede wahrgenommen, die Sie auf die Weiterbildung zurückführen?«

Was ist dran am Return on Investment (ROI)?

In den vergangenen Jahren sind Kirkpatricks vier Ebenen der Evaluation um eine fünfte Ebene ergänzt worden: der Return on Investment (ROI). Trainer müssen sich mit dem dauerhaften Trend auseinandersetzen, ihren Nutzen in Zahlen beweisen zu müssen – die Verzinsung des in Weiterbildung investierten Kapitals. Die Entwicklung dieser fünften Ebene der Trainingsevaluation wird dem anerkannten Evaluationsexperten Dr. Jack Phillips gutgeschrieben.

Wenn Sie mehr über Evaluation lesen, werden Sie sehen, dass der Begriff ROI in Zusammenhang mit der vierten Evaluationsstufe verwendet wird. Der Hauptunterschied auf der fünften Ebene besteht in der Art der Präsentation der Zahlen und Daten. ROI wird definitionsgemäß in Prozent ausgedrückt.

Ebene V: Return on Investment

Die Messung des ROI vergleicht den monetären Nutzen der Weiterbildungsmaßnahme mit den Kosten. Nur wenige Unternehmen und Organisationen nehmen auf dieser Ebene Bewertungen vor, die neuesten Schätzungen gehen von etwa zehn bis 20 Prozent aus. Und selbst dann werden die Messungen auf bestimmte Weiterbildungsmaßnahmen beschränkt:

teure Trainingsmaßnahmen

für das Topmanagement wichtige und sichtbare Maßnahmen

Maßnahmen, die einen großen Teil der Belegschaft umfassen

Maßnahmen, die in engem Zusammenhang mit strategischen und operativen Zielen stehen

Viele Unternehmen würden nach eigener Aussage gerne mehr über ROI im Weiterbildungsbereich wissen, doch nur die wenigsten sind zu den nötigen Investitionen bereit.

Wie der ROI ermittelt wird

Der ROI stellt den Wertschöpfungsbeitrag des Trainings in einer unternehmensgemäßen Form dar. Das ROI-Verfahren beruht auf fünf Schritten. Die Ebenen I bis IV sind notwendig, um die Eingangsdaten zu erfassen.

1. Sammlung von Daten im Anschluss an die Weiterbildungsmaßnahme

Mit einer Vielzahl von Methoden, vergleichbar denjenigen, die im vorigen Abschnitt vorgestellt wurden, werden auf den Ebenen I bis IV Daten zusammengetragen.

2. Isolierung der Trainingseffekte

Die Performance-Daten können durch viele Faktoren beeinflusst werden, deswegen müssen verschiedene Schritte unternommen werden, um die Trainingserfolge direkt herauszufiltern. Eine umfassende Reihe von Tools steht dazu zur Verfügung: Kontrollgruppen, Trendlinienanalyse, Vorhersagemodelle, Wirkungseinschätzungen verschiedener Gruppen.

3. Übertragung der Daten in wirtschaftliche Kennzahlen

Die auf Ebene IV erhobenen Daten werden überprüft und einem Geldwert zugeordnet. Dazu werden verwendet: Herstellungskosten, Gehälter und Zusatzleistungen, Übersetzung der Arbeitsleistungen in Gewinnbeiträge oder externe Datenbestände.

4. Tabellarische Darstellung der Weiterbildungskosten

In den Kosten einer Weiterbildungsmaßnahme sind mindestens enthalten: Entwicklungskosten des Trainingsprogramms, Materialkosten, Trainerhonorare und -gehälter, Ausstattungskosten, Reisekosten, Verwaltungskosten, Gemeinkosten sowie die Kosten der Abwesenheit der Teilnehmer am Arbeitsplatz.

5. Kalkulation des ROI

Der ROI wird errechnet, indem man die Nettoerträge der Trainingsmaßnahme (Erlös minus Kosten) durch die Investitionskosten teilt und mit 100 multipliziert. Immaterielle Vorteile und Nutzen, die sich nicht in Zahlen ausdrücken lassen, wie erhöhte Zufriedenheit im Beruf, verbesserter Kundenservice, Rückgang der Kundenreklamationen werden in diesem letzten Schritt ebenfalls festgehalten.

Das sieht nach ziemlich viel Arbeit aus! Doch wenn Sie dem Management einen Beweis für den Wertbeitrag des Trainings zu liefern haben, ist es das wert.

Der Nutzen einer zusätzlichen Ebene V

Welchen zusätzlichen Nutzen bietet die Ebene V? Der wichtigste Grund liegt wahrscheinlich darin, die Berechtigung der Weiterbildungsmaßnahmen nachzuweisen und einen positiven Effekt des Trainings auf die Unternehmenskennzahlen zu belegen. Das Management wird davon überzeugt, dass Weiterbildung als Investition und nicht als Kostenfaktor zu sehen ist. Eine ROI-Analyse kann auch Erkenntnisse über bestimmte Trainingsprogramme zutage fördern: welche am meisten zum Geschäftsergebnis beitragen, welche verbesserungswürdig sind und welche vor allem Kosten verursachen. Wenn ein erfahrener Trainer auf Grundlage dieser Daten aktiv wird, kann ein Prozess in Gang gesetzt werden, der den Erfolg des gesamten Weiterbildungsbereichs eines Unternehmens positiv beeinflusst. Evaluationen auf Ebene Vergänzen damit den gesamten Evaluationsprozess um einen wertvollen Aspekt.

Interview mit Jack Phillips

Es ist spannend, Sie interviewen zu dürfen. Können Sie die Leser mit etwas Hintergrundwissen über ROI versorgen?

Phillips: Wir haben einen systematischen und praxisorientierten Weg gesucht, um den Wert von Lernen und Personalentwicklung aufzuzeigen. Dazu haben wir auf Kirkpatricks vier Ebenen aufgebaut und eine fünfte Ebene für ROI hinzugefügt. Wir haben auch manche Anpassungen in der Definition vorgenommen, damit sie auf die verschiedensten Trainingsmaßnahmen anwendbar ist. Wir haben ein prozessuales Modell entwickelt, um zu zeigen, wie die Daten gesammelt, in Kennzahlen übersetzt und wie Kosten eingerechnet werden, um den tatsächlichen ROI zu ermitteln. Wesentlich dabei ist die Isolierung der Trainingseffekte. Das ist der entscheidendste Teil, wenn es um die Glaubhaftigkeit von Wirkungsstudien geht.

Schließlich haben wir Verfahrensstandards entwickelt und uns darauf konzentriert, wie Organisationen die Methode anwenden können, wohl wissend, dass auch das beste Modell der Welt nicht genutzt wird, wenn es nicht praktikabel, vernünftig und logisch ist. Unsere Arbeit besteht größtenteils darin, andere bei der Umsetzung zu unterstützen – das ist die Basis unserer Qualifikation in der ROI-Methodik.

Wie wurde der ROI entwickelt? Welche Geschichte gibt es dazu?

Phillips: Mein Interesse am ROI entstammt ursprünglich meinem Interesse an quantitativen Methoden. Ich hatte Elektroingenieurswesen, Mathematik und Physik studiert und meinen Master in Statistik gemacht. Mein persönliches Interesse lag im Bereich Buchführung und Wirtschaftsprüfung (nach Myers Brigg bin ich ein ISTJ-Typ). Meine erste praktische Studie habe ich 1973 im Rahmen meiner Masterarbeit durchgeführt, bei der ich den Return on Investment für ein Genossenschaftsprogramm bei Lockheed Martin durchführte (ich war der Genossenschaftsdirektor).

Bei meiner zweiten ROI-Studie (1976) ging es um Führungskräftetraining. Auf Vorschlag eines Senior Executive, der mehr über die Wirkung von Trainings wissen wollte, führte ich als Weiterbildungsmanager die Studie in meinem Unternehmen durch. Wir verbesserten und erweiterten das Instrumentarium kontinuierlich, während ich es als Leiter der Personalentwicklung intern weiter einsetzte, schließlich auch in einer Bankgesellschaft, der ich als Vorsitzender und leitender Geschäftsführer diente.

Anfangs entwickelte ich das ROI-Verfahren unter Verwendung von Begrifflichkeiten aus Finanzwesen und Wirtschaftsprüfung. Auch die Ideen des Reengineering und des Total Quality Management flossen mit ein. Das Verfahren baute auf den vier Evaluationsstufen nach Kirkpatrick auf. Ich hielt eine fünfte Ebene für notwendig, um zu zeigen, dass sich Lernergebnisse auch in messbaren Zahlen ausdrücken lassen. Und was noch wichtiger war, wir entwickelten ein Prozessmodell, legten Standards fest und legten den Schwerpunkt auf die Durchführung.

Was inspirierte Sie dazu, ein besonderes Messverfahren für ROI zu entwickeln?

Phillips: Die Anregung zur zweiten Studie, die von der Unternehmensleitung ausging, ermutigte mich nicht nur dazu, weiter mit der Arbeit fortzufahren, sondern auch dazu, anderen meine Erfahrungen mitzuteilen. Ich hielt gelegentlich Vorträge, schrieb Artikel and publizierte 1982 schließlich mein erstes Buch Handbook of Training and Evaluation and Measurement Methods, in dem ich für ROI plädierte. Es war zufällig das erste umfassende Buch über Evaluation und ist mittlerweile in dritter Auflage erschienen. Ich bekam viele positive Reaktionen auf das Buch und veröffentlichte weiteres Material. Die Reaktionen waren überwältigend. Meine Dissertation in den 80er-Jahren beschäftigte sich aus wissenschaftlicher Perspektive mit dem Thema.

Anfang der 90er-Jahre war für mich klar, dass ein Bedarf an offenen Workshops und Beratung über diese Methodik vorhanden ist. Unserer Kenntnis nach gab es keine eintägigen oder zweitägigen Workshops für Trainingsevaluation. Ende 1992 wurden wir international tätig und führten in Johannisburg, Südafrika, einen zweitägigen Workshop durch. Seitdem haben wir über 500 Workshops mit insgesamt über 15.000 Teilnehmern durchgeführt und über 130 einwöchige Zertifizierungsseminare mit über 2.000 Teilnehmern. In über 40 Ländern wird die Methodik eingesetzt und das kontinuierliche Feedback aus aller Welt inspiriert mich und unser Team zur Fortsetzung unserer Arbeit.

Trainer scheinen eher eine Scheu vor ROI zu haben. Wie können Sie sich das erklären?

Phillips: Alles hat zwei Seiten. Einerseits erfährt ROI eine weite Verbreitung, wie ich eben erläutert habe. Wir gehen davon aus, dass etwa 15 bis 20 Prozent aller Weiterbildungsunternehmen in den USA in irgendeiner Weise damit arbeiten. Andererseits gibt es viele Unternehmen und Organisationen, die ROI nicht einsetzen. Wir glauben, dass die Gründe vor allem in Folgendem liegen:

Viele Trainer habe eine Abneigung gegen Mathematik und Statistik und setzen ROI eben mit Mathe gleich (obwohl das ein Mythos ist und nicht notwendig so sein muss).

Manche fürchten eine ROI-Evaluation, weil damit schlecht funktionierende Programme oder Projekte bloßgestellt würden. Das Letzte, was ein Trainer will, ist, einen Bericht über die Ineffektivität eines seiner Programme veröffentlichen zu müssen.

Der Prozess geht sehr stark vom Kunden aus. Der Trainer muss eng mit dem Management zusammenarbeiten. Viele Trainer tun das nicht gern, sondern vermeiden sogar eher den Kontakt mit der Führungsriege.

Trainer setzen ROI nicht ein, weil sie über die Kosten und den Zeitaufwand besorgt sind. (Auch das ist ein Mythos und spiegelt nicht die Realität wider.)

Trainer wissen nicht genug über ROI Bescheid, es mangelt ihnen an Kenntnissen, dem nötigen Einblick und an den nötigen Fähigkeiten. Das Unbekannte erzeugt Unsicherheit, und Unsicherheit erzeugt Widerstand.

Wann sollten Trainer und Weiterbildungsabteilungen sich um ROI kümmern?

Phillips: Es gibt drei verschiedene Motive, die die Beschäftigung mit ROI befördern:

Defensive: Wenn Sie Ihr Budget oder ein Programm rechtfertigen müssen (oder Budgetkürzungen beziehungsweise Programmkürzungen vermeiden wollen), ist es sinnvoll, sich um ROI zu kümmern. Die Methode generiert Daten, die den Wert des Trainings dokumentieren, und das ist der beste Weg, um die Bedeutung von Weiterbildung deutlich zu machen.

Verantwortlichkeit: Wenn Sie als Trainer sich dafür verantwortlich fühlen, einen Beitrag zur Wertschöpfung des Unternehmens zu leisten. Jeder gute Mitarbeiter sollte über seine Arbeit Rechenschaft ablegen können.

Eigeninitiative: Immer mehr Trainer beschäftigen sich damit, weil sie initiativ werden und Führung übernehmen wollen. Sie sind vom Wert der Weiterbildung überzeugt und wollen das auch mit Zahlen belegen, weil das Management Zahlen zu schätzen weiß. Es ist sehr befriedigend, den eigenen Beitrag für das Unternehmen zu sehen, und besonders befriedigend ist das für alle beteiligten Stakeholder.

Haben Sie zum Schluss einen guten Tipp?

Phillips: Beachten Sie, dass ROI nur bei teuren oder strategisch bedeutsamen Weiterbildungsprogrammen verwendet werden sollte. Das ist auch der Fall, wenn sehr viele Mitarbeiter in das Programm einbezogen sind, eine gewisse Außenwirkung erzeugt wird und das Topmanagement selbst großes Interesse daran zeigt. Dann liegen Sie mit der ROI-Methode richtig.

Evaluation: Das Ende des Trainingszyklus und der Anfang des Fortschritts

Ein so umfangreiches Kapitel zu schreiben, dass es ein eigenes Buch werden könnte, kann schwierig sein. Ich freue mich, dass Sie, wenn Sie das ganze Kapitel gelesen haben, die beiden Beiträge der Evaluationsexperten Dr. Donald Kirkpatrick und Dr. Jack Phillips gelesen haben. Beide betonen, wie wichtig die Evaluation für positive Veränderungen ist.

Sie sind nun dazu bereit, Ihren eigenen Evaluationsplan zusammenzustellen. Scheuen Sie sich nicht, dazu Unterstützung von außen zu holen. Statistiker, Wissenschaftler und Berater sind in der Lage, den Evaluierungsprozess voranzutreiben, was auch im Interesse der Stakeholder liegt.

Für Sie als Trainer ist die Evaluation auf Ebene I wichtig. Nehmen Sie das Feedback ernst. Ansonsten sollten Sie einen Kollegen fragen und sich auf sein Urteil verlassen. Haben Sie einen Kollegen, dessen Meinung Sie besonders schätzen? Bitten Sie ihn oder sie darum, als Beobachter in Ihrem Seminar – zumindest teilweise – teilzunehmen. Trainerkollegen beobachten Dinge, die Teilnehmer vielleicht übersehen, und können Ihnen genaues Feedback geben.

Nun bin ich stolz, Ihnen die umfangreichste Checkliste zur Trainerkompetenz zu geben, die ich kenne (Tabelle 13.1). Kopieren Sie die Seiten und bitten Sie einen Kollegen, an Ihrem nächsten Training teilzunehmen und Ihnen anhand dieses Bogens Feedback zu geben.

Tabelle 13.1: Checkliste zur Trainerkompetenz

Fähigkeit	Kommentar
Vorbereitung:
Räume entsprechend vorbereitet
Teilnehmer auf das Seminar vorbereitet
Unterlagen vorbereitet
Gute Organisation
Lernen ermöglichen:
Effektive Vorbereitung
Angemessene Gruppenmoderation
Vielfalt an Medien
Kompetenter Medieneinsatz
Vielfalt an Lernaktivitäten
Angemessenes Tempo
Kleingruppenarbeit
Nachbesprechung von Aktivitäten
Auf das Thema konzentriert
Eine positive Lernumgebung schaffen:
Kreative Elemente integrieren
Lernen interessant gestalten
Offener Austausch von Ideen und Vorschlägen
Relevante Beispiele anführen
Ehrliches Feedback geben
Mit falschen Antworten angemessen umgehen
Zeit einplanen, um Kontakte zu knüpfen
Erfolg verstärken
Aktive Beteiligung fördern:
Treffender Eisbrecher zu Seminarbeginn
Vielfalt an Lernmethoden
Verbindung herstellen
Blickkontakt zu allen Teilnehmern
Entspanntes und freundliches Auftreten
Aufmunternde Körpersprache
Schwerpunkt auf aktive Mitwirkung
Mitwirkung direkt einfordern
Risiken belohnen
Persönliche Beispiele mitteilen
Nichtwertendes Verhalten zeigen
Kommunikation von Inhalt und Prozess:
Gute Seminarorganisation
Klare Zusammenfassungen
Zum Nachdenken anregende Fragen stellen
Zu Fragen ermuntern
Fragen angemessen beantworten
Großgruppendiskussionen führen
Gut zuhören
Verstehen der Teilnehmer prüfen
Gute Übergänge zwischen den Themen und Modulen
Angemessene nonverbale Fähigkeiten
Klare Artikulation
Effektiver Stimmeinsatz
Fundierte Kenntnis des Themas zeigen
Angemessener Humor
Konstruktives Feedback geben
Umgang mit Unvorhergesehenem:
Unvorhergesehene Ereignisse bewältigen
Mit schwierigen Situationen oder schwierigen Teilnehmern richtig umgehen
Widerwillige Teilnehmer überzeugen
Flexibilität beweisen
Gutes Zeitmanagement, Themen angemessen berücksichtigen
Sicherstellung von Lernerfolg:
Individuelle Lernergebnisse bewerten
Zeit für Frage-Antwort-Runde
Umsetzung des Gelernten am Arbeitsplatz fördern
Praxisrelevante Beispiele bringen
Glaubwürdigkeit herstellen:
Fachkenntnis demonstrieren
Vertrauen erzeugen
Beherrschung zeigen
Persönliche Erfahrungen mitteilen
Fragen beantworten
Das Training evaluieren:
Reaktionen und Wirkungen fortlaufend beobachten
Nach Feedback fragen
Verbesserungsvorschläge einholen
Weitere Bemerkungen

Evaluation ist zwar die letzte Phase im Trainingszyklus, doch sie ist auch ein Anfang: der Anfang zu einer weiteren Verbesserung Ihrer Trainerkompetenz. Es liegt an Ihnen, welche Veränderungen Sie sich vornehmen. Verlassen Sie sich dabei auf die Ergebnisse der Evaluation. Oder um es mit Kirkpatricks Worten zu sagen: »Evaluation ist eine Wissenschaft und eine Kunst. Sie ist eine Mischung aus Begriffen, Theorien, Prinzipien und Techniken. Die Anwendung liegt bei Ihnen.«

Prev Next