Schulungen allein reichen nicht aus. Es geht auch darum, die Wirksamkeit von Schulungen zu erkennen.

Aug 24, 2017, 19:22 by von Vivian Bringslimark, Inhaberin und Geschäftsführerin von HPIS Consulting, Inc.
Für die meisten Geschäftsführer ist es ganz klar, was Schulungen zu bewirken haben, doch deren Wirksamkeit ist ganz und gar nicht klar zu erkennen. Wieso runzeln also Geschäftsleiter die Stirn, wenn die Antwort auf die Frage nach der Wirksamkeit von Schulungen "Das kommt darauf an" lautet?
Wie messen Sie die Wirksamkeitvon Schulungen in Ihrem Unternehmen?

Schulung dient zwei Herren

Die Erklärung hängt von den Erwartungen der Interessensvertreter und deren Bedarf an Ergebnissen ab. Die meisten der Schulungsveranstaltungen für Mitarbeiter im Bereich der Biowissenschaften sind Konformitätsanforderungen von GxP-Grundlagen zu SOP-Schulung und betriebliche Weiterbildung.  Folglich sind behördliche Ermittler unentbehrliche Interessensvertreter.  Sie möchten wissen, wozu Mitarbeiter geschult wurden und fragen dann:



  • War die Schulung effektiv? 
  • Woran erkennen Sie dies? 
  • Welchen Prozess haben Sie dafür implementiert?
Sie konzentrieren sich primär auf das Verhalten der einzelnen Mitarbeiter nach der Schulung.  Sie suchen nach der Bestätigung, dass Mitarbeiter das Verfahren korrekt (wie in der Schulung gelernt) durchführen. Insbesondere, wenn etwas fraglich ist oder leicht Wiederholungsfehler auftreten. Doch keine Nachrichten sind nicht immer gute Nachrichten.  Inspektoren fragen auch nach einer Übersicht zum Wirksamkeitsprozess, um sicherzustellen, dass er vernünftig, nachhaltig und keine einmalige Antwort bei einer Untersuchung ist.
  Die Schulungsfunktion wendet sich außerdem an Geschäftsführer, die sich mehr auf die Auswirkungen auf die Geschäftsziele konzentrieren. Geschäftsführer erwarten Zahlen. Sie lesen täglich Finanzberichte und sehen sich immer die Zahlen unter dem Strich an.Wieso ist es also so schwer, für sie die richtige Kennzahl für die Wirksamkeit von Schulungen zu finden? Angesichts der anstehenden Aufgaben und der erforderlichen Schulungsintensität ist ein und dieselbe Schulung nicht für das gesamte Unternehmen geeignet.  Genauso wenig wie ein und dieselbe Methode zur Prüfung der Wirksamkeit von Schulungen.  Beispielsweise mag eine schriftliche Bewertung für eine wissensbasierte Präsenzschulung geeignet sein, jedoch nicht für die Demonstration von Fertigkeiten in einem Qualifikationsschritt im Rahmen der betrieblichen Weiterbildung.  “Es kommt darauf an” ist eine zu ungenaue Antwort.  Sie eignet sich nicht besonders gut für ein Auflistung wie die der Prozentsätze zu Schulungsabschlüssen. 

Was macht die Sache so kompliziert?

Beginnen wir mit der Frage, welches Geschäftsproblem durch eine Schulung gelöst oder verbessert werden soll. Beispielsweise eine Schulung zum Thema Compliance.  Compliance ist zwingend notwendig und eine Nichteinhaltung der FDA-Erwartungen hat ziemlich heftige Konsequenzen, die ein noch viel größeres Problem verursachen könnten.  Das Geschäftsziel lautet also Erfüllen der Compliance-Erwartungen und Vermeidung der Kosten für Berater zur Verbesserung der Qualität oder einer obligatorische Stilllegung des Standorts.  Wann wird die Wirksamkeit der Schulung ermittelt?  Wenn die Veranstaltung vorbei ist. Es hat erst hohe Priorität für Geschäftsführer, wenn externe Regulierungsbehörden danach fragen.
 
Stellen wir die nächste Frage.  Welche Leistungslücke sollte durch eine Schulung geschlossen werden? 
Oft werden Schulungsleiter (und Ersteller von Schulungsunterlagen) bei diesen Überlegungen außen vor gelassen und kennen daher nicht die Ziele der Geschäftsführer.  Nachträglich gestaltet sich die Berichterstellung so als ob eine Kennzahl aus der Luft gegriffen oder auf die [Registerkarte "Bericht drucken"] im LMS geklickt wird. Es geht schnell und basiert auf Zahlen, also eLearning-Abschlussquoten, Teilnehmerzahlen und Nachverfolgung des Fälligkeitsdatums. Doch diese Art von Berichterstellung bezieht sich nur auf Effizienz und betriebliche Handlungen. Sie bewertet nicht die Wirksamkeit von Schulungen. Ohne die Zuordnung zu einem Geschäftsproblem oder einer Leistungslücke ist die Schulung eine Angelegenheit auf gut Glück. Sie ist wie ein Pfeil ohne Ziel, was erklärt, weshalb viele Geschäftsleiter in Bezug auf die typischen Schulungsergebnisse enttäuscht sind.  

Wie sieht es mit den vier Bewertungsebenen aus?

Ein beliebtes und häufig angewendetes Bewertungsmodell ist das Bewertungssystem von Kirkpatrick. Auch hier hängt es davon ab, welche Art von Bewertungsfeedback gesucht wird. Jede Ebene zielt auf einen anderen Interessensvertreter ab, verwendet eine jeweils andere Methode und wird immer ressourcenintensiver und kostspieliger.  Am einfachsten verwalten lassen sich Kursbewertungen, bei denen Teilnehmer nach der Veranstaltung ein Feedback abgegeben.  Allerdings führt es nicht notwendigerweise zu einer effektiven Schulung, wenn sie das Programm oder den Schulungsleiter gut finden, was ein Nachteil dieser Methode ist.  In der Schulungsbranche geht der Trend neuerdings dahin, den Umfang und diese Methoden neu zu definieren, was mit der Zeit dazu führen könnte, dass sich etwas ändert. Wissensbewertungen sind aktuell die zweitbeliebteste Methode und benötigen einige Zeit für die Entwicklung.  Wie der Name schon sagt, wird Wissen gemessen, das lange genug gespeichert ist, um den Test zu bestehen, und das möglicherweise so lange eingeübt wurde, dass es nicht schon eine Woche nach der Veranstaltung wieder in Vergessenheit geraten ist.  Der größte Nachteil dieser Methode besteht darin, dass sie die Umsetzung am Arbeitsplatz nicht garantiert.  Tatsächlich werden viele Schulungsinhalte, die erfolgreich vermittelt und durch die Wissensbewertung bestätigt wurden, überhaupt nicht verwendet oder mit der Zeit vergessen, wenn sie nicht praktiziert oder ständig angewendet werden.  Man spricht hier auch von "Scrap Learning", wie es Robert Brinkerhoeff, einer der führenden Vordenker der Schulungsbewertungsbranche, beschrieben hat (Mattox, 2010).

 
Do Artikel zum White Paper:
Alle ausführlichen Informationen Anzeigen Ihr kostenloses White paper.
    
Wenn jedoch Wissensbewertungen entwickelt werden, die guten Testerstellungsprinzipien folgen, kann der Lernerfolg gemessen werden.  Wir können zeigen, wo Wissen und Fähigkeiten, die in der Schulung gelernt wurden, die Wissenslücke von neuen Mitarbeitern geschlossen haben und wie die verbesserten Fähigkeiten sich auf die Ergebnisse der Leistung am Arbeitsplatz auswirken. Für Regulierungsbehörden besteht die echte Maßzahl für die Wirksamkeit darin, wie gut Mitarbeiter das Gelernte am Arbeitsplatz angewendet haben. Ich nenne dies Schulungstransfer. Für andere ist es die Verhaltensänderung.  Hier schließt sich der Kreis zu den Kennzahlen der Abweichungen, Wiederholungsfehler und CAPA-Untersuchungen, die FDA-Regulierungsbehörden auf die Schulungswirksamkeit für Compliance-Schulungen zurückführen. Die am schwierigsten zu verwaltenden und von Schulungsleitern am wenigsten verwendeten Methoden beziehen sich darauf, worauf sich Geschäftsführer konzentrieren, nämlich die Auswirkungen auf das Unternehmen. Geschäftsführer glauben, dass Schulungen fest mit dem Erreichen von Geschäftsergebnissen verbunden sind.  “Nach unserer Erfahrung möchten Geschäftsführer jedoch vielleicht entgegen ihrer Intuition kaum die Wirkung von Schulung im Nachhinein bewerten.”, (Cleary, 2017, 58).  Dennoch muss die Datenerfassung und Bewertung nach der Schulungsveranstaltung stattfinden, damit die Ergebnisse echt sind und nicht angefochten werden können. Die Ergebnisse zur Wirksamkeit von Schulungen sind oft ein nachträglicher Einfall.

Das ist für mich der Zwiespalt 

Geschäftsführer wollen Kennzahlen.  Sie möchten Antworten auf ihre Frage nach der Wirksamkeit von Schulungen erhalten. Wenn es jedoch an der Zeit ist, dies richtig aufzustellen, wird ein Rückzieher gemacht. Irgendwie sind Ressourcen und Budget nicht mehr vorhanden und die Priorität ist nicht mehr so klar.  ‘Wir wissen bereits, dass wir diese Schulung brauchen, also macht es keinen Sinn, Zeit mit Messen zu verschwenden.’, (Frielich, 2017, p. 43).  Doch wenn das GMP- und SOP-Programm zur Schulungswirksamkeit von den behördlichen Ermittlern angefochten wird, ist es zu spät.  Die rückwirkende Suche nach Kennzahlen fängt wieder von vorne an.
 


Ist für Schulungen einer neuer oder anderer Satz an Kennzahlen erforderlich? 

Welche "Kennzahl" wurde verwendet, als die Abweichung erkannt wurde?  Wieso können dieselben Kennzahlen nach der Schulung weiter verwendet werden?  Schulungen sind kein eigenständiges System.  Es ist das am meisten funktionsübergreifende System in einem Unternehmen.  inarbeitung neuer Mitarbeiter über Ergänzungen des Lernprogramms, regelmäßige HR-gesponserte Aktualisierungen bis hin zu jährlichen Wiederholungen der Sicherheitsübungen.  Qualitätssysteme zielen damit auf Bewusstseinsschulungen ab, die für CAPA-Korrekturmaßnahmen gedacht sind.  Einige Unternehmen führen sogar immer noch Präsenzschulungen bei wichtigen SOP-Überarbeitungen durch.

Kennzahlen aus anderen Systemen sind bereits eingeführt.  Wieso sollten weitere Kennzahlen für Schulungszwecke hinzugefügt werden, die auf die Kennzahlen anderer Systeme verweisen? Die Fertigung als Branchenstandard nutzt eigene Leistungskennzahlen.  Weitere Informationen hierzu finden Sie in der Seitenleiste.  In den meisten Fällen zeigen sich Leistungslücken in diesen Kennzahlen.  Nutzen Sie dieselben Kennzahlen nach Abschluss der Schulung, um die Wirkung der Leistungsverbesserung zu messen, vorausgesetzt die Lernenden hatten ausreichend Zeit, die Schulungserkenntnisse umzusetzen und das Management hat dies befürwortet. 
Je nach Funktion der Schulung können interne Kennzahlen aus der Fertigung herangezogen, leicht angepasst und wie folgt verwendet werden:

  • Kosten ➜ Zeit für die Lieferung, Reisekosten, entprechende Ausgaben
  • Produktivität ➜  Effizienz, Zeit für die Entwicklung
  • Sicherheit ➜ Neue Bewusstseinsprogramme 
  • Zeitverschwendung  ➜ Scrap Learning
  • Qualität ➜ Endbenutzerakzeptanz, erfolgreicher Transfer der Schulungserkenntnisse in %

Brauchen Sie die Schulungsergebnisse früher?

Führende Indikatoren sind Kennzahlen, die zwischen den formalen KPI-Zyklen verwendet werden.  “Sie können wertvolle Einblicke in die Effizienz und Wirksamkeit von Schulungsmaßnahmen geben sowie als Meilensteine für den Fortschritt und als interne Messlatte dienen.”, (Carpenter, 2017, p.49). Achten Sie auf drei Wirkungsebenen::
  • Lernen ➜ Mehr Fähigkeiten und besserer Wissensaustausch
  • Leistung am Arbeitsplatz ➜ H öhere Effizienz, bessere Nutzung von Ressourcen, höhere Leistungsstufen (bessere Erträge)
  • Betriebliche Kennzahlen ➜ Höheres Engagement, bessere Anpassung an Veränderungen, geringere Fluktuation

Ist Schulung der einzige Grund für fehlenden Transfer?

Wenn die Indikatoren keinen positiven Trend erkennen lassen, bedeutet dies, dass die Schulung umsonst war? Normalerweise wird dann automatisch gefolgert, dass die Schulung ineffizient war. Doch ist dies allein auf die Schulung zurückzuführen? Auch hier kann die Schulung nicht für sich allein gesehen werden. Brinkerhoeff (2006) postuliert, dass wahrscheinlich 80% der Hindernisse auf dem Weg zu den gewünschten Ergebnissen nicht auf mangelhafte Schulungsmaßnahmen zurückzuführen sind, sondern auf kontextuelle und Leistungssystem-Faktoren, die nicht berücksichtigt wurden und nicht mit den beabsichtigten Leistungsergebnissen der Schulung übereinstimmten.  "Wenn wir also die Auswirkungen einer" Schulung auswerten, bewerten wir in den meisten Fällen in Wirklichkeit das Leistungsverwaltungssystem eines Unternehmens (S.23).  Er hat beobachtet, dass ein Mangel an Analyse, Messung oder Feedback dessen was bei der durchgeführten Schulung funktioniert oder nicht funktioniert, oft dazu beiträgt, dass es keine Auswirkungen auf das Unternehmen gibt. Es ist einfacher, die Schulung an sich zu kritisieren, als die Manager damit zu beauftragen, ihre Mitarbeiter nach der Schulung entsprechend weiter zu betreuen. “Die vielen Leistungssystemfaktoren, die Ergebnissen im Weg stehen, liegen bei den Führungskräften mit höheren Positionen.” (p.41).  Die Leistung dieser Systeme muss bewertet werden, um eine Verhaltensveränderung bzw. einen Verhaltenstransfer zu bewirken, nicht die Schulung an sich. (Brinkerhoeff, 2006)

Die Antwort lautet also tatsächlich "Es kommt darauf an", nicht wahr?

Im ersten Schritt sollten die Ersteller der Schulungsunterlagen zum Planungstreffen eingeladen werden, um mit ihnen die kritischen Verhaltensweisen am Arbeitsplatz und Leistungsergebnisse zu diskutieren, die verbessert werden sollen. Somit können die Auswirkungen der Schulung auf das Unternehmen (Wirksamkeit der Schulung) mit den Unternehmenszielen, Leistungsergebnissen und Lernmöglichkeiten verknüpft werden.  Die Nutzung der bestehenden Metriken dieser Systeme kann dann für die behördlichen Interessensvertreter oder die Geschäftsführer abgeleitet werden. Als Bonus werden Ressourcen zum erfolgreichen Messen der Schulungseffektivität der wirklich wichtigen Schulungsmaßnahmen freigesetzt.  Letztendlich liegt die Antwort darin, wer was wissen muss und wie die Ergebnisse genutzt werden.

Welche Kennzahlen haben Sie für die Wirksamkeit von Schulungen festgelegt?  Hat Ihr Management nach den Kennzahlen für Ihre Schulung gefragt?  Tragen Sie nachfolgend Ihren Kommentar ein.


Vivian Bringslimark kann auf 29 Jahre Erfahrung im Bereich der Bildung und Biowissenschaften zurückblicken. In ihrer Beratungstätigkeit bietet sie Beratungsdienstleistungen zum Thema menschliche Leistung zur Verbesserung der Mitarbeiterstrategien.  Ihre beiden Kernkompetenzen sind die Entwicklung von Schulungssystemen mit Fokus auf die Prinzipien der Erwachsenenbildung sowie die Integration von Schulungslösungen mit wichtigen Leistungs- und Qualitätssystemen.  Vivian Bringslimark hat Abschlüsse in Erwachsenenbildung der Teachers College Columbia University sowie im Bereich Bildungsberechnungen des IONA College.  Sie ist derzeit als Beraterin für die Vorstände der GMP Training and Ecucation Association tätig und aktive Mentorin für SE FL Chapter des ATD.  Sie kann unter vbringslimark@hpisconsulting.com kontaktiert werden.  

Referenzen Brinkerhoeff, R.O. 2006. Telling Training’s Story: Evaluation Made Simple, Credible, and Effective. San Francisco: Berrett-Koehler.Carpenter, J. “Choose Your Words Carefully,” CLO, January/February 2017, 49-51.Cleary,C. “Moving from events to journeys: to get demonstrable results,” Training Industry Quarterly, Trends 2017, 58-59.Frielich,IS. “Polishing Your Gems,” TD, February, 2017, 40 – 44.Kelly,T. “My Training Dashboard?: Which One?,” Training Industry Quarterly, Fall 2012, 27-29.Mattox, J.R. “Manager Engagement: Reducing Scrap Learning,” Training Industry Quarterly, Fall 2010, 29-33.