Facetten einer Evaluationsstrategie – eine Bestandsaufnahme

Die Evaluation von Präventionsmaßnahmen und Produkten der gesetzlichen Unfallversicherung ist längst in der täglichen Präventionsarbeit angekommen: Viele Unfallversicherungsträger führen Evaluationsprojekte durch, um die Wirksamkeit ihrer Leistungen und Angebote zu überprüfen beziehungsweise die Umsetzung und Ausgestaltung an aktuelle Gegebenheiten und Veränderungen in der Arbeitswelt anzupassen. Unterstützung erhalten sie dabei aus dem Sachgebiet Evaluation und den Instituten der DGUV: Gemeinsam wurden eine Reihe von Materialien und Produkten entwickelt, die es den Unfallversicherungsträgern ermöglichen, Evaluationen nach trägerübergreifenden und wissenschaftlich fundierten Standards durchzuführen oder Evaluationsprojekte kompetent zu beauftragen und zu begleiten: Der DGUV Grundsatz 311-001^[1] beispielsweise skizziert das Evaluationsverständnis der gesetzlichen Unfallversicherung, das in der DGUV Information 211-043^[2] umfassend erläutert und durch zahlreiche Hilfestellungen zur Planung und Durchführung von Evaluationen ergänzt wird. Der Methodenkoffer gibt einen fundierten Überblick über 33 verschiedene Erhebungsmethoden, die im Rahmen von Evaluationen angewandt werden können. Zudem wurden im UV-Net eine Reihe von Factsheets veröffentlicht, die das methodische Vorgehen sowie mögliche Indikatoren bei der Evaluation verschiedener Präventionsprodukte beschreiben.

Die zunehmende Erfahrung und die Weiterentwicklung der Methoden sowie des Vorgehens bei der Evaluation ermöglichen es den Unfallversicherungsträgern, vermehrt eine ganzheitliche Perspektive auf das Thema einzunehmen: Während anfänglich der Fokus auf der objektiven, reliablen und validen Bearbeitung von einzelnen Evaluationsfragestellungen und -vorhaben lag, stellt sich zunehmend die Frage nach einem strategischen Vorgehen innerhalb der Organisationen. Eine Entwicklung, die sich auch gut an den thematischen Schwerpunkten der Veranstaltungsreihe „Fachgespräch Evaluation“ ablesen lässt: So wurden im Rahmen der vergangenen Fachgespräche die Rolle der Evaluierenden, die Methodenvielfalt, die Evaluation verschiedener Präventionsleistungen, Wirkmodelle als Grundlage für die Planung und Durchführung der Evaluation sowie ein systematisches Vorgehen innerhalb einzelner Evaluationsvorhaben diskutiert. 

Der Austausch in den Fachgesprächen sowie im Sachgebiet Evaluation zeigte, dass die konkrete Planung und Umsetzung der einzelnen Evaluationsvorhaben nach wie vor oft in den einzelnen Abteilungen bei den entsprechenden Mitarbeitenden liegen. Ein Austausch findet teilweise auf der Ebene der Mitarbeitenden statt, eine gemeinsame Planung und eine strategische Ausrichtung im Sinne einer gemeinsamen Verwendung von Ressourcen sowie einer systematischen Integration der verschiedenen Evaluationsergebnisse in unternehmerische Entscheidungsprozesse erfolgen jedoch in der Regel nicht.

Ein ganzheitliches Betrachten der eigenen Evaluationsaktivitäten im Sinne einer Evaluationsstrategie bedeutet, die Evaluationsvorhaben und -aktivitäten innerhalb der eigenen Organisation gemäß einem Plan gezielt zur Beantwortung übergeordneter Fragestellungen einzusetzen. Welche Faktoren einen Einfluss auf die erfolgreiche Durchführung der Evaluation haben könnten, sollte im Vorfeld erkundet werden.

Das 7. Fachgespräch Evaluation beleuchtete unter dem Titel „Facetten einer Evaluationsstrategie“ sechs unterschiedliche Einflussfaktoren, die bei der strategischen Planung und Durchführung von Evaluationsaktivitäten Beachtung finden sollten. Der vorliegende Beitrag stellt diese vor und hat es sich zum Ziel gesetzt, einen Beitrag zu einer ganzheitlichen und strategischen Betrachtung der Evaluation zu leisten.

Abbildung 1 gibt einen Überblick über die im Rahmen des 7. Fachgesprächs Evaluation diskutierten Facetten einer Evaluationsstrategie. Die Darstellung der Facetten als Seiten eines sogenannten Zauberwürfels (auch als Rubik’s Cube bezeichnet) macht auf die Vernetzung der einzelnen Facetten aufmerksam: So beeinflusst die Ausgestaltung einer Facette die Umsetzung der anderen Facetten. Die Abbildung ist als Heuristik basierend auf Theorie und Erfahrung der Unfallversicherungsträger zu verstehen, offen für Anpassungen und Weiterentwicklungen und dient als Kommunikationsgrundlage und Orientierung für strategische Entscheidungen.

Eine Evaluationsstrategie zu entwickeln, bedeutet im ersten Schritt, die möglichen Ausprägungen innerhalb der sechs verschiedenen Facetten zu kennen. Im zweiten Schritt gilt es, diese systematisch und zielgerichtet innerhalb der eigenen Organisation auszugestalten und weiterzuentwickeln sowie Interdependenzen zwischen diesen zu reflektieren. Im Folgenden werden die sechs Facetten näher erläutert.

Facette 1: Organisation
Die Entwicklung einer Evaluationsstrategie erfordert, die gesamte Organisation im Blick zu haben: Grundlage ist es, die mit der Evaluation betrauten Akteurinnen und Akteure aus den unterschiedlichen Bereichen zu kennen und ins Boot zu holen sowie eine Bestandsaufnahme über alle im eigenen Haus geplanten, laufenden und abgeschlossenen Evaluationsprojekte durchzuführen. Denn Evaluationsgegenstände können prinzipiell aus allen Leistungs- und Geschäftsbereichen eines Trägers identifiziert werden.

Auf diese Weise wird sichergestellt, dass über alle Geschäftsbereiche hinweg eine abgestimmte Haltung zum Vorgehen in der Evaluation besteht (beziehungsweise erarbeitet werden kann) und der Prozess von der Auftragsklärung bis zur Ergebnisdarstellung standardisiert abläuft und etabliert ist. Auch die Durchführung von internen Weiterbildungen zum Thema Evaluation sowie die Berücksichtigung und Integration der unterschiedlichen Evaluationsergebnisse können auf Basis der Bestandsaufnahme geplant und umgesetzt werden. Insgesamt wird auf diese Weise die Kultur der Evaluation auf eine breite Basis gestellt.

Facette 2: Vorgehen
Ist eine Evaluationsstrategie vorhanden, stützt eine Organisation sich auf einen systematischen Ansatz und nutzt gemeinsame, für die Organisation als Ganze geltende Standards in der Evaluation.

In der gesetzlichen Unfallversicherung dient der sogenannte „Evaluationszirkel“ als Grundlage für die systematische Planung, Durchführung und Auswertung von spezifischen Evaluationsvorhaben. Dieses standardisierte Vorgehen umfasst zehn Schritte. Dabei sind die detaillierte Beschreibung des spezifischen Evaluationsgegenstands und seiner Bestandteile, die Definition der Ziele und Zielgruppe(n), die Darlegung der für den spezifischen Evaluationsgegenstand zugrunde liegenden Wirkungszusammenhänge sowie die Ausarbeitung der zu beantwortenden Fragestellungen der Evaluation wesentliche Grundvoraussetzungen für die Ableitung geeigneter Indikatoren und Erhebungsinstrumente (DGUV Information 211-043).

Die Orientierung am systematischen Vorgehen gewährleistet, dass Evaluationen organisations- und bereichsübergreifend nach den gleichen Qualitätsstandards durchgeführt werden. Darüber hinaus wird die Verständigung zwischen Auftraggebenden und Evaluierenden erleichtert, indem die einzelnen Schritte des Evaluationszirkels gemeinsam oder zumindest in gegenseitiger Rückkoppelung durchlaufen werden, unabhängig vom Gegenstand der Evaluation.

Facette 3: Ressourcen
Eine grundlegende Voraussetzung für die Planung und Implementierung einer Evaluationsstrategie sind die dafür zur Verfügung stehenden Ressourcen. Wie können diese strategisch sinnvoll eingesetzt werden? Wie können die begrenzten Ressourcen zwischen kurzfristigen, punktuellen und langfristigen, systematischen Evaluationsvorhaben am besten aufgeteilt werden?

Dafür ist nicht nur die Festlegung eines Evaluationsbudgets von zentraler Bedeutung – auch personelle Ressourcen in Form von Zeit und Fachkompetenzen bestimmen, welche Evaluationsvorhaben in welcher Form und welcher Frequenz umgesetzt werden können.

Weiterhin beeinflusst die technische Infrastruktur und Ausstattung die Effizienz der Durchführbarkeit von Evaluationsvorhaben: Bei häufigen Befragungen kann es sich beispielsweise lohnen, eine (Online-)Befragungssoftware anzuschaffen. Diese ermöglicht nicht nur eine eigenständige und kurzfristige Umsetzung von Umfragen, sondern meist auch eine automatisierte Auswertung der Daten und damit eine zeitnahe Rückmeldung der Evaluationsergebnisse. Auch für die Durchführung von Interviews stehen Software-Tools zur Verfügung, die die oftmals sehr aufwendige Auswertung unterstützen und erleichtern.

Des Weiteren kann bei fehlender technischer Ausstattung oder wenigen personellen Kapazitäten die Inanspruchnahme externer Dienstleistungen hilfreich sein. Neben der Ausschreibung und Beauftragung einzelner Evaluationsprojekte ist auch der Abschluss eines mehrjährigen Rahmenvertrags möglich. Ein solcher Rahmenvertrag bietet den Vorteil, Befragungen ebenfalls kurzfristig umsetzen zu können, da nicht für jede Umfrage im Vorfeld eine erneute Ausschreibung notwendig ist. Darüber hinaus unterstützen externe Fachleute bei methodischen Fragen und tragen damit zur Qualität der Evaluation bei.

Schließlich stellt die Zusammenarbeit mit anderen Bereichen innerhalb der eigenen Organisation sowie anderen Trägern eine wichtige Ressource dar. Um dieses Potenzial nutzen zu können, ist es ebenfalls notwendig, die entsprechenden Mittel einzuplanen. Möglichkeiten zur trägerübergreifenden Weiterbildung sowie die Teilnahme an Fachgesprächen sollten ebenfalls bei der Kalkulation und Festlegung der Ressourcen berücksichtigt werden.

Facette 4: Präventionsleistungen
Insgesamt zehn Präventionsleistungen bilden den Rahmen aller trägerspezifischen Maßnahmen, Angebote und Produkte zur Verbesserung der Sicherheit und Gesundheit im Betrieb. Sie sind besonders häufig Gegenstand der Evaluation und nehmen damit einen besonders großen Stellenwert bei Evaluationsvorhaben innerhalb der gesetzlichen Unfallversicherung ein.

Ein wichtiger Schritt auf dem Weg zu einer Evaluationsstrategie ist die Frage, welche dieser vielfältigen Evaluationsgegenstände regelmäßig evaluiert werden sollen. Dabei empfiehlt es sich, zunächst eine Bestandsaufnahme beziehungsweise Übersicht über alle Maßnahmen, Leistungen, Produkte und Aktionen zu erstellen und jeweils festzuhalten, seit wann und in welchem Turnus diese jeweils umgesetzt werden. Auf Basis dieser Informationen kann anschließend überlegt und festgelegt werden, welche Leistungen regelmäßig oder punktuell und mit welchem Erkenntnisinteresse Gegenstand der Evaluation sein sollten und für wen die Ergebnisse relevant sind.

Die oben erwähnten Factsheets beschreiben das methodische Vorgehen sowie mögliche Indikatoren bei der Evaluation der verschiedenen Präventionsprodukte und können bei der Ausgestaltung der Facette Präventionsleistungen unterstützen.

Facette 5: Theoretischer Hintergrund
Grundlage für die Entwicklung und Durchführung von Maßnahmen sind Annahmen darüber, wie diese wirken beziehungsweise zur Erreichung des intendierten Ziels beitragen. Da die Evaluation Aussagen über Wirkungen und Effekte von Maßnahmen macht, muss sie ebenfalls auf der Basis dieser theoretischen Annahmen operieren.

Dabei geht es sowohl um die Identifikation von Einflussfaktoren (Welche Variablen beeinflussen die Wirkung der Maßnahme?) als auch um die Modellierung des Wirkmechanismus (Welche Aspekte verändern das Verhalten? Wie wirkt eine Intervention?).

Fundierte theoretische Annahmen sind damit Voraussetzung für die Auswahl von Indikatoren und Methoden und stellen eine hohe methodische Güte von Evaluationsvorhaben sicher. Erst vor diesem Hintergrund wird auch eine sinnvolle Interpretation der Evaluationsergebnisse möglich, die nicht bei einzelnen Zahlenwerten stehen bleibt, sondern begründete Schlussfolgerungen aufgrund des Zusammenspiels der Merkmalsausprägungen zulässt.

Facette 6: Methoden
Schließlich stellt der strategische Einsatz von Methoden eine wichtige Facette einer Evaluationsstrategie dar. Die Auswahl geeigneter Methoden erfordert, sich über Vor- und Nachteile sowie die Aussagekraft unterschiedlicher Studiendesigns und Erhebungsinstrumente im Klaren zu sein. Welche Mindeststandards sollten Erhebungsinstrumente in Bezug auf die Qualität, das heißt Gütekriterien erfüllen? Wann ist es sinnvoll, Fragebögen selbst zu entwickeln, und wie kann dabei sichergestellt werden, dass sie den Qualitätsanforderungen entsprechen? Inwiefern sollen bei der Evaluation gleichartiger Evaluationsgegenstände (beispielsweise unterschiedliche Qualifizierungsmaßnahmen) einheitliche Instrumente und Items verwendet werden, um eine Vergleichbarkeit zu gewährleisten? Und falls ja, welches aus der Vielzahl an Instrumenten passt hier am besten als Standardinstrument?

Auch die Festlegung, wann quantitative und wann qualitative Methoden zum Einsatz kommen und wie sie systematisch kombiniert werden können, um den größtmöglichen Nutzen unter Berücksichtigung der zur Verfügung stehenden Ressourcen zu erzielen, ist Teil der Ausgestaltung der Facette Methoden. Nicht zuletzt ist die begründete Auswahl von Methoden auch ein wichtiges Kriterium für die Akzeptanz der Evaluationsergebnisse.

Im Gegensatz zu einzelnen Evaluationsfragestellungen und -vorhaben zeichnet sich eine Evaluationsstrategie dadurch aus, dass die beschriebenen sechs Facetten unter Berücksichtigung des Evaluationsverständnisses der Organisation oder Institution vorausschauend ausgestaltet werden und langfristig zu einer systematischen Etablierung der Evaluation beitragen.

Nachdem eine kontinuierliche Verbesserung der Evaluation in Bezug auf die Planung, Durchführung und Auswertung bei den Unfallversicherungsträgern zu beobachten ist, wird anhand der im Rahmen des 7. Fachgesprächs Evaluation diskutierten Facetten deutlich, wie eine Weiterentwicklung im Sinne eines ganzheitlichen, strategischen Vorgehens bei der Evaluation aussehen kann. Das skizzierte Modell der Facetten einer Evaluationsstrategie ist offen für Anpassungen und Weiterentwicklungen und kann in diesem Sinne als Anregung verstanden werden, sich mit dem Zusammenspiel relevanter Einflussfaktoren auseinanderzusetzen, die zu einer strategischen Etablierung von Evaluation beitragen können.