auf deren Basis rationale Entscheidungen getroffen werden können, sondern auch für das Ergebnis dieses Prozesses. Wissenschaftlich durchgeführte Evaluationen zeichnen sich dadurch aus, dass sie (a) auf einen klar definierten Gegenstand bezogen sind; (b) dass für die Informationsgewinnung objektivierende empirische Datenerhebungsmethoden eingesetzt werden und dass (c) die Bewertung anhand präzise festgelegter und offengelegter Kriterien, (d) mit Hilfe systematisch vergleichender Verfahren vorgenommen wird. Die Evaluation wird (e) in der Regel von dafür besonders befähigten Personen (Evaluatoren) durchgeführt, um (f) auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen.
Damit das Nutzungspotenzial von Evaluationen möglichst optimal ausgeschöpft wird, hat sich jede professionell durchgeführte Evaluation mit folgenden fünf Fragen auseinanderzusetzen: 1) Was (welcher Gegenstand), wird 2) wozu (zu welchem Zweck), 3) anhand welcher Kriterien, 4) von wem, 5) wie (mit welchen Methoden) evaluiert?
1) Gegenstand: Im Prinzip gibt es bei der Wahl des Evaluationsgegenstands kaum Einschränkungen. Objekte der Bewertung können Gesetze, Produkte, Dienstleistungen, Organisationen, Personen, Prozesse sowie soziale Tatbestände jedweder Art oder gar Evaluationen selbst sein. Häufige Evaluationsgegenstände sind allerdings Reformmaßnahmen, Projekte, Programme oder Policies.
2) Funktionen: Evaluationen können folgenden vier unterschiedlichen, aber miteinander verknüpften Funktionen dienen: (a) Der Gewinnung von Erkenntnissen, um die Prozessabläufe oder die Wirkungszusammenhänge in einem Programm zu verstehen. (b) Um Kontrolle auszuüben, indem festgestellt wird, ob die in der Planung festgelegten Ziele erreicht wurden. (c) Um Lernpotenziale zu eröffnen, die für die Weiterentwicklung von Programmen genutzt werden sollen. (d) Um Programme zu legitimieren, indem öffentlich belegt wird, wie nützlich, wirksam oder nachhaltig sie waren.
Da Evaluationen mittlerweile als Ausdruck mo derner, »evidence based policy« gelten, werden[110] Evaluationen mitunter auch missbraucht, indem sie dazu verwendet werden, politisch bereits getroffene Entscheidungen nachträglich mit Hilfe von Evaluationsergebnissen zu legitimieren. Diese »taktische« Funktion von Evaluation lässt sich jedoch nicht mit ihrem eigentlichen Zweck begründen, sondern stellt eher ihre pathologische Seite dar.
Die Festlegung auf eine prioritäre Funktion steu ert die Herangehensweise und bestimmt das Design und die Durchführung von Evaluationen. Diese können nicht nur verschiedene Funktionen erfüllen, sondern im Rahmen der einzelnen Phasen der Programmentwicklung auch unterschiedliche Analyseperspektiven und Erkenntnisinteressen verfolgen. Evaluationen können dazu genutzt werden, (a) die Planung eines Programms oder einer Maßnahme zu verbessern (ex-ante Evaluation), (b) die Durchführungsprozesse zu beobachten (ongoing Evaluation) oder (c) die Wirksamkeit und Nachhaltigkeit von Interventionen ex-post zu bestimmen (ex-post Evaluation).
Evaluationen können demnach mehr formativ, d. h. aktiv-gestaltend, prozessorientiert, konstruktiv und kommunikationsfördernd angelegt sein, oder mehr summativ, d. h. zusammenfassend, bilanzierend und ergebnisorientiert.
Die Begleitforschung kann als eine besondere Form der Evaluation gelten, die sich ex-ante mit den Voraussetzungen bzw. der Planung oder (ongoing) mit der Implementation von Programmen beschäftigt. Anders als die meisten Evaluationen wird sie nicht nur punktuell, zu einem bestimmten Zeitpunkt im Programmverlauf eingesetzt, sondern kontinuierlich – programmbegleitend. Dadurch können Längsschnittdaten gewonnen werden, die nicht nur kontinuierlich über Veränderungsprozesse informieren, sondern auch Ursache-Wirkungszuschreibungen erleichtern.
Eine besonders wichtige Form der Evaluation stellt die Wirkungsevaluation dar, die zum einen darauf abzielt, (idealerweise) möglichst alle beabsichtigten (intendierten) und nicht-intendierten Wirkungen zu erfassen und die zum anderen mit größtmöglicher Zuverlässigkeit feststellen soll, welche Ursachen (die Programminterventionen oder andere Faktoren) dafür verantwortlich sind. Diese Aufgabe stellt eine der größten Herausforderungen einer Evaluation dar. Dies liegt vor allem daran, dass die soziale Welt einen hohen Komplexitätsgrad aufweist, d. h. die meisten sozialen Phänomene auf vielen Ursachen basieren. Interventionen haben zudem in der Regel nur einen geringen Eingriffsspielraum und ein niedriges Veränderungspotenzial. Oft sind die Programm- oder Leistungswirkungen nur schwach ausgeprägt, und es besteht selbst bei professionellem Einsatz von Auswertungsverfahren die Gefahr, dass sie im allgemeinen ›Rauschen‹ gar nicht erkannt werden.
3) Kriterien: Im Unterschied zu Normenreihen (wie ISO, oder EFQM) kann Evaluation nicht auf einen fixierten Kanon von Bewertungskriterien zurückgreifen. Sehr häufig orientieren sich die Bewertungskriterien allerdings am Nutzen eines Gegenstands, Sachverhalts oder Entwicklungsprozesses für bestimmte Personen oder Gruppen. Die Festlegung der Kriterien kann durch den Auftraggeber (direktiv), durch den Evaluator (wissens-/erfahrungsbasiert) oder durch alle Stakeholder (partizipativ) erfolgen, um möglichst viele Perspektiven zu berücksichtigen.
4) Evaluierende Akteure: Evaluationen können prinzipiell von internen oder externen Experten durchgeführt werden. Als intern werden Evaluationen bezeichnet, wenn sie von der gleichen Organisation vorgenommen werden, die auch das Programm oder das Projekt durchführt. Wird diese interne Evaluation von Mitarbeitern der Abteilung (dem Referat) durchgeführt, die gleichzeitig mit der operativen Durchführung des Programms betraut sind, dann wird von ›Selbstevaluation‹ gesprochen.
»In-house«- Evaluationen haben den Vorteil, dass sie rasch und mit geringem Aufwand durchgeführt werden können, dass die Evaluatoren in der Regel über eine hohe Sachkenntnis verfügen und dass die Ergebnisse sich unmittelbar umsetzen lassen. Schwächen der internen Evaluation werden vor allem darin gesehen, dass die Evaluierenden zumeist nicht über eine ausreichende Methodenkompetenz verfügen, dass es ihnen an Unabhängigkeit und Distanz mangelt und dass sie möglicherweise so sehr mit ihrem Programm verhaftet sind, dass sie aussichtsreichere Alternativen nicht erkennen.
Externe Evaluationen werden von Personen durchgeführt, die nicht dem Fördermittelgeber oder der Durchführungsorganisation angehören. In der Regel weisen externe Evaluatoren deshalb[111] eine größere Unabhängigkeit, eine profunde Methodenkompetenz und professionelles Evaluationswissen auf und kennen das Fachgebiet, in dem das Programm bzw. das Projekt angesiedelt ist. Zudem können externe Evaluationen reformerischen Kräften innerhalb einer Organisation zusätzliche Legitimität und Einflussstärke verleihen, die sie benötigen, um Veränderungsprozesse in Gang zu setzen.
5) Methodische Ansätze: Grundlegend für die Frage, wie evaluiert wird, ist die Wahl des Forschungsparadigmas. Grob kann zwischen zwei Hauptrichtungen unterschieden werden. Die einen betrachten Evaluation als ein empirisch-wissenschaftliches Verfahren, das der kritisch-rationalen Forschungslogik folgt und prinzipiell alle bekannten empirischen Forschungsmethoden für einsetzbar hält. Evaluation ist somit als angewandte Sozialforschung zu verstehen, die besondere Forschungsbedingungen zu berücksichtigen und ein spezifisches Erkenntnis- und Verwertungsinteresse hat, bei dem der Nutzen der Evaluationsergebnisse für die ›Praxis‹ im Vordergrund steht. Die zweite Hauptrichtung verbindet mit Evaluation einen anderen Anspruch und geht von anderen Voraussetzungen aus. Das Vorhandensein einer real existierenden Welt, die prinzipiell erkannt und »objektiv« mit Hilfe empirisch-wissenschaftlicher Verfahren erfasst werden kann, auch wenn diese Instrumente unvollständig und teilweise fehlerhaft sein können, wird bestritten. Stattdessen wird angenommen, dass »Realität« aus verschiedenen Perspektiven sozial konstruiert ist, die in Konflikten zueinander stehen können. Deshalb fordern die Anhänger dieses Ansatzes ein ›qualitatives‹ Denken, um die verschiedenen Sichtweisen und Interpretationen der ›Realität‹ erfassen zu können. Je nach wissenschaftstheoretischer Ausrichtung werden unterschiedliche Designs und Verfahren angewendet. In der Evaluationspraxis wird häufig ein sogenannter Methodenmix angewendet, der aus qualitativen und quantitativen Verfahren besteht. Dadurch sollen die Schwächen einzelner Ansätze durch die Stärken anderer ergänzt werden.
Literatur
Fitzpatrick, Jody L. et al., 2004: Program Evaluation. Alternative Approaches and Practical Guidelines,