Schritt 4: Festlegung der Bewertungskriterien
Bewertungskriterien sind Voraussetzung für jede systematische und faire Bewertung, die für jede Evaluation erforderlich ist. Deren Festlegung geschieht im vierten Schritt des Evaluationsprozesses.
Bewertungskriterien bilden die Bezugsbasis, auf die sich die Bewertung der Güte oder Tauglichkeit eines Evaluationsgegenstandes stützt. Die als relevant erachteten Bewertungsaspekte müssen messbar gemacht, d.h. operationalisiert werden. Zusätzlich sollte für jedes operationalisierte Kriterium ein Kriterienpunkt (Schwellenwert) festgelegt werden. Dieser definierte «Wendepunkt», an dem die Bewertung von positiv in negativ oder auch von positiv zu sehr positiv etc. wechselt, kann entweder mit einer Zahl oder mit einem textlich gefassten Zielzu- bzw. ‑zwischenstand beschrieben werden. Operationalisierte Kriterien sollten vor Beginn der Datenerhebung, allerspätestens aber vor Beginn der Datenauswertung festgelegt werden. Damit wird verhindert, dass die Gewichtung von Kriterien angepasst oder Kriterienpunkte aufgrund der Datenerhebung und ‑analyse oder der Interessenslage bestimmter Gruppen nachträglich, z. B. in Rechtfertigungsabsicht verschoben werden. Dies ist insbesondere wichtig, wenn die Evaluation für einen Grundsatzentscheid oder zur Rechenschaftslegung verwendet werden soll.
Kriterien für eine angemessene Bewertung eines Evaluationsgegenstandes festzulegen ist oftmals besonders herausfordernd. Keinesfalls dürfen Bewertungskriterien ad hoc, rein intuitiv, methodisch unkontrolliert oder nicht nachvollziehbar festgelegt werden.
Die nachfolgende Liste enthält vier generische Quellen für Kriterien; sie kann als eine Checkliste verwendet werden, um Kriterien zu identifizieren:
- der Referenzrahmen, in dem die Akteure den Evaluationsgegenstand verorten (z. B. ein Leitbild einer Organisation oder eine sozialwissenschaftliche Theorie).
- der gesellschaftliche Konsens oder Diskurs über Recht, Ethik und soziale Werte.
- ein Logisches Modell, das ermöglicht, Kriterien bezüglich Konzeptkonsistenz, Umsetzungstreue und Wirkfähigkeit zu bestimmen.
- Evaluationsliteratur, die verschiedene Kriterien, deren Übertragbarkeit für die geplante Evaluation geprüft werden kann, verwendet.
Es ist notwendig, dass für jede evaluative und attributive Evaluationsfragestellung zumindest ein operationalisiertes Kriterium vorliegt. Idealerweise entsteht die definitive Liste von Kriterien (Umfang und Gewichtung) unter Einbezug der verschiedenen Beteiligten und Betroffenen. Die Kriterienpunkte sollten ebenfalls nachvollziehbar und unter Berücksichtigung des Kontextes und der Besonderheiten des Evaluationsgegenstandes festgelegt werden.
Bewertungen auf operationalisierte und mit Schwellenwerten versehene Kriterien abzustützen, ist bei vorgesehener Verwendung für Grundsatzentscheide und auch bei der Rechenschaftslegung essentiell. Wer die Bewertungskriterien festlegt und welche Rolle die Evaluierenden dabei einnehmen, ist für jede Evaluation zu bestimmen. Eine grosse Herausforderung der Evaluation besteht darin, eine Balance zwischen verschiedenen Bewertungsansprüchen zu finden und Transparenz darüber herzustellen.