Schritt 3: Bestimmung der Evaluationszwecke und Evaluationsfragestellungen

Jetzt herunterladen!

Im dritten Schritt des Evaluationsprozesses werden die Evaluationszwecke festgelegt und die Evaluationsfragestellungen formuliert, deren Beantwortung dazu beiträgt, den Evaluationszweck zu erreichen.

Apfelbaum mit Most, Geld und Äpfel

Evaluationszwecke können nach Funktion und Verwendungsabsicht kategorisiert werden.

Es lassen sich fünf Funktionen unterscheiden:

  • Bei der proaktiven Evaluation wird untersucht, inwiefern ein Bedarf am Evaluationsgegenstand besteht und inwiefern dieser mit bestehenden Ressourcen im vorgegebenen Zeitrahmen implementiert werden kann.
  • Bei der klärenden Evaluation wird das Konzept eines Evaluationsgegenstandes datenbasiert auf Stringenz und Kohärenz mit festgelegten Bedarfen und Bedürfnissen geprüft.
  • Die interaktive Evaluation untersucht die Stärken und Schwächen eines Evaluationsgegenstandes und welches Optimierungspotential daraus abgeleitet werden kann.
  • Bei der dokumentierenden Evaluation stehen Daten zu zentralen Kennzahlen im Mittelpunkt, die über einen längeren Zeitraum regelmässig standardisiert erhoben werden.
  • Bei der wirkungsfeststellenden Evaluation wird geprüft, inwiefern die Ziele des Evaluationsgegenstandes erreicht wurden und gegebenenfalls, in welchem Ausmass er zur Zielerreichung beigetragen hat.

Während die proaktive und klärende Evaluation noch vor dem möglichen Start des Evaluationsgegenstandes durchgeführt werden, erfolgt die interaktive Evaluation zeitlich parallel zum Evaluationsgegenstand, insbesondere in der Entwicklungsphase einer Erstdurchführung oder in einer Phase der Neukonzeption. Dokumentierende und wirkungsfeststellende Evaluation können hingegen nur bei hinreichender Reife des Evaluationsgegenstandes umgesetzt werden.

Bei der Klassifizierung nach Verwendungsabsicht wird zwischen Orientierung auf Verbesserung (Informationsbasis für Optimierungen bzw. Stabilisierungen schaffen), auf Rechenschaftslegung (Nachweis der Qualität gegenüber verantwortlichen Personen/Institutionen), auf Grundsatzentscheid (Datensammlung für einen Entscheid für oder gegen die Durchführung/Weiterführung eines Evaluationsgegenstandes) und auf Wissensgenerierung (Generierung von neuen allgemeingültigen Erkenntnissen unterschieden.

Kombiniert man Funktionen und Verwendungsabsichten, so zeigen sich zwei Evaluationsrollen:

  • Formative Evaluationen sind meist interaktiv oder klärend angelegt und bezwecken Verbesserung eines Evaluationsgegenstandes.
  • Summative Evaluationen sind meist proaktiv, dokumentierend oder wirkungsfeststellend angelegt und bezwecken Rechenschaftslegung oder Abstützung von Grundsatzentscheiden.

Es gibt Mischformen zwischen beiden Evaluationsrollen, doch ist es für Nützlichkeit und Fairness von Evaluationen anzustreben, dass zumindest eine der beiden Rollen klare Priorität hat. In zeitlich länger laufenden Evaluationen kann auf eine erste formative eine zweite summative des dann reifen Evaluationsgegenstandes folgen.

Darüber hinaus können Evaluierende mit verdeckten Evaluationszwecken konfrontiert sein (z. B. Marketing oder Legitimierung eines bereits gefällten Entscheids), deren Identifizierung und Klärung eine besondere Herausforderung ist.

Bei der Entwicklung der Evaluationsfragestellungen geht es darum festzulegen, welche Informationen die vorgesehenen Nutzenden benötigen, damit der Evaluationszweck erfüllt werden kann. Dies geschieht normalerweise in einem Austausch zwischen Evaluierenden, Auftraggebenden und relevanten Beteiligten und Betroffenen.

Bei der Formulierung von Fragestellungen hilft das Akronym «fördern», das zentrale Eigenschaften guter Evaluationsfragestellungen umschreibt. Demnach sind diese:

  • «fokussiert» (auf einen bestimmten Teil des Evaluationsgegenstandes ausgerichtet)
  • «öffnend» (fragt, in welchem Ausmass etwas vorhanden ist, so dass ja-nein Antworten vermieden werden)
  • «realistisch» (bezogen auf Sachverhalte, die mit dem Evaluationsgegenstand verbunden sind oder durch ihn ausgelöst werden können)
  • «deutlich» (verständlich formuliert)
  • «empirisch» beantwortbar (mit Daten zu beantworten)
  • «ressourcenangepasst» (mit den vorhandenen Ressourcen bearbeitbar)
  • «nützlich» (bezogen auf die Informationsinteressen der Beteiligten und Betroffenen)

Es können verschiedene Arten von Evaluationsfragestellungen unterschieden werden:

  • Deskriptive Fragestellungen betreffen die Beschreibung der Bedingungen und Ausprägungen des Evaluationsgegenstandes.
  • Evaluative Fragestellungen untersuchen, inwiefern der Evaluationsgegenstand vorher festgelegten Kriterien entspricht.
  • Attributive Fragestellungen prüfen, in welchem Masse Veränderungen bzw. Stabilisierungen auf den Evaluationsgegenstand zurückzuführen sind.

Verschiedene Akteure haben oft unterschiedliche Interessen bzgl. des Evaluationsgegenstandes Apfel, so dass eine Evaluation unterschiedliche Informationsinteressen bedienen und damit verschiedene Zwecke verfolgen kann. Während die Weiterverarbeitenden, der Handel (Grosshandel, Einzelhandel, Direktvertrieb beim Apfelbauer) und die Endverbraucherinnen und Endverbraucher v.a. an der Qualitätsüberprüfung und Rechenschaftslegung interessiert sind, ist es für die Produzierenden und die Baumschulen oft wichtiger zu erfahren, wie sie den Anbau oder auch die Zucht sowie resultierend das Endprodukt Apfel optimieren können. Daraus ergeben sich ganz unterschiedliche Evaluationsfragestellungen, wie zum Beispiel:

  • Wie ist das Verhältnis der produzierten Sorte von Äpfeln zur Umwelt, in der diese angebaut wird?
  • Wie ist ihr Verhältnis in Bezug auf globale Aspekte von Umwelt und Ressourcenverbrauch?
  • Wie kann der Anbau der Äpfel kostenmässig optimiert werden?
  • Inwiefern erfüllen die Äpfel Bedürfnisse der Konsumierenden?
  • Wie gut sind die Äpfel zur Weiterverarbeitung (z.B. Apfelsaft, Apfelkuchen) geeignet?
Jetzt herunterladen!