Schritt 5: Auswahl von Erhebungsdesign und Erhebungsmethoden
Im fünften Schritt des Evaluationsprozesses planen die Evaluierenden das konkrete methodische Vorgehen und setzen es um. Dafür muss zunächst geklärt werden, ob eine Datenerhebung durchgeführt werden muss, oder ob die Datengrundlage zur Beantwortung der Evaluationsfragestellungen bereits ausreicht. Ist eine (zusätzliche) Erhebung notwendig, wird ein Datenerhebungsplan erstellt. In diesem wird schriftlich festgehalten, welche Daten mit welcher Datenerhebungsmethode bei wem wann erhoben werden sollen.
Je nach Evaluationsfragestellungen, zeitlichen und organisationalen Rahmenbedingungen, Erfordernissen des Datenschutzes, Zugang zum Feld, Möglichkeiten der Stichprobenziehung und finanziellen Mitteln gilt es, verschiedene Designentscheide sorgfältig abzuwägen:
- Wenn z. B. eine Zielerreichung oder Veränderungen bei einer Gruppe von Personen interessiert, können mehrere aufeinander folgende Datenerhebungen bei dieser einen Zielgruppe sinnvoll sein, z. B. eine erste Erhebung vor dem Start des Evaluationsgegenstandes sowie weitere im Verlauf, am Ende oder sogar zu einem späteren Zeitpunkt.
- Wenn man darüberhinausgehend Wirkungen belegen will, also nachweisen, dass es massgeblich der Evaluationsgegenstand war, der zur Erreichung der Ziele geführt hat, ist es evtl. zusätzlich erforderlich, Erhebungen auch bei solchen Gruppen von Personen vorzunehmen, die nicht am Evaluationsgegenstand teilgenommen haben.
Erhebungsdesigns mit Datenerhebungen bei mehreren Gruppen zu mehreren Zeitpunkten sind besonders aufwendig und erfordern präzise Planung und viele Ressourcen.
Die Auswahl der Datenerhebungsmethode ist ebenfalls an den Evaluationsfragestellungen und Rahmenbedingungen auszurichten und zudem eng mit den Design-Entscheidungen verbunden. Grundsätzlich umfasst das Methodenrepertoire der Sozialwissenschaften drei Hauptgruppen:
- Verwendung bestehender Daten (Verhaltensspuren) bzw. Prozessdaten.
- Systematische Beobachtung, verdeckt oder teilnehmend, insbesondere von verbalen und nonverbalen Interaktionen.
- Mündliche oder schriftliche Befragung; diese können Face-to-face, am Telefon oder über den Computer vermittelt stattfinden, wobei die konkreten Fragen mehr oder weniger offen bzw. strukturiert und standardisiert gestellt werden können.
Mit Erhebungsmethoden können sowohl qualitative wie auch quantitative Daten erhoben bzw. erzeugt werden. Da jede Erhebungsmethode unterschiedliche Stärken und Schwächen hat, sind sie je nach Evaluationszweck wie auch ‑fragestellung und Evaluationsbudget etc. unterschiedlich gut geeignet. In jeder konkreten Evaluation geht es darum, einen möglichst geeigneten methodischen Zugang zu finden. Deshalb ist es zentral, dass Evaluierende bzw. Evaluationsteams über ein breites Methodenrepertoire verfügen.
Zwar kann es auch in diesem Schritt des Evaluationsprozesses geboten bzw. vorteilhaft sein, die Beteiligten und Betroffenen punktuell bei Methodenentscheidungen einzubeziehen. Mehr als in anderen Schritten liegt die Verantwortung hier aber bei den Evaluierenden, denn sie verfügen über Expertise und umfangreiche Erfahrungen mit Datenerhebungsmethoden und -instrumenten.