Beschreibung der Beschaffung
Da das GV Fisch voraussichtlich erst zum Ende der Gesamtlaufzeit im Jahr 2024 gesamtevaluiert wird, sind zur Messung der Wirksamkeit und zur Sicherung aller nötigen Daten und Informationen der vorher auslaufenden Länderpakete (LP) (Indien, Kambodscha, Madagaskar, Malawi, Mauretanien, Sambia, Uganda), zur Rechenschaftslegung gegenüber dem BMZ und zum internen Lernen (Nachjustierung der weiterlaufenden Länderpakete) Evaluative Studien (EVAS) geplant.
Die GIZ-Handreichung "Evaluative Studien in SEWOH-Globalvorhaben (EVAS) für Zentrale Projektevaluierungen (ZPE)" liegt seit April 2021 mit dem BMZ abgestimmt vor und ist Grundlage dieser ToR.
Die Schlussevaluierung soll die Projekte anhand der sechs innerhalb der OECD DAC vereinbarten Evaluationskriterien Relevanz, Kohärenz, Effektivität, Effizienz, Wirkungen/Impact und Nachhaltigkeit, mit Hilfe einer Evaluierungsmatrix entlang von konkreten, auf das jeweilige GV angepassten Evaluierungsfragen bewerten:
- Relevanz: geht der Frage nach, ob das Vorhaben das Richtige tut. Ziele des Vorhabens werden auf ihre Übereinstimmung mit den Prioritäten der Zielgruppe, des Partnerlandes und des Auftraggebers der Entwicklungsmaßnahme untersucht.
- Kohärenz: bezieht sich auf die Passgenauigkeit der Maßnahme im Kontext mit anderen Maßnahmen in einem Land, einem Sektor oder einer Institution sowie mit internationalen Normen und Standards.
- Effektivität: geht der Frage nach, ob und wie das Vorhaben die Ziele der Entwicklungsmaßnahme erreicht. Ziele des Vorhabens werden auf den Grad der Zielerreichung und ihrer Konsistenz hin überprüft.
- Effizienz: geht der Frage nach, inwiefern der Ressourceneinsatz im Verhältnis zu den erreichten Outputs und Outcomes angemessen ist.
- Impact: geht der Frage nach, ob die Entwicklungsmaßnahme zur Erreichung übergeordneter entwicklungspolitischer Ziele beiträgt. Die Entwicklungsmaßnahme wird zum einen hinsichtlich der Erreichung ihrer angestrebten übergeordneten entwicklungspolitischen Ziele untersucht. Zum anderen werden direkte positive und negative Veränderungen sowie nicht intendierte Effekte der Maßnahme analysiert.
- Nachhaltigkeit: geht der Frage nach, ob die ermittelten positiven Wirkungen von Dauer bzw. im Partnersystem institutionalisiert sind. Es folgt eine Abschätzung der Dauer der positiven Wirkungen nach Ende der Unterstützung seitens der GIZ.
Die Schlussevaluierung stützt sich sowohl auf bestehende Daten und Studien (Baseline und Midline Surveys, Midterm-Review, internes M&E System sowie dann vorliegende Daten des Endline Surveys), als auch auf neue quantitative und qualitative Daten einer unabhängigen EVAS Mission, um die Bewertungsfragen der Evaluierungsmatrix zu beantworten.
Eine besondere Herausforderung bei Evaluierungen liegt darin, eine Kausalbeziehung von Maßnahmen zu Wirkungen eindeutig nachzuweisen oder den Beitrag plausibel zu belegen. Die GIZ verwendet hierfür als Mindeststandard die Kontributionsanalyse, welche bei den Kriterien Effektivität und Impact angewendet wird. Für die Kontributionsanalyse werden anhand des Wirkungsmodells (Theory of Change) des Projekts Wirkungshypothesen ausgewählt und der Wirkungsbeitrag auf Grundlage belastbarer Evidenzen untersucht. Dafür müssen auch alternative Erklärungsansätze (beispielsweise Kontextfaktoren oder Maßnahmen Dritter) analysiert werden.
Weiterhin hat sich bei den zentralen Projektevaluierungen gezeigt, dass eine qualitative Analyse der Effizienz nicht ausreichend und aussagekräftig genug ist. Deshalb wird bei der Effizienzanalyse der "Follow-the-Money-Approach" verwendet. Als Grundlage hierfür werden während der Evaluierung die Kosten den Outputs zugeordnet. Zur Standardisierung der Effizienzanalyse in den zentralen Projektevaluierungen hat die GIZ ein Excel-Tool entwickelt, das darauf ausgelegt ist, in jedem Vorhaben eine Effizienzanalyse zu ermöglichen.
Die Ergebnisse und Empfehlungen der EVAS sollen der Steuerungseinheit (StE) des GV Fisch ein umfassendes Bild der auslaufenden LP vermitteln, Impulse für die weitere Ausrichtung des GV Fisch und der verbleibenden LP liefern (Innovation, Lernen & Wissensmanagement) und für die strategische Kommunikation mit dem BMZ und der Fachöffentlichkeit genutzt werden.