Begleitende Wirkungsevaluierung | Accompanying Impact Evaluation (AIE) for IKI projects on education and energy efficiency

Kurze Beschreibung

Die Internationale Klimaschutzinitiative (IKI) des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) finanziert seit 2008 Klima- und Biodiversitätsprojekte in Entwicklungs-, Schwellen- und Transformationsländern. Die IKI ist ein wichtiger Bestandteil der deutschen Klima- und Biodiversitätsfinanzierung und der (finanziellen) Verpflichtungen aus den entsprechenden UN-Konventionen. Ziel der IKI ist es, qualitativ hochwertige Projekte zu fördern, die zur Minderung des Klimawandels, zur Anpassung an den Klimawandel und zum Schutz der biologischen Vielfalt beitragen.
Als Teil des neuen Bewertungssystems der IKI beinhaltet diese Ausschreibung die begleitende Wirkungsevaluierung von zwei IKI Projekten. Los 1 besteht aus der begleitenden Wirkungsevaluierung eines anstehenden IKI Projektes im Förderschwerpunkt "Developing skills and ideas: Aufbau einer Bildungslandschaft zum Thema Klimaschutz". Los 2 umfasst die begleitende Wirkungsevaluierung des IKI-Projekts „Verbesserung der Energieeffizienz der globalen Gebäudelieferkette und ihrer Produkte, um hocheffiziente Gebäude zu liefern". Es steht den Bietern frei, ein Angebot für eines oder beide Lose einzureichen. Die Evaluation soll die Entwicklung einer geeigneten Wirkungslogik während der Vorbereitungsphase des jeweiligen Projekts unterstützen und erhebt anschließend zu mehreren Zeitpunkten während und nach der Projektlaufzeit Daten, um die Wirkungen und Wirkungspfade des Projekts einzuschätzen. Die übergeordneten Ziele dieses langfristigen Evaluierungsinstruments sind Lernen, bessere Entscheidungsfindung und ein Beitrag zur Rechenschaftslegung.

Beschreibung der Beschaffung

Die Internationale Klimaschutzinitiative (IKI) des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) finanziert seit 2008 Klima- und Biodiversitätsprojekte in Entwicklungs-, Schwellen- und Transformationsländern. Die IKI ist ein wichtiger Bestandteil der deutschen Klima- und Biodiversitätsfinanzierung und der (finanziellen) Verpflichtungen aus den entsprechenden UN-Konventionen. Ziel der IKI ist es, qualitativ hochwertige Projekte zu fördern, die zum Klimaschutz, zur Anpassung an den Klimawandel und zum Schutz der biologischen Vielfalt beitragen. Der Projektträger "Zukunft - Umwelt - Gesellschaft" (ZUG) gGmbH unterstützt das BMU bei der Umsetzung der IKI und führt die Geschäftsstelle der IKI. Im Rahmen dieser Tätigkeit betreut die ZUG gGmbH im Auftrag des BMU die Evaluierung von IKI Projekten.
Im Rahmen des neuen Evaluierungssystems der IKI beinhaltet diese Ausschreibung die begleitende Wirkungsevaluierung für zwei IKI-Projekte. Los 1 umfasst die begleitende Wirkungsevaluation eines anstehenden IKI-Projekts im Förderschwerpunkt "Developing skills and ideas: Aufbau einer Bildungslandschaft zum Thema Klimaschutz", das in einem der IKI-Partnerländer weltweit stattfinden wird. Zum Zeitpunkt dieser Ausschreibung ist das zu evaluierende Projekt noch nicht ausgewählt. Zum Zeitpunkt der Beauftragung dieser Evaluierung wird jedoch ein Projekt ausgewählt sein und die Vorbereitungsphase beginnen, in der das spezifische Projektdesign detaillierter ausgearbeitet wird. Es wird erwartet, dass das beauftragte Evaluierungsteam das Projekt von der Vorbereitungsphase bis nach Projektende begleitet, um die Wirkungspfade zu beschreiben und die erzielten Wirkungen einzuschätzen. Zu diesem Zweck wird die Evaluierung die Entwicklung einer geeigneten Wirkungslogik während der Vorbereitungsphase unterstützen und anschließend zu mehreren Zeitpunkten während und nach der Projektlaufzeit Daten erheben.
Die vorläufigen Evaluierungsfragen für diese langfristige Evaluierung, welche in der Inception Phase verfeinert oder spezifiziert werden können, sind:
1. Welche Schlüsselmechanismen haben dazu beigetragen, dass die langfristigen Ziele des Projekts (nicht) erreicht wurden, nämlich die Schaffung einer Bildungslandschaft, die den Übergang zu einer kohlenstoffarmen, klimaresistenten und „naturpositiven“ Wirtschaft und Gesellschaft erleichtert?
2. Inwieweit hat das Projekt zu einer Verhaltensänderung in Richtung Klimaschutz bei den Teilnehmern der vom Projekt unterstützten formalen und nicht-formalen Bildungsaktivitäten beigetragen?
3. Inwieweit hat das Projekt dazu beigetragen, das Angebot an qualifizierten Arbeitskräften in bestimmten Sektoren zu erhöhen und zu verbessern, die für die Transformation zu einer kohlenstoffarmen, klimaresistenten und „naturpositiven“ Wirtschaft im Durchführungsland entscheidend sind? Inwieweit hat es dazu beigetragen, die Nachfrage nach qualifizierten Arbeitskräften in diesen Sektoren zu erhöhen?
Als Ausgangspunkt wird ein theoriebasierter Evaluierungsansatz vorgeschlagen, um die Mechanismen zu offenzulegen, die dazu beitragen, dass die langfristigen Ziele des Projekts, eine Bildungslandschaft zu schaffen, die geeignet ist, den Übergang zu einer kohlenstoffarmen, klimaresistenten und „naturpositiven“ Wirtschaft und Gesellschaft zu erleichtern, (nicht) erreicht werden. Sie sollte ein Längsschnittdesign beinhalten, wenn möglich (quasi-)experimentell, das den Lernweg und die Verhaltensänderungen von Projektbegünstigten (z. B. Stipendiaten oder Schulungsteilnehmer) mit Nichtbegünstigten vergleicht. Darüber hinaus sollte ein geeignetes Bewertungskonzept entwickelt werden, um die Auswirkungen des Projekts auf den Arbeitsmarkt mit statistischen Methoden auf der Grundlage einer soliden Stichprobenstrategie zu bewerten (siehe vorläufige Evaluierungsfrage 3). In Anbetracht des vorläufigen Charakters der Evaluierungsfragen sollten das vom Vertragspartner vorgeschlagene Bewertungskonzept und die entsprechenden Methoden die nötige Flexibilität bieten, um die Strategie in Übereinstimmung mit dem in der Vorbereitungsphase des Projekts entwickelten Projektkonzept anzupassen. In jedem Fall wird eine Kombination verschiedener Evaluierungsansätze unter Anwendung gemischter sozialwissenschaftlicher Methoden (qualitativ und quantitativ) bevorzugt, um die Stärken und Schwächen der verschiedenen Ansätze auszugleichen.
Die Evaluation wird von einer Steuerungsgruppe mit Vertretern des BMU und der ZUG begleitet. Die übergeordneten Ziele dieses langfristigen Evaluierungsinstruments sind Lernen, bessere Entscheidungsfindung und ein Beitrag zur Rechenschaftslegung.

Beschreibung der Optionen

- Optionales Arbeitspaket 1: Ex-post Datenerhebung (siehe Vergabeunterlagen, Leistungsbeschreibung 2.4.3.);
- Optionales Arbeitspaket 2: Zwischenevaluierung (siehe Vergabeunterlagen, Leistungsbeschreibung 2.4.4.).

Beschreibung der Beschaffung

Die Internationale Klimaschutzinitiative (IKI) des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) finanziert seit 2008 Klima- und Biodiversitätsprojekte in Entwicklungs-, Schwellen- und Transformationsländern. Die IKI ist ein wichtiger Bestandteil der deutschen Klima- und Biodiversitätsfinanzierung und der (finanziellen) Verpflichtungen aus den entsprechenden UN-Konventionen. Ziel der IKI ist es, qualitativ hochwertige Projekte zu fördern, die zum Klimaschutz, zur Anpassung an den Klimawandel und zum Schutz der biologischen Vielfalt beitragen. Der Projektträger "Zukunft - Umwelt - Gesellschaft" (ZUG) gGmbH unterstützt das BMU bei der Umsetzung der IKI und führt die Geschäftsstelle der IKI. Im Rahmen dieser Tätigkeit betreut die ZUG gGmbH im Auftrag des BMU die Evaluierung von IKI Projekten.
Als Teil des neuen Evaluierungssystems der IKI beinhaltet diese Ausschreibung die begleitende Wirkungsevaluierung für zwei IKI Projekte. Los 2 umfasst die begleitende Wirkungsevaluierung des IKI Projekts „Verbesserung der Energieeffizienz der globalen Gebäudelieferkette und ihrer Produkte, um hocheffiziente Gebäude zu liefern". Dieses Projekt wird von einem Konsortium unter der Leitung der Wirtschaftskommission der Vereinten Nationen für Europa (UNECE) in sieben Ländern der ehemaligen Sowjetunion durchgeführt und wird voraussichtlich Ende 2021 in die Vorbereitungsphase eintreten. Das beauftragte Evaluierungsteam soll das Projekt von der Vorbereitungsphase bis nach Projektende begleiten, um die Wirkungspfade zu beschreiben und die Wirkungen einzuschätzen. Zu diesem Zweck wird die Evaluierung die Entwicklung einer geeigneten Wirkungslogik während der Vorbereitungsphase unterstützen und anschließend zu mehreren Zeitpunkten während und nach der Projektlaufzeit Daten erheben.
Die vorläufigen Evaluierungsfragen für diese langfristige Evaluierung, die in der Anfangsphase verfeinert oder spezifiziert werden können, sind:
1. In welchem Umfang und wie hat das Projekt zu Verhaltensänderungen bei relevanten Akteuren, zu erhöhter Energieeffizienz und CO2-Einsparungen im Gebäudesektor und der -lieferketten der Projektländer beigetragen? Welche anderen positiven oder negativen beabsichtigten und unbeabsichtigten Auswirkungen hatte das Projekt (z.B. co-benefits)? Was waren die zentralen Projektmechanismen sowie andere hinderlichen und unterstützenden Faktoren, die zu Wirkungen in den verschiedenen Ländern und auf regionaler Ebene beigetragen haben bzw. Wirkungen verhindert haben?
2. Wie hat das Projekt zu transformativen Veränderungen in Richtung Netto-Null-Emissionen im Gebäudesektor beigetragen bzw. was hat transformative Wirkungen verhindert?
3. Wie viel CO2 wurde in der Gebäudelieferkette der Projektländer eingespart und wie viel wird voraussichtlich bis z.B. 2030 eingespart werden? Wie viel von diesen Veränderungen kann auf das Projekt zurückgeführt werden? Wie stehen diese Einsparungen im Vergleich zu den Einsparungen in anderen Sektoren, den Vorjahren und den nationalen Einsparungszielen in den verschiedenen Ländern? Gehen diese CO2-Einsparungen mit negativen Effekten einher, z.B. Rebound-Effekte?
Als Ausgangspunkt wird ein theoriebasiertes Evaluierungsdesign vorgeschlagen, um die Mechanismen zu klären, mit denen das Projekt dazu beiträgt, die Projektziele (nicht) zu erreichen, d. h. die Kapazitäten der Länder zur Verbesserung der Energieeffizienz und zur Verringerung des verkörperten Kohlenstoffs und der Energie (graue Energie) in der Gebäudeindustrie und -Gebäudelieferketten zu verbessern. Es sollte ein geeignetes Konzept zur quantitativen Wirkungsevaluierung entwickelt werden, um die Auswirkungen des Gesamtprojekts und der verschiedenen innovativen Instrumente (z. B. neue Vorschriften, Anreizmechanismen, Programme zum Aufbau von Kapazitäten) auf Verhaltensänderungen, Energie- und CO2-Einsparungen und andere Nebeneffekte (z. B. gesundheitliche Auswirkungen, Schaffung von Arbeitsplätzen) in der Lieferkette der Gebäudeindustrie zu messen. Idealerweise umfasst die AIE eine Kombination verschiedener quantitativer Methoden, um die Auswirkungen in den verschiedenen Projektländern zu bewerten und die kausalen Auswirkungen der im Rahmen des Projekts entwickelten innovativen Instrumente zu messen. Nach Möglichkeit kombiniert der Ansatz experimentelle oder quasi-experimentelle statistische Methoden unter Verwendung von Kontrollgruppendesigns und Fallstudienansätzen sowie andere quantitative Methoden auf der Grundlage einer soliden Stichprobenstrategie, um die Gebäudezulieferketten in den verschiedenen Ländern zu untersuchen. Darüber hinaus soll ein geeignetes qualitatives Forschungsdesign entwickelt werden, das eine Bewertung der Wirkungspfade und der zugrundeliegenden Faktoren ermöglicht, die das Erreichen der Projektziele unterstützen oder behindern und transformative Veränderungen bewirken. In Anbetracht des vorläufigen Charakters der Evaluierungsfragen sollten das vom Vertragspartner vorgeschlagene Evaluierungsdesign und die entsprechenden Methoden die notwendige Flexibilität bieten, um die Strategie im Einklang mit dem in der Vorbereitungsphase des Projekts entwickelten Projektdesign anzupassen. In jedem Fall ist eine Kombination verschiedener Bewertungsansätze unter Anwendung gemischter sozialwissenschaftlicher Methoden vorzuziehen, um die Stärken und Schwächen der verschiedenen Ansätze auszugleichen.
Die Evaluation wird von einer Steuerungsgruppe mit Vertretern des BMU und der ZUG begleitet. Die übergeordneten Ziele dieses langfristigen Evaluierungsinstruments sind Lernen, bessere Entscheidungsfindung und ein Beitrag zur Rechenschaftslegung.

Beschreibung der Optionen

- Optionales Arbeitspaket 1: Ex-post Datenerhebung (siehe Vergabeunterlagen, Leistungsbeschreibung 3.4.3.);
- Optionales Arbeitspaket 2: Zwischenevaluierung (siehe Vergabeunterlagen, Leistungsbeschreibung 3.4.4.).

Liste und kurze Beschreibung der Bedingungen

Eigenerklärungen zu 1. zwingenden und fakultativen Ausschlussgründe gem. § 123 und § 124 Gesetz gegen Wettbewerbsbeschränkungen (GWB), 2. Zahlung von Steuern, Abgaben und Beiträgen zur gesetzlichen Sozialversicherung, 3. Insolvenzverfahren, 4. Eintragung in Berufs- oder Handelsregister sowie bei Bedarf zu Bietergemeinschaften und Unterauftragnehmern.

Liste und kurze Beschreibung der Auswahlkriterien

1. Beschäftigtenzahl: Durchschnittlich 10 Beschäftigte in vergleichbarer Tätigkeit, jeweils in den letzten drei Jahren, 2. Angabe zum Personal (Projektteam), 3. Je zwei Referenzen vergleichbarer Leistungen mind. eines Teammitglieds zu: Erfahrungen in der Durchführung von Evaluierungsprojekten mit mind. 100.000 € (netto) Budget und mind. 2 Jahren Laufzeit; Erfahrung in der Durchführung von Projekten im thematischen Kontext Entwicklung eines Bildungs-/Capacity Development-Systems (Los 1) / Energieeffizienz (Los 2); Erfahrung in der Durchführung von Evaluierungsprojekten, die komplexe quantitative und qualitative Methoden kombinieren.

Bedingungen für die Teilnahme (technische und berufliche Fähigkeiten)

1. Beschäftigtenzahl: Durchschnittlich 10 Beschäftigte in vergleichbarer Tätigkeit, jeweils in den letzten drei Jahren, 2. Angabe zum Personal (Projektteam), 3. Je zwei Referenzen vergleichbarer Leistungen mind. eines Teammitglieds zu: Erfahrungen in der Durchführung von Evaluierungsprojekten mit mind. 100.000 € (netto) Budget und mind. 2 Jahren Laufzeit; Erfahrung in der Durchführung von Projekten im thematischen Kontext Entwicklung eines Bildungs-/Capacity Development-Systems (Los 1) / Energieeffizienz (Los 2); Erfahrung in der Durchführung von Evaluierungsprojekten, die komplexe quantitative und qualitative Methoden kombinieren.

1. Fragen/Bieterfragen über die Vergabeunterlagen sind ausschließlich in Textform über die e-Vergabe-Plattform des Bundes rechtzeitig, bis spätestens 16.09.2021 14 Uhr, zu stellen. Die Vergabestelle wird allen registrierten Teilnehmern die Auskünfte schnellstmöglich über die Plattform erteilen.
2. Es gilt deutsches Recht.