P 538 - Vorbereitung der Erprobung und Weiterentwicklung von Anforderungen an KI-Systeme anhand praktischer Use-Cases im Bereich Mobilität (AIMobilityAuditPrep)

Bundesamt für Sicherheit in der Informationstechnik

In diesem Projekt sollen die praxisnahe Erprobung und Weiterentwicklung von a) Anforderungen an, b) Methoden und Werkzeugen für die Prüfung von KI-Systemen und c) Maßnahmen zur Mitigation von Risiken des Einsatzes von KI-Systemen vorbereitet werden. Die praktische Ausgestaltung soll dann auf Basis der Ergebnisse dieses Projektes in einem Folgeprojekt anhand von zwei praxisrelevanten Use-Cases im Mobilitätsbereich erfolgen. Als Grundlage für die Ausschreibung des Folgeprojektes sollen daher insbesondere relevante Use-Cases aus dem Mobilitätsbereich verglichen werden im Hinblick auf deren Eignung zur Erlangung generalisierter Erkenntnisse. Hierbei sollen einerseits vorhandene "klassische" Vorarbeiten (Standards, Prüfmethoden etc.) und andererseits neue, KI-spezifische Erkenntnisse aus der Forschung berücksichtigt werden. Bei der Vorbereitung der Erprobung und Weiterentwicklung soll ein iterativer Prozess in Simulationen als auch in der realen Welt als zentraler Baustein eingeplant werden. Als Grundlage für die Untersuchungen soll eine Toolchain geplant und deren praktische Gestaltung examplarisch vorbereitet werden. Hierbei sind von der Datengewinnung und Qualitätskontrolle über das Training mittels maschinellen Lernens, der Evaluation mittels aussagekräftiger Metriken für die Aspekte Funktionalität, Sicherheit, Safety, Robustheit und Interpretierbarkeit, dem Betrieb in Simulation und Realität bis hin zur Generierung hochqualitativer Angriffe und zur Anwendung angemessener Verteidigungsmaßnahmen alle relevanten Aspekte zu berücksichtigen. Nicht jedoch im Aufgabengebiet des BSI liegen die Aspekte Datenschutz und Ethik und daher sind diese nicht Gegenstand dieses Projekts. Die im Folgeprojekt zu erlangenden Erkenntnisse sollen hinreichend für die Erstellung einer modularen technischen Richtlinie sein, die anschließend eine wichtige Grundlage für Beratungen und Standardisierungsbemühungen bilden soll.

Deadline

Die Frist für den Eingang der Angebote war 2021-09-14. Die Ausschreibung wurde veröffentlicht am 2021-08-10.

Anbieter

Die folgenden Lieferanten werden in Vergabeentscheidungen oder anderen Beschaffungsunterlagen erwähnt:

• ZF Friedrichshafen AG

Wer?

• Bundesamt für Sicherheit in der Informationstechnik

Wie?

• IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung

Wo?

• Köln › Bonn, Kreisfreie Stadt

Geschichte der Beschaffung

Datum	Dokument
2021-08-10	Auftragsbekanntmachung
2021-09-09	Ergänzende Angaben
2022-01-18	Bekanntmachung über vergebene Aufträge

Auftragsbekanntmachung (2021-08-10)
Objekt
Umfang der Beschaffung
Titel: IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung
Referenznummer: P 538
Kurze Beschreibung:

Metadaten der Bekanntmachung
Originalsprache: Deutsch 🗣️
Dokumenttyp: Auftragsbekanntmachung
Art des Auftrags: Dienstleistungen
Verordnung: Europäische Union
Gemeinsames Vokabular für öffentliche Aufträge (CPV)
Code: IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung 📦
Ort der Leistung
NUTS-Region: Bonn, Kreisfreie Stadt 🏙️

Verfahren
Verfahrensart: Offenes Verfahren
Angebotsart: Angebot für alle Lose
Vergabekriterien
Wirtschaftlichstes Angebot

Öffentlicher Auftraggeber
Identität
Land: Deutschland 🇩🇪
Art des öffentlichen Auftraggebers: Ministerium oder sonstige zentral- oder bundesstaatliche Behörde
Name des öffentlichen Auftraggebers: Bundesamt für Sicherheit in der Informationstechnik
Postanschrift: Postfach 200363
Postleitzahl: 53133
Postort: Bonn
Kontakt
Internetadresse: http://www.bsi.bund.de 🌏
E-Mail: vergabestelle@bsi.bund.de 📧
URL der Dokumente: https://www.evergabe-online.de/tenderdetails.html?id=408008 🌏
URL der Teilnahme: https://www.evergabe-online.de/tenderdetails.html?id=408008 🌏

Referenz
Daten
Absendedatum: 2021-08-10 📅
Einreichungsfrist: 2021-09-14 📅
Veröffentlichungsdatum: 2021-08-13 📅
Kennungen
Bekanntmachungsnummer: 2021/S 156-413353
ABl. S-Ausgabe: 156

Objekt
Umfang der Beschaffung
Kurze Beschreibung: s. Punkt II 1.4
Dauer: 9 Monate
Beschreibung der Optionen:

AP 7 ist eine optionale Leistung. Diese muss vom Bieter angeboten werden, der Auftraggeber verzichtet

jedoch ggf. generell auf deren Beauftragung.

Die Beauftragung des AP 7 ist abhängig von den Ergebnissen der AP 4 und 5.

Ort der Leistung
Hauptstandort oder Erfüllungsort: Beim Auftragnehmer

Rechtliche, wirtschaftliche, finanzielle und technische Informationen
Bedingungen für die Teilnahme
Technische und berufliche Fähigkeiten:

1. Referenzen: Organisation von Projekten und einschlägige Projektleitungserfahrung

Legen Sie geeignete Referenzen der beteiligten Unternehmen vor. Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung. Dies ist bei der vorliegenden Ausschreibung insbesondere gegeben bei Erfahrungen im Bereich KI-Systeme, Automotive und Prüfung.

Die genannten Referenzen müssen insbesondere die Fähigkeit der beteiligten Unternehmen auf dem Gebiet der Forschung und Entwicklung sowie die Ausarbeitung und Umsetzung innovativer Lösungen belegen. Im Wege der Referenzen ist daher nachzuweisen, dass die beteiligten Unternehmen bereits Erfahrungen in den folgenden Bereichen gesammelt haben und in diesem Kontext erfolgreich Industrie- und/oder öffentlich geförderte Forschungsprojekte geleitet haben:

Entwicklung von KI-Systemen,

Prüfung von KI-Systemen,

Anwendung von KI-Technologie im Mobilitätsbereich

Entwicklung und Prüfung von Systemen für den Mobilitätsbereich

Simulation von relevanten Use-Cases.

Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden. Gehen Sie bei der Erstellung des Referenznachweises auf die folgenden Punkte ein:

Auftraggeber inkl. Fachbereich

(detaillierte) Darstellung des Auftragsgegenstands / der Tätigkeit

Umfang / Betroffener Erfahrungsbereich

Dauer

Auftragsvolumen

Anzahl und Diversität beteiligter Mitarbeiter

Die Darstellung sollte eine DIN A4-Seite pro Referenzprojekt nicht überschreiten.

Es werden keine Referenzschreiben früherer Auftraggeber benötigt.

Mindestanforderungen: Insgesamt sind mindestens drei geeignete Referenzen vorzulegen. Alle Erfahrungsbereiche müssen durch geeignete Referenzen belegt werden, wobei eine Referenz zur Abdeckung mehrerer Bereiche herangezogen werden darf.

2. Referenzen: wissenschaftliche Publikationen

Belegen Sie anhand von mindestens einer Referenz, dass mindestens eines der beteiligten Unternehmen Erfahrungen in der Publikation von wissenschaftlichen Artikeln hat.

Gehen Sie dabei auf folgende Punkte ein:

veröffentlichte Artikel (Liste und PDFs der Artikel)

Art der Veröffentlichung (Journal oder Konferenz, peer-reviewed oder nicht)

Abstract des Artikels

Rolle des AN bei der Erstellung und Publikation der Artikel

Die Darstellung sollte insgesamt einen Umfang von 5 DIN A4-Seiten (ohne Artikel im PDF-Format) nicht überschreiten.

3. Referenzen: Entwicklung von KI-Systemen

Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen Kenntnisse und praktische Erfahrungen in der Entwicklung von KI-Systemen, insbesondere von tiefen neuronalen Netzen, besitzt. Hierbei sind relevante Programmierkenntnisse und Erfahrung mit relevanten Deep Learning Frameworks, u.a. Tensorflow und PyTorch, nachzuweisen. Weiterhin ist Entwicklungserfahrung hinsichtlich relevanter Anwendungsklassen im Kontext Mobilität / Automotive nachzuweisen.

Weiterhin ist die aktive Mitarbeit in Industrie- und/oder öffentlichen Forschungsprojekten nachzuweisen, die mit mind. zwei der folgenden Aspekte befasst waren: Robustheit, adversariale Angriffe, Poisoning-Angriffe, Gegenmaßnahmen gegen (adversariale) Angriffe (z.B. adversariales Training), Entwicklung von Bewertungskriterien oder Interpretierbarkeit. Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden.

Gegenstand der Projekte

Umfang / Dauer

Die Darstellung sollte eine DIN A4-Seite pro Referenz nicht überschreiten.

Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt ist mindestens eine Referenz vorzulegen.

Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.

4. Referenzen: Prüfung von Systemen im Bereich Mobilität

Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Prüfung von Systemen im Mobilitätsbereich besitzt.

Eine möglichst breite Erfahrung in der Anwendung und Evaluation von Prüfprozessen ist wünschenswert. Durch die Mitarbeiter müssen diesbezüglich mind. zwei Use-Cases abgedeckt sein, idealerweise mit einem breiten Spektrum.

Gegenstand der Prüfungen

Umfang / Komplexität / Dauer

Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt sind mindestens drei Referenzen vorzulegen.

5. Referenzen: Projekterfahrung mit komplexen Systemen

Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Entwicklung und / oder Prüfung von komplexen Systemen hat. Mit komplexen Systemen, auch als „system of systems“ bezeichnet, ist hiermit gemeint, dass in einem Gesamtsystem mehrere Teilsysteme interagieren und dieses aus Soft- und Hardwaremodulen, Sensorik- und Aktuatorikkomponenten besteht. Beispiele hierfür sind Robotik, (teil-)autonome Fahrzeuge und biometrische Systeme. Bei der Arbeit mit diesen Systemen müssen mind. zwei der folgenden Aspekte eine zentrale Rolle gespielt haben: IT-Sicherheit, Safety, Robustheit, Interpretierbarkeit.

6.Technische Ausrüstung

Geben Sie einen kurzen Überblick über das technische Equipment, welches Ihnen zur Verfügung steht (z.B. Hard- und Software zum Training von neuronalen Netzen und zur Simulation von relevanten Anwendungsfällen, HIL, SIL, Testflotte) und von Ihnen zur Erbringung der hier ausgeschriebenen Leistung, insbesondere der AP 5 und AP 7, eingesetzt wird.

Mindestanforderung: Der Auftragnehmer verfügt für die Leistungserbringung mindestens über die folgende technische Ausrüstung:

technischen Voraussetzungen für das Trainieren und Evaluieren von tiefen neuronalen Netzen

Simulation relevanter Anwendungsszenarien im Mobilitätsbereich.

Auftragsausführung
Bedingungen für die Vertragserfüllung: Ausführungsbedingungen gemäß Auftragsunterlagen

Verfahren
Rechtsgrundlage: 32014L0024
Zeitpunkt des Eingangs der Angebote: 14:00
Sprachen, in denen Angebote oder Teilnahmeanträge eingereicht werden können: Deutsch 🗣️
Gültigkeitsdauer des Angebots: 3 Monate
Datum der Angebotseröffnung: 2021-09-14 📅
Zeitpunkt der Angebotseröffnung: 14:00

Öffentlicher Auftraggeber
Kontakt
Dokumente URL: https://www.evergabe-online.de/tenderdetails.html?id=408008 🌏

Ergänzende Informationen
Körper überprüfen
Name: Vergabekammer des Bundes beim Bundeskartellamt
Postanschrift: Villemombler Str. 76
Postort: Bonn
Postleitzahl: 53123
Land: Deutschland 🇩🇪
Telefon: +49 228-94990 📞
E-Mail: info@bundeskartellamt.bund.de 📧
Fax: +49 228-9499400 📠
Internetadresse: http://www.bundeskartellamt.de 🌏
Quelle: OJS 2021/S 156-413353 (2021-08-10)

Ergänzende Angaben (2021-09-09)
Objekt
Metadaten der Bekanntmachung
Dokumenttyp: Ergänzende Angaben

Referenz
Daten
Absendedatum: 2021-09-09 📅
Einreichungsfrist: 2021-09-21 📅
Veröffentlichungsdatum: 2021-09-14 📅
Kennungen
Bekanntmachungsnummer: 2021/S 178-464440
Verweist auf Bekanntmachung: 2021/S 156-413353
ABl. S-Ausgabe: 178
Quelle: OJS 2021/S 178-464440 (2021-09-09)

Bekanntmachung über vergebene Aufträge (2022-01-18)
Objekt
Umfang der Beschaffung
Gesamtwert des Auftrags: 150 952 EUR 💰
Metadaten der Bekanntmachung
Dokumenttyp: Bekanntmachung über vergebene Aufträge

Verfahren
Angebotsart: Entfällt

Referenz
Daten
Absendedatum: 2022-01-18 📅
Veröffentlichungsdatum: 2022-01-21 📅
Kennungen
Bekanntmachungsnummer: 2022/S 015-035537
ABl. S-Ausgabe: 15

Objekt
Umfang der Beschaffung
Beschreibung der Optionen:

Die optionalen Leistungen in Höhe von 47.481,60 € werden ggf. zu einem späteren Zeitpunkt beauftragt.

Verfahren
Vergabekriterien
Qualitätskriterium (Bezeichnung): Zuschlagskriterien
Qualitätskriterium (Gewichtung): 50
Preis (Gewichtung): 50

Auftragsvergabe
Datum des Vertragsabschlusses: 2021-11-05 📅
Name: ZF Friedrichshafen AG
Postort: Friedrichshafen
Land: Deutschland 🇩🇪
Bodenseekreis 🏙️
Gesamtwert des Auftrags: 150 952 EUR 💰
Informationen über Ausschreibungen
Anzahl der eingegangenen Angebote: 5
Quelle: OJS 2022/S 015-035537 (2022-01-18)

Neue Beschaffungen in verwandten Kategorien 🆕

IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung (>20 neue Beschaffungen)

Computer-Backup-Dienste und Katalogkonvertierung
Computernetze
Computerrevision und -prüfung (2)
Computerunterstützung und -beratung (4)
Datendienste (13)
Datenverarbeitungsdienste (3)
Hardwareberatung (1)
Internetdienste (7)
Softwareprogrammierung und -beratung (>20)