P 532 Erprobung und Weiterentwicklung von Anforderungen an KI-Systeme anhand praktischer Use-Cases im Bereich Mobilität (AlMobilityAudit)

Kurze Beschreibung

In diesem Projekt sollen anhand von zwei praxisrelevanten Use-Cases im Mobilitätsbereich die Anforderungen an und die Methoden und Werkzeuge für Prüfungen von KI-Systemen und für die Mitigation von deren Risiken praxisnah erprobt und weiterentwickelt werden. Hierbei sollen einerseits vorhandene "klassische" Vorarbeiten (Standards, Prüfmethoden etc.) und andererseits neue, KI-spezifische Erkenntnisse aus der Forschung berücksichtigt werden. Die Erprobung und Weiterentwicklung soll iterativ sowohl in Simulationen als auch in der realen Welt erfolgen. Als Grundlage für diese Untersuchungen wird eine Toolchain aufgebaut, die von der Datengewinnung und Qualitätskontrolle über das Training mittels maschinellen Lernens, die Evaluation mittels aussagekräftiger Metriken für die Aspekte Funktionalität, Sicherheit, Safety, Robustheit und Vertrauenswürdigkeit, den Betrieb in Simulation und Realität bis hin zur Generierung hochqualitativer Angriffe und zur Anwendung angemessener Verteidigungsmaßnahmen reicht. Auf Basis der gewonnenen Erkenntnisse soll eine modulare technische Richtlinie erstellt werden, die anschließend eine wichtige Grundlage für Beratungen und Standardisierungsbemühungen bilden soll.

Beschreibung der Optionen

AP 6, 7 und 8 sind optionale Leistungen. Diese müssen vom Bieter angeboten werden, der Auftraggeber verzichtet jedoch ggf. generell auf deren Beauftragung.
Die Beauftragung der AP 6, 7 und 8 erfolgt abhängig von den Zwischenergebnissen innerhalb der AP 3, 4 und 5. D.h. für eine Beauftragung müssen nicht zuerst die AP 3, 4 und 5 abgeschlossen sein, sondern es muss lediglich deren Entwicklung abgeschätzt werden können. Sollten die Optionen gezogen werden verlängert sich die Laufzeit um weitere 5 Monate.

Liste und kurze Beschreibung der Auswahlkriterien

1) Eigenerklärung zu Artikel 5k der Verordnung (EU) 833/2014
Im Rahmen des EU-Sanktionspakets im Zusammenhang mit dem Angriffskrieg Russlands auf die Ukraine wurde durch Verordnung (EU) 2022/576 des Rates vom 08.04.2022 folgender Artikel in die Verordnung (EU) 833/2014 aufgenommen:
Artikel 5k
(1) Es ist verboten, öffentliche Aufträge oder Konzessionen, die in den Anwendungsbereich der Richtlinien über die öffentliche Auftragsvergabe sowie unter Artikel 10 Absatz 1, Absatz 3, Absatz 6 Buchstaben a bis e, Absatz 8, Absatz 9 und Absatz 10 und die Artikel 11, 12, 13 und 14 der Richtlinie 2014/23/EU, unter die Artikel 7 und 8, Artikel 10 Buchstaben b bis f und h bis j der Richtlinie 2014/24/EU, unter Artikel 18, Artikel 21 Buchstaben b bis e und g bis i, Artikel 29 und Artikel 30 der Richtlinie 2014/25/EU und unter Artikel 13 Buchstaben a bis d, f bis h und j der Richtlinie 2009/81/EG fallen, an folgende Personen, Organisationen oder Einrichtungen zu vergeben bzw. Verträge mit solchen Personen, Organisationen oder Einrichtungen weiterhin zu erfüllen:
a) russische Staatsangehörige oder in Russland niedergelassene natürliche oder juristische Personen, Organisationen oder Einrichtungen,
b) juristische Personen, Organisationen oder Einrichtungen, deren Anteile zu über 50 % unmittelbar oder mittelbar von einer der unter Buchstabe a genannten Organisationen gehalten werden, oder
c) natürliche oder juristische Personen, Organisationen oder Einrichtungen, die im Namen oder auf Anweisung einer der unter Buchstabe a oder b genannten Organisationen handeln,
auch solche, auf die mehr als 10 % des Auftragswerts entfällt, Unterauftragnehmer, Lieferanten oder Unternehmen, deren Kapazitäten im Sinne der Richtlinien über die öffentliche Auftragsvergabe in Anspruch genommen werden.
Bestätigen Sie, dass keine der o.g. Ausschlussgründe für eine öffentliche Auftragsvergabe oder Konzessionsvergabe bzw. eine Vertragsweiterführung auf Sie zutreffen und dass Sie auch im Rahmen der Vertragsausführung keine Änderungen vornehmen (z.B. durch Einbindung eines Unterauftragnehmers oder eines Lieferanten), die gegen die o.g. Ausschlussgründe verstoßen?
Bitte die Frage mit „JA“ (es liegt kein o.g. Ausschlussgrund vor) oder „NEIN“ (es liegt ein o.g. Ausschlussgrund vor) beantworten.
Mindestanforderung: Die Frage wurde mit „Ja“ beantwortet. Wurde die Frage mit „Nein“ beantwortet, so führt dies zum Ausschluss aus dem Vergabeverfahren. Ihnen ist bewusst, dass eine wissentlich falsche Angabe der Erklärung zum Ausschluss aus dem Vergabeverfahren führt und nach Vertragsschluss den Auftraggeber zur außerordentlichen Kündigung berechtigt.
2) Referenzen: Organisation von Projekten und einschlägige Projektleitungserfahrung
Legen Sie geeignete Referenzen der beteiligten Unternehmen vor. Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung. Dies ist bei der vorliegenden Ausschreibung insbesondere gegeben bei Erfahrungen im Bereich KI-Systeme, Automotive und Prüfung.
Die genannten Referenzen müssen insbesondere die Fähigkeit der beteiligten Unternehmen auf dem Gebiet der Forschung und Entwicklung sowie die Ausarbeitung und Umsetzung innovativer Lösungen belegen. Im Wege der Referenzen ist daher nachzuweisen, dass die beteiligten Unternehmen bereits Erfahrungen in den folgenden Bereichen gesammelt haben und in diesem Kontext erfolgreich Industrie- und/oder öffentlich geförderte Forschungsprojekte geleitet haben:
- Entwicklung von KI-Systemen,
- Prüfung von KI-Systemen,
- Anwendung von KI-Technologie im Mobilitätsbereich
- Entwicklung und Prüfung von Systemen für den Mobilitätsbereich
- Simulation von relevanten Use-Cases.
Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden. Gehen Sie bei der Erstellung des Referenznachweises auf die folgenden Punkte ein:
- Auftraggeber inkl. Fachbereich
- (detaillierte) Darstellung des Auftragsgegenstands / der Tätigkeit
- Umfang / Betroffener Erfahrungsbereich
- Dauer
- Auftragsvolumen
- Anzahl und fachlicher Hintergrund beteiligter Mitarbeiter
Die Darstellung sollte eine DIN A4-Seite pro Referenzprojekt und insgesamt einen Umfang von fünf DIN A4-Seiten nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Insgesamt sind mindestens drei geeignete Referenzen vorzulegen. Alle Erfahrungsbereiche müssen durch geeignete Referenzen belegt werden, wobei eine Referenz zur Abdeckung mehrerer Bereiche herangezogen werden darf.
3) Referenzen: wissenschaftliche Publikationen
Belegen Sie anhand von mindestens einer Referenz, dass mindestens eines der beteiligten Unternehmen Erfahrungen in der Publikation von wissenschaftlichen Artikeln hat.
Gehen Sie dabei auf folgende Punkte ein:
- veröffentlichte Artikel (Liste und PDFs der Artikel)
- Art der Veröffentlichung (Journal oder Konferenz, peer-reviewed oder nicht)
- Abstract des Artikels
- Rolle des AN bei der Erstellung und Publikation der Artikel
Die Darstellung sollte insgesamt einen Umfang von 3 DIN A4-Seiten (ohne Artikel im PDF-Format) nicht überschreiten.
4) Referenzen: Entwicklung von KI-Systemen
Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen Kenntnisse und praktische Erfahrungen in der Entwicklung von KI-Systemen, insbesondere von tiefen neuronalen Netzen, besitzt. Hierbei sind relevante Programmierkenntnisse und Erfahrung mit relevanten Deep-Learning-Frameworks, u.a. Tensorflow und PyTorch, nachzuweisen. Weiterhin ist Entwicklungserfahrung hinsichtlich relevanter Anwendungsklassen im Kontext Mobilität / Automotive nachzuweisen.
Weiterhin ist die aktive Mitarbeit in Industrie- und/oder öffentlichen Forschungsprojekten nachzuweisen, die mit mind. zwei der folgenden Aspekte befasst waren: Robustheit, adversariale Angriffe, Poisoning-Angriffe, Gegenmaßnahmen gegen (adversariale) Angriffe (z.B. adversariales Training), Entwicklung von Bewertungskriterien oder Interpretierbarkeit. Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden.
Gehen Sie dabei auf folgende Punkte ein:
- Auftraggeber inkl. Fachbereich
- Gegenstand der Projekte
- Umfang / Dauer
Die Darstellung sollte eine DIN A4-Seite pro Referenz und insgesamt einen Umfang von fünf DIN A4-Seiten nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt ist mindestens eine Referenz vorzulegen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
5) Referenzen: Prüfung von Systemen im Bereich Mobilität
Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Prüfung von Systemen im Mobilitätsbereich besitzt.
Eine möglichst breite Erfahrung in der Entwicklung, Anwendung, Evaluation und Standardisierung von Prüfprozessen ist wünschenswert. Durch die Mitarbeiter müssen diesbezüglich mind. zwei Use-Cases abgedeckt sein, idealerweise mit einem breiten Spektrum.
Gehen Sie dabei auf folgende Punkte ein:
- Auftraggeber inkl. Fachbereich
- Gegenstand der Prüfungen
- Umfang / Komplexität / Dauer
- ggf. Gremienmitarbeit bei Standardisierungsaktivitäten und Mitwirkung an der Verfassung von entsprechenden Dokumenten
- ggf. Beteiligung bei der Neuentwicklung von Prüfmethodologien und Prüfwerkzeugen
Die Darstellung sollte eine DIN A4-Seite pro Referenz und insgesamt einen Umfang von fünf DIN A4-Seiten nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt sind mindestens drei Referenzen vorzulegen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
6) Referenzen: Projekterfahrung mit komplexen Systemen
Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Entwicklung und / oder Prüfung von komplexen Systemen hat. Mit komplexen Systemen, auch als „systems of systems“ bezeichnet, ist hiermit gemeint, dass in einem Gesamtsystem mehrere Teilsysteme interagieren und dieses aus Soft- und Hardwaremodulen, Sensorik- und Aktuatorikkomponenten besteht. Beispiele hierfür sind Robotik, (teil-)autonome Fahrzeuge und biometrische Systeme. Bei der Arbeit mit diesen Systemen müssen mind. zwei der folgenden Aspekte eine zentrale Rolle gespielt haben: IT-Sicherheit, Safety, Robustheit, Interpretierbarkeit.
Gehen Sie dabei auf folgende Punkte ein:
- Auftraggeber inkl. Fachbereich
- Gegenstand der Projekte
- Umfang / Komplexität / Dauer
Die Darstellung sollte eine DIN A4-Seite pro Referenz und insgesamt einen Umfang von fünf DIN A4-Seiten nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt sind mindestens drei Referenzen vorzulegen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.

Genaue Informationen über Fristen für Überprüfungsverfahren

Unternehmen haben Anspruch darauf, dass das BSI die Bestimmungen über das Vergabeverfahren einhält, vgl. § 97 Abs. 6 Gesetz gegen Wettbewerbsbeschränkungen (GWB). Rechte aus § 97 Abs. 6 sowie sonstige Ansprüche gegen das BSI, die auf die Vornahme oder das Unterlassen einer Handlung in einem Vergabeverfahren gerichtet sind, können nur vor den Vergabekammern und dem Beschwerdegericht geltend gemacht werden, § 156 Abs. 2 GWB. Die Vergabekammer leitet ein Nachprüfungsverfahren nur auf Antrag ein, § 160 Abs. 1 GWB.
Es wird darüber belehrt, dass ein solcher Nachprüfungsantrag gemäß § 160 Abs. 3 Satz 1 GWB unzulässig ist, soweit
1. der Antragsteller den geltend gemachten Verstoß gegen Vergabevorschriften vor Einreichen des Nachprüfungsantrags erkannt und gegenüber dem BSI nicht innerhalb einer Frist von zehn Kalendertagen gerügt hat; der Ablauf der Frist nach § 134 Absatz 2 bleibt unberührt,
2. Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, nicht spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,
3. Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, nicht spätestens bis zum Ablauf der Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,
4. mehr als 15 Kalendertage nach Eingang der Mitteilung des BSI, einer Rüge nicht abhelfen zu wollen, vergangen sind.
Die o.g. vier Unzulässigkeitsgründe gelten gemäß § 160 Abs. 3 Satz 2 GWB nicht bei einem Antrag auf Feststellung der Unwirksamkeit des Vertrags nach § 135 Abs. 1 Nr. 2 GWB. § 134 Abs. 1 Satz 2 GWB bleibt unberührt.