P 532 Erprobung und Weiterentwicklung von Anforderungen an KI-Systeme anhand praktischer Use-Cases im Bereich Mobilität (AlMobilityAudit)

Bundesamt für Sicherheit in der Informationstechnik

In diesem Projekt sollen anhand von zwei praxisrelevanten Use-Cases im Mobilitätsbereich die Anforderungen an und die Methoden und Werkzeuge für Prüfungen von KI-Systemen und für die Mitigation von deren Risiken praxisnah erprobt und weiterentwickelt werden. Hierbei sollen einerseits vorhandene "klassische" Vorarbeiten (Standards, Prüfmethoden etc.) und andererseits neue, KI-spezifische Erkenntnisse aus der Forschung berücksichtigt werden. Die Erprobung und Weiterentwicklung soll iterativ sowohl in Simulationen als auch in der realen Welt erfolgen. Als Grundlage für diese Untersuchungen wird eine Toolchain aufgebaut, die von der Datengewinnung und Qualitätskontrolle über das Training mittels maschinellen Lernens, die Evaluation mittels aussagekräftiger Metriken für die Aspekte Funktionalität, Sicherheit, Safety, Robustheit und Vertrauenswürdigkeit, den Betrieb in Simulation und Realität bis hin zur Generierung hochqualitativer Angriffe und zur Anwendung angemessener Verteidigungsmaßnahmen reicht. Auf Basis der gewonnenen Erkenntnisse soll eine modulare technische Richtlinie erstellt werden, die anschließend eine wichtige Grundlage für Beratungen und Standardisierungsbemühungen bilden soll.

Deadline

Die Frist für den Eingang der Angebote war 2022-08-09. Die Ausschreibung wurde veröffentlicht am 2022-06-13.

Anbieter

Die folgenden Lieferanten werden in Vergabeentscheidungen oder anderen Beschaffungsunterlagen erwähnt:

• ZF Friedrichshafen AG

Wer?

• Bundesamt für Sicherheit in der Informationstechnik

Wie?

• IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung

Wo?

• Köln › Bonn, Kreisfreie Stadt

Geschichte der Beschaffung

Datum	Dokument
2022-06-13	Auftragsbekanntmachung
2022-07-19	Ergänzende Angaben
2023-01-06	Bekanntmachung über vergebene Aufträge

Auftragsbekanntmachung (2022-06-13)
Objekt
Umfang der Beschaffung
Titel: IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung
Referenznummer: P 532
Kurze Beschreibung:

Metadaten der Bekanntmachung
Originalsprache: Deutsch 🗣️
Dokumenttyp: Auftragsbekanntmachung
Art des Auftrags: Dienstleistungen
Verordnung: Europäische Union
Gemeinsames Vokabular für öffentliche Aufträge (CPV)
Code: IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung 📦
Ort der Leistung
NUTS-Region: Bonn, Kreisfreie Stadt 🏙️

Verfahren
Verfahrensart: Offenes Verfahren
Angebotsart: Angebot für alle Lose
Vergabekriterien
Wirtschaftlichstes Angebot

Öffentlicher Auftraggeber
Identität
Land: Deutschland 🇩🇪
Art des öffentlichen Auftraggebers: Ministerium oder sonstige zentral- oder bundesstaatliche Behörde
Name des öffentlichen Auftraggebers: Bundesamt für Sicherheit in der Informationstechnik
Postanschrift: Postfach 200363
Postleitzahl: 53133
Postort: Bonn
Kontakt
Internetadresse: http://www.bsi.bund.de 🌏
E-Mail: vergabestelle@bsi.bund.de 📧
URL der Dokumente: https://www.evergabe-online.de/tenderdetails.html?id=463170 🌏
URL der Teilnahme: https://www.evergabe-online.de/tenderdetails.html?id=463170 🌏

Referenz
Daten
Absendedatum: 2022-06-13 📅
Einreichungsfrist: 2022-08-09 📅
Veröffentlichungsdatum: 2022-06-17 📅
Kennungen
Bekanntmachungsnummer: 2022/S 116-326057
ABl. S-Ausgabe: 116

Objekt
Umfang der Beschaffung
Kurze Beschreibung: s. Punkt II 1.4
Dauer: 17 Monate
Beschreibung der Optionen:

AP 6, 7 und 8 sind optionale Leistungen. Diese müssen vom Bieter angeboten werden, der Auftraggeber verzichtet jedoch ggf. generell auf deren Beauftragung.

Die Beauftragung der AP 6, 7 und 8 erfolgt abhängig von den Zwischenergebnissen innerhalb der AP 3, 4 und 5. D.h. für eine Beauftragung müssen nicht zuerst die AP 3, 4 und 5 abgeschlossen sein, sondern es muss lediglich deren Entwicklung abgeschätzt werden können. Sollten die Optionen gezogen werden verlängert sich die Laufzeit um weitere 5 Monate.

Ort der Leistung
Hauptstandort oder Erfüllungsort: Beim Auftragnehmer

Rechtliche, wirtschaftliche, finanzielle und technische Informationen
Bedingungen für die Teilnahme
Technische und berufliche Fähigkeiten:

1) Eigenerklärung zu Artikel 5k der Verordnung (EU) 833/2014

Im Rahmen des EU-Sanktionspakets im Zusammenhang mit dem Angriffskrieg Russlands auf die Ukraine wurde durch Verordnung (EU) 2022/576 des Rates vom 08.04.2022 folgender Artikel in die Verordnung (EU) 833/2014 aufgenommen:

Artikel 5k

(1) Es ist verboten, öffentliche Aufträge oder Konzessionen, die in den Anwendungsbereich der Richtlinien über die öffentliche Auftragsvergabe sowie unter Artikel 10 Absatz 1, Absatz 3, Absatz 6 Buchstaben a bis e, Absatz 8, Absatz 9 und Absatz 10 und die Artikel 11, 12, 13 und 14 der Richtlinie 2014/23/EU, unter die Artikel 7 und 8, Artikel 10 Buchstaben b bis f und h bis j der Richtlinie 2014/24/EU, unter Artikel 18, Artikel 21 Buchstaben b bis e und g bis i, Artikel 29 und Artikel 30 der Richtlinie 2014/25/EU und unter Artikel 13 Buchstaben a bis d, f bis h und j der Richtlinie 2009/81/EG fallen, an folgende Personen, Organisationen oder Einrichtungen zu vergeben bzw. Verträge mit solchen Personen, Organisationen oder Einrichtungen weiterhin zu erfüllen:

a) russische Staatsangehörige oder in Russland niedergelassene natürliche oder juristische Personen, Organisationen oder Einrichtungen,

b) juristische Personen, Organisationen oder Einrichtungen, deren Anteile zu über 50 % unmittelbar oder mittelbar von einer der unter Buchstabe a genannten Organisationen gehalten werden, oder

c) natürliche oder juristische Personen, Organisationen oder Einrichtungen, die im Namen oder auf Anweisung einer der unter Buchstabe a oder b genannten Organisationen handeln,

auch solche, auf die mehr als 10 % des Auftragswerts entfällt, Unterauftragnehmer, Lieferanten oder Unternehmen, deren Kapazitäten im Sinne der Richtlinien über die öffentliche Auftragsvergabe in Anspruch genommen werden.

Bestätigen Sie, dass keine der o.g. Ausschlussgründe für eine öffentliche Auftragsvergabe oder Konzessionsvergabe bzw. eine Vertragsweiterführung auf Sie zutreffen und dass Sie auch im Rahmen der Vertragsausführung keine Änderungen vornehmen (z.B. durch Einbindung eines Unterauftragnehmers oder eines Lieferanten), die gegen die o.g. Ausschlussgründe verstoßen?

Bitte die Frage mit „JA“ (es liegt kein o.g. Ausschlussgrund vor) oder „NEIN“ (es liegt ein o.g. Ausschlussgrund vor) beantworten.

Mindestanforderung: Die Frage wurde mit „Ja“ beantwortet. Wurde die Frage mit „Nein“ beantwortet, so führt dies zum Ausschluss aus dem Vergabeverfahren. Ihnen ist bewusst, dass eine wissentlich falsche Angabe der Erklärung zum Ausschluss aus dem Vergabeverfahren führt und nach Vertragsschluss den Auftraggeber zur außerordentlichen Kündigung berechtigt.

2) Referenzen: Organisation von Projekten und einschlägige Projektleitungserfahrung

Legen Sie geeignete Referenzen der beteiligten Unternehmen vor. Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung. Dies ist bei der vorliegenden Ausschreibung insbesondere gegeben bei Erfahrungen im Bereich KI-Systeme, Automotive und Prüfung.

Die genannten Referenzen müssen insbesondere die Fähigkeit der beteiligten Unternehmen auf dem Gebiet der Forschung und Entwicklung sowie die Ausarbeitung und Umsetzung innovativer Lösungen belegen. Im Wege der Referenzen ist daher nachzuweisen, dass die beteiligten Unternehmen bereits Erfahrungen in den folgenden Bereichen gesammelt haben und in diesem Kontext erfolgreich Industrie- und/oder öffentlich geförderte Forschungsprojekte geleitet haben:

- Entwicklung von KI-Systemen,

- Prüfung von KI-Systemen,

- Anwendung von KI-Technologie im Mobilitätsbereich

- Entwicklung und Prüfung von Systemen für den Mobilitätsbereich

- Simulation von relevanten Use-Cases.

Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden. Gehen Sie bei der Erstellung des Referenznachweises auf die folgenden Punkte ein:

- Auftraggeber inkl. Fachbereich

- (detaillierte) Darstellung des Auftragsgegenstands / der Tätigkeit

- Umfang / Betroffener Erfahrungsbereich

- Dauer

- Auftragsvolumen

- Anzahl und fachlicher Hintergrund beteiligter Mitarbeiter

Die Darstellung sollte eine DIN A4-Seite pro Referenzprojekt und insgesamt einen Umfang von fünf DIN A4-Seiten nicht überschreiten.

Es werden keine Referenzschreiben früherer Auftraggeber benötigt.

Mindestanforderung: Insgesamt sind mindestens drei geeignete Referenzen vorzulegen. Alle Erfahrungsbereiche müssen durch geeignete Referenzen belegt werden, wobei eine Referenz zur Abdeckung mehrerer Bereiche herangezogen werden darf.

3) Referenzen: wissenschaftliche Publikationen

Belegen Sie anhand von mindestens einer Referenz, dass mindestens eines der beteiligten Unternehmen Erfahrungen in der Publikation von wissenschaftlichen Artikeln hat.

Gehen Sie dabei auf folgende Punkte ein:

- veröffentlichte Artikel (Liste und PDFs der Artikel)

- Art der Veröffentlichung (Journal oder Konferenz, peer-reviewed oder nicht)

- Abstract des Artikels

- Rolle des AN bei der Erstellung und Publikation der Artikel

Die Darstellung sollte insgesamt einen Umfang von 3 DIN A4-Seiten (ohne Artikel im PDF-Format) nicht überschreiten.

4) Referenzen: Entwicklung von KI-Systemen

Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen Kenntnisse und praktische Erfahrungen in der Entwicklung von KI-Systemen, insbesondere von tiefen neuronalen Netzen, besitzt. Hierbei sind relevante Programmierkenntnisse und Erfahrung mit relevanten Deep-Learning-Frameworks, u.a. Tensorflow und PyTorch, nachzuweisen. Weiterhin ist Entwicklungserfahrung hinsichtlich relevanter Anwendungsklassen im Kontext Mobilität / Automotive nachzuweisen.

Weiterhin ist die aktive Mitarbeit in Industrie- und/oder öffentlichen Forschungsprojekten nachzuweisen, die mit mind. zwei der folgenden Aspekte befasst waren: Robustheit, adversariale Angriffe, Poisoning-Angriffe, Gegenmaßnahmen gegen (adversariale) Angriffe (z.B. adversariales Training), Entwicklung von Bewertungskriterien oder Interpretierbarkeit. Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden.

- Gegenstand der Projekte

- Umfang / Dauer

Die Darstellung sollte eine DIN A4-Seite pro Referenz und insgesamt einen Umfang von fünf DIN A4-Seiten nicht überschreiten.

Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt ist mindestens eine Referenz vorzulegen.

Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.

5) Referenzen: Prüfung von Systemen im Bereich Mobilität

Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Prüfung von Systemen im Mobilitätsbereich besitzt.

Eine möglichst breite Erfahrung in der Entwicklung, Anwendung, Evaluation und Standardisierung von Prüfprozessen ist wünschenswert. Durch die Mitarbeiter müssen diesbezüglich mind. zwei Use-Cases abgedeckt sein, idealerweise mit einem breiten Spektrum.

- Gegenstand der Prüfungen

- Umfang / Komplexität / Dauer

- ggf. Gremienmitarbeit bei Standardisierungsaktivitäten und Mitwirkung an der Verfassung von entsprechenden Dokumenten

- ggf. Beteiligung bei der Neuentwicklung von Prüfmethodologien und Prüfwerkzeugen

Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt sind mindestens drei Referenzen vorzulegen.

6) Referenzen: Projekterfahrung mit komplexen Systemen

Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Entwicklung und / oder Prüfung von komplexen Systemen hat. Mit komplexen Systemen, auch als „systems of systems“ bezeichnet, ist hiermit gemeint, dass in einem Gesamtsystem mehrere Teilsysteme interagieren und dieses aus Soft- und Hardwaremodulen, Sensorik- und Aktuatorikkomponenten besteht. Beispiele hierfür sind Robotik, (teil-)autonome Fahrzeuge und biometrische Systeme. Bei der Arbeit mit diesen Systemen müssen mind. zwei der folgenden Aspekte eine zentrale Rolle gespielt haben: IT-Sicherheit, Safety, Robustheit, Interpretierbarkeit.

Auftragsausführung
Bedingungen für die Vertragserfüllung: Ausführungsbedingungen gemäß Auftragsunterlagen

Verfahren
Rechtsgrundlage: 32014L0024
Zeitpunkt des Eingangs der Angebote: 14:00
Sprachen, in denen Angebote oder Teilnahmeanträge eingereicht werden können: Deutsch 🗣️
Gültigkeitsdauer des Angebots: 3 Monate
Datum der Angebotseröffnung: 2022-08-09 📅
Zeitpunkt der Angebotseröffnung: 14:00

Öffentlicher Auftraggeber
Kontakt
Dokumente URL: https://www.evergabe-online.de/tenderdetails.html?id=463170 🌏

Ergänzende Informationen
Körper überprüfen
Name: Vergabekammer des Bundes beim Bundeskartellamt
Postanschrift: Villemombler Str. 76
Postort: Bonn
Postleitzahl: 53123
Land: Deutschland 🇩🇪
Telefon: +49 228-94990 📞
E-Mail: info@bundeskartellamt.bund.de 📧
Fax: +49 228-9499400 📠
Internetadresse: http://www.bundeskartellamt.de 🌏
Quelle: OJS 2022/S 116-326057 (2022-06-13)

Ergänzende Angaben (2022-07-19)
Objekt
Metadaten der Bekanntmachung
Dokumenttyp: Ergänzende Angaben

Referenz
Daten
Absendedatum: 2022-07-19 📅
Einreichungsfrist: 2022-08-16 📅
Veröffentlichungsdatum: 2022-07-22 📅
Kennungen
Bekanntmachungsnummer: 2022/S 140-401101
Verweist auf Bekanntmachung: 2022/S 116-326057
ABl. S-Ausgabe: 140
Quelle: OJS 2022/S 140-401101 (2022-07-19)

Bekanntmachung über vergebene Aufträge (2023-01-06)
Objekt
Umfang der Beschaffung
Gesamtwert des Auftrags: 873064.92 EUR 💰
Metadaten der Bekanntmachung
Dokumenttyp: Bekanntmachung über vergebene Aufträge

Verfahren
Angebotsart: Entfällt

Referenz
Daten
Absendedatum: 2023-01-06 📅
Veröffentlichungsdatum: 2023-01-11 📅
Kennungen
Bekanntmachungsnummer: 2023/S 008-017711
ABl. S-Ausgabe: 8

Verfahren
Vergabekriterien
Qualitätskriterium (Bezeichnung): Zuschlagskriterien
Qualitätskriterium (Gewichtung): 50
Preis (Gewichtung): 50

Auftragsvergabe
Datum des Vertragsabschlusses: 2022-10-26 📅
Name: ZF Friedrichshafen AG
Postanschrift: Löwentaler Straße 20
Postort: Friedrichshafen
Postleitzahl: 88046
Land: Deutschland 🇩🇪
Bodenseekreis 🏙️
Gesamtwert des Auftrags: 873064.92 EUR 💰
Informationen über Ausschreibungen
Anzahl der eingegangenen Angebote: 4

Ergänzende Informationen
Körper überprüfen
Informationen zu Fristen für Nachprüfungsverfahren:

Unternehmen haben Anspruch darauf, dass das BSI die Bestimmungen über das Vergabeverfahren einhält, vgl. § 97 Abs. 6 Gesetz gegen Wettbewerbsbeschränkungen (GWB). Rechte aus § 97 Abs. 6 sowie sonstige Ansprüche gegen das BSI, die auf die Vornahme oder das Unterlassen einer Handlung in einem Vergabeverfahren gerichtet sind, können nur vor den Vergabekammern und dem Beschwerdegericht geltend gemacht werden, § 156 Abs. 2 GWB. Die Vergabekammer leitet ein Nachprüfungsverfahren nur auf Antrag ein, § 160 Abs. 1 GWB.

Es wird darüber belehrt, dass ein solcher Nachprüfungsantrag gemäß § 160 Abs. 3 Satz 1 GWB unzulässig ist, soweit

1. der Antragsteller den geltend gemachten Verstoß gegen Vergabevorschriften vor Einreichen des Nachprüfungsantrags erkannt und gegenüber dem BSI nicht innerhalb einer Frist von zehn Kalendertagen gerügt hat; der Ablauf der Frist nach § 134 Absatz 2 bleibt unberührt,

2. Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, nicht spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,

3. Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, nicht spätestens bis zum Ablauf der Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,

4. mehr als 15 Kalendertage nach Eingang der Mitteilung des BSI, einer Rüge nicht abhelfen zu wollen, vergangen sind.

Die o.g. vier Unzulässigkeitsgründe gelten gemäß § 160 Abs. 3 Satz 2 GWB nicht bei einem Antrag auf Feststellung der Unwirksamkeit des Vertrags nach § 135 Abs. 1 Nr. 2 GWB. § 134 Abs. 1 Satz 2 GWB bleibt unberührt.

Quelle: OJS 2023/S 008-017711 (2023-01-06)

Neue Beschaffungen in verwandten Kategorien 🆕

IT-Dienste: Beratung, Software-Entwicklung, Internet und Hilfestellung (>20 neue Beschaffungen)

Computer-Backup-Dienste und Katalogkonvertierung
Computernetze
Computerrevision und -prüfung (2)
Computerunterstützung und -beratung (4)
Datendienste (13)
Datenverarbeitungsdienste (3)
Hardwareberatung (1)
Internetdienste (7)
Softwareprogrammierung und -beratung (>20)