P 538 - Vorbereitung der Erprobung und Weiterentwicklung von Anforderungen an KI-Systeme anhand praktischer Use-Cases im Bereich Mobilität (AIMobilityAuditPrep)

Titel

P 538 - Vorbereitung der Erprobung und Weiterentwicklung von Anforderungen an KI-Systeme anhand praktischer Use-Cases im Bereich Mobilität (AIMobilityAuditPrep)
P 538

Kurze Beschreibung

In diesem Projekt sollen die praxisnahe Erprobung und Weiterentwicklung von a) Anforderungen an, b) Methoden und Werkzeugen für die Prüfung von KI-Systemen und c) Maßnahmen zur Mitigation von Risiken des Einsatzes von KI-Systemen vorbereitet werden. Die praktische Ausgestaltung soll dann auf Basis der Ergebnisse dieses Projektes in einem Folgeprojekt anhand von zwei praxisrelevanten Use-Cases im Mobilitätsbereich erfolgen. Als Grundlage für die Ausschreibung des Folgeprojektes sollen daher insbesondere relevante Use-Cases aus dem Mobilitätsbereich verglichen werden im Hinblick auf deren Eignung zur Erlangung generalisierter Erkenntnisse. Hierbei sollen einerseits vorhandene "klassische" Vorarbeiten (Standards, Prüfmethoden etc.) und andererseits neue, KI-spezifische Erkenntnisse aus der Forschung berücksichtigt werden. Bei der Vorbereitung der Erprobung und Weiterentwicklung soll ein iterativer Prozess in Simulationen als auch in der realen Welt als zentraler Baustein eingeplant werden. Als Grundlage für die Untersuchungen soll eine Toolchain geplant und deren praktische Gestaltung examplarisch vorbereitet werden. Hierbei sind von der Datengewinnung und Qualitätskontrolle über das Training mittels maschinellen Lernens, der Evaluation mittels aussagekräftiger Metriken für die Aspekte Funktionalität, Sicherheit, Safety, Robustheit und Interpretierbarkeit, dem Betrieb in Simulation und Realität bis hin zur Generierung hochqualitativer Angriffe und zur Anwendung angemessener Verteidigungsmaßnahmen alle relevanten Aspekte zu berücksichtigen. Nicht jedoch im Aufgabengebiet des BSI liegen die Aspekte Datenschutz und Ethik und daher sind diese nicht Gegenstand dieses Projekts. Die im Folgeprojekt zu erlangenden Erkenntnisse sollen hinreichend für die Erstellung einer modularen technischen Richtlinie sein, die anschließend eine wichtige Grundlage für Beratungen und Standardisierungsbemühungen bilden soll.

Beschreibung der Optionen

AP 7 ist eine optionale Leistung. Diese muss vom Bieter angeboten werden, der Auftraggeber verzichtet
jedoch ggf. generell auf deren Beauftragung.
Die Beauftragung des AP 7 ist abhängig von den Ergebnissen der AP 4 und 5.

Liste und kurze Beschreibung der Auswahlkriterien

1. Referenzen: Organisation von Projekten und einschlägige Projektleitungserfahrung
Legen Sie geeignete Referenzen der beteiligten Unternehmen vor. Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung. Dies ist bei der vorliegenden Ausschreibung insbesondere gegeben bei Erfahrungen im Bereich KI-Systeme, Automotive und Prüfung.
Die genannten Referenzen müssen insbesondere die Fähigkeit der beteiligten Unternehmen auf dem Gebiet der Forschung und Entwicklung sowie die Ausarbeitung und Umsetzung innovativer Lösungen belegen. Im Wege der Referenzen ist daher nachzuweisen, dass die beteiligten Unternehmen bereits Erfahrungen in den folgenden Bereichen gesammelt haben und in diesem Kontext erfolgreich Industrie- und/oder öffentlich geförderte Forschungsprojekte geleitet haben:
Entwicklung von KI-Systemen,
Prüfung von KI-Systemen,
Anwendung von KI-Technologie im Mobilitätsbereich
Entwicklung und Prüfung von Systemen für den Mobilitätsbereich
Simulation von relevanten Use-Cases.
Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden. Gehen Sie bei der Erstellung des Referenznachweises auf die folgenden Punkte ein:
Auftraggeber inkl. Fachbereich
(detaillierte) Darstellung des Auftragsgegenstands / der Tätigkeit
Umfang / Betroffener Erfahrungsbereich
Dauer
Auftragsvolumen
Anzahl und Diversität beteiligter Mitarbeiter
Die Darstellung sollte eine DIN A4-Seite pro Referenzprojekt nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderungen: Insgesamt sind mindestens drei geeignete Referenzen vorzulegen. Alle Erfahrungsbereiche müssen durch geeignete Referenzen belegt werden, wobei eine Referenz zur Abdeckung mehrerer Bereiche herangezogen werden darf.
2. Referenzen: wissenschaftliche Publikationen
Belegen Sie anhand von mindestens einer Referenz, dass mindestens eines der beteiligten Unternehmen Erfahrungen in der Publikation von wissenschaftlichen Artikeln hat.
Gehen Sie dabei auf folgende Punkte ein:
veröffentlichte Artikel (Liste und PDFs der Artikel)
Art der Veröffentlichung (Journal oder Konferenz, peer-reviewed oder nicht)
Abstract des Artikels
Rolle des AN bei der Erstellung und Publikation der Artikel
Die Darstellung sollte insgesamt einen Umfang von 5 DIN A4-Seiten (ohne Artikel im PDF-Format) nicht überschreiten.
3. Referenzen: Entwicklung von KI-Systemen
Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen Kenntnisse und praktische Erfahrungen in der Entwicklung von KI-Systemen, insbesondere von tiefen neuronalen Netzen, besitzt. Hierbei sind relevante Programmierkenntnisse und Erfahrung mit relevanten Deep Learning Frameworks, u.a. Tensorflow und PyTorch, nachzuweisen. Weiterhin ist Entwicklungserfahrung hinsichtlich relevanter Anwendungsklassen im Kontext Mobilität / Automotive nachzuweisen.
Weiterhin ist die aktive Mitarbeit in Industrie- und/oder öffentlichen Forschungsprojekten nachzuweisen, die mit mind. zwei der folgenden Aspekte befasst waren: Robustheit, adversariale Angriffe, Poisoning-Angriffe, Gegenmaßnahmen gegen (adversariale) Angriffe (z.B. adversariales Training), Entwicklung von Bewertungskriterien oder Interpretierbarkeit. Bei hinreichend guter Dokumentation mittels Publikationen (Journal, Konferenz, Whitepaper, Technical Report) können auch unternehmensinterne Projekte berücksichtigt werden.
Gehen Sie dabei auf folgende Punkte ein:
Auftraggeber inkl. Fachbereich
Gegenstand der Projekte
Umfang / Dauer
Die Darstellung sollte eine DIN A4-Seite pro Referenz nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt ist mindestens eine Referenz vorzulegen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
4. Referenzen: Prüfung von Systemen im Bereich Mobilität
Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Prüfung von Systemen im Mobilitätsbereich besitzt.
Eine möglichst breite Erfahrung in der Anwendung und Evaluation von Prüfprozessen ist wünschenswert. Durch die Mitarbeiter müssen diesbezüglich mind. zwei Use-Cases abgedeckt sein, idealerweise mit einem breiten Spektrum.
Gehen Sie dabei auf folgende Punkte ein:
Auftraggeber inkl. Fachbereich
Gegenstand der Prüfungen
Umfang / Komplexität / Dauer
Die Darstellung sollte eine DIN A4-Seite pro Referenz nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt sind mindestens drei Referenzen vorzulegen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
5. Referenzen: Projekterfahrung mit komplexen Systemen
Belegen Sie anhand von Referenzprojekten, dass mindestens eines der beteiligten Unternehmen umfangreiche Kenntnisse und praktische Erfahrungen in der Entwicklung und / oder Prüfung von komplexen Systemen hat. Mit komplexen Systemen, auch als „system of systems“ bezeichnet, ist hiermit gemeint, dass in einem Gesamtsystem mehrere Teilsysteme interagieren und dieses aus Soft- und Hardwaremodulen, Sensorik- und Aktuatorikkomponenten besteht. Beispiele hierfür sind Robotik, (teil-)autonome Fahrzeuge und biometrische Systeme. Bei der Arbeit mit diesen Systemen müssen mind. zwei der folgenden Aspekte eine zentrale Rolle gespielt haben: IT-Sicherheit, Safety, Robustheit, Interpretierbarkeit.
Gehen Sie dabei auf folgende Punkte ein:
Auftraggeber inkl. Fachbereich
Gegenstand der Projekte
Umfang / Komplexität / Dauer
Die Darstellung sollte eine DIN A4-Seite pro Referenz nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Eine Referenz darf zur Abdeckung mehrerer Bereiche herangezogen werden. Insgesamt sind mindestens drei Referenzen vorzulegen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
6.Technische Ausrüstung
Geben Sie einen kurzen Überblick über das technische Equipment, welches Ihnen zur Verfügung steht (z.B. Hard- und Software zum Training von neuronalen Netzen und zur Simulation von relevanten Anwendungsfällen, HIL, SIL, Testflotte) und von Ihnen zur Erbringung der hier ausgeschriebenen Leistung, insbesondere der AP 5 und AP 7, eingesetzt wird.
Mindestanforderung: Der Auftragnehmer verfügt für die Leistungserbringung mindestens über die folgende technische Ausrüstung:
technischen Voraussetzungen für das Trainieren und Evaluieren von tiefen neuronalen Netzen
Simulation relevanter Anwendungsszenarien im Mobilitätsbereich.

Beschreibung der Optionen

AP 7 ist eine optionale Leistung. Diese muss vom Bieter angeboten werden, der Auftraggeber verzichtet
jedoch ggf. generell auf deren Beauftragung.
Die Beauftragung des AP 7 ist abhängig von den Ergebnissen der AP 4 und 5.
Die optionalen Leistungen in Höhe von 47.481,60 € werden ggf. zu einem späteren Zeitpunkt beauftragt.

Titel

P 538 - Vorbereitung der Erprobung und Weiterentwicklung von Anforderungen an KI-Systeme anhand praktischer Use-Cases im Bereich Mobilität (AIMobilityAuditPrep)