Projekt 464 TP 1: Sicherheit von KI-Systemen: Grundlagen — Teilprojekt 1: Adversarial Deep Learning

Kurze Beschreibung

Der Auftragsgegenstand ist die Erstellung einer Studie, in welcher die Sicherheitseigenschaften von konnektionistischen KI-Modellen (Neuronale künstliche Intelligenz) untersucht werden. In der Studie soll ein Überblick über den aktuellen Stand der Technik und Forschung für folgende Teilbereiche ausgearbeitet werden:
1. Techniken welche darauf abzielen die Funktion von Deep Learning-Systemen ganz oder teilweise einzuschränken oder zu missbrauchen (z. B. Adversarial Examples/Evasion Attacks, Data Poisoning),
2. Techniken die — über das gewünschte Maß hinaus — Informationen aus konnektionistischen KI-Systemen extrahieren (z. B. Model Extraction),
3. Verteidigungsmaßnahmen gegen Methoden aus 1. & 2. (z. B. Adversarial Training, Adversarial Examples Detection, Backdoor Detection),
4. Methoden, welche die Robustheit von Deep Learning-Modellen zertifizieren oder verifizieren (z. B. Certification of Model Robustness),
5. 1-4 soweit anwendbar mindestens in den Domänen Objekt Detektion, Image Segmentation, Natural Language Processing, Netzwerk/Malware und Speech Analysis
Konkrete Inhalte der Studie sollen sein:
Erfassung, Kategorisierung und Zusammenfassung der Forschung zum oben genannten Themenkomplex:
— Es sollen relevante Angriffsvektoren und Gegenmaßnahmen kategorisiert und hinsichtlich ihrer Wirksamkeit untersucht bzw. bewertet werden.
— Es soll erfasst werden, welche konkreten ungelösten Probleme derzeit in der KI-Sicherheit existieren. Insbesondere sollen Restrisiken, die derzeit nicht hinreichend mitigiert werden können, identifiziert und bewertet werden.
— In ausgewählten Bereichen soll eine tiefgehende Untersuchung stattfinden. Die Schwerpunkte werden unten aufgeführt.
Die Ergebnisse sollen geeignet sein, um:
— darauf basierend eine technische Richtlinie zum aktuellen Stand der Sicherheit in der KI zu erstellen (zumindest für die Schwerpunktbereiche);
— Kriterien zu definieren, die im Rahmen von Zertifizierungen oder Testierungen verwendet werden können;
— Best-Practices abzuleiten.

Beschreibung der Optionen

AP 3 – „Detail-Analyse“ ist eine optionale Leistung. Diese muss vom Bieter angeboten werden, der Auftraggeber verzichtet jedoch ggf. generell auf deren Beauftragung.
Die Beauftragung von AP3 kann bis spätestens 2 Wochen nach Abnahme von AP 2 erfolgen.

Liste und kurze Beschreibung der Auswahlkriterien

1. Ausschluss eines Interessenskonflikts
Bestätigen Sie, dass weder Sie noch Ihre Partner im Fall einer Bietergemeinschaft noch ggf. Unterauftragnehmer Interessen haben, die mit der Ausführung der Leistungen dieses Projekts im Widerspruch stehen und die sich ggf. nachteilig auf das Projektergebnis auswirken könnten? Eingeschlossen von dieser Bestätigung ist das bei dem Projekt eingesetzte Personal.
Bitte mit „JA“ oder „NEIN“ beantworten.
Ein Interessenskonflikt liegt beispielsweise bei einer Verpflichtung gegenüber oder Kooperation mit dem Hersteller eines untersuchten Produkts oder durch eine sonstige wirtschaftliche Abhängigkeit vom genannten vor.
Mindestanforderung: Wurde die Frage mit „Nein“ beantwortet (= es besteht ein Interessenskonflikt), so erläutern Sie den Konflikt und stellen Sie dar, wie Sie ihn auflösen wollen. Das Angebot kann in diesem Fall nur berücksichtigt werden, wenn der beschriebene Lösungsansatz vom BSI als ausreichend beurteilt wird.
Führen Sie im Angebot lediglich den Titel des Kriteriums sowie Ihre Antwort auf. Verzichten Sie auf die wörtliche oder sinngemäße Zitierung des Kriteriums.
2. Referenzen
Benennen Sie die Beratungs- bzw. Untersuchungsprojekte im Bereich KI die in den letzten 3 Jahren von Ihrem Unternehmen, den Mitgliedern der Bietergemeinschaft und den Unterauftragnehmern durchgeführt wurden als Nachweis, dass KI ein wesentliches Arbeitsfeld der beteiligten Unternehmen ist.
Gehen Sie dabei auf folgende Punkte ein:
— Auftraggeber inkl. Fachbereich;
— (detaillierte) Darstellung des Auftragsgegenstands/der Tätigkeit;
— Umfang;
— Dauer;
— Auftragsvolumen.
Aus den Ausführungen müssen sich Rückschlüsse auf die Leistungsfähigkeit des Bieters/der Bietergemeinschaft (ggf. unter Einbeziehung eines Unterauftragnehmers (Eignungsleihe)) im oben genannten Bereich ziehen lassen. Die Darstellung sollte 2 DIN A4-Seiten pro Referenz nicht überschreiten. Es sollten nicht mehr als 5 Referenzen eingereicht werden.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Benennung und Beschreibung von mindestens einer geeigneten Referenz.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
Sollte eine Referenz die Mindestanforderung von Nr. 2 und Nr. 3 erfüllen, ist diese für die Erfüllung beider Eignungskriterien ausreichend.
3. Referenzen: Sicherheit von KI-Mathoden
Weisen Sie mindestens ein Projekt mit Schwerpunkt „Sicherheit von KI-Methoden“ nach, das von Ihrem Unternehmen, den Mitgliedern der Bietergemeinschaft oder den Unterauftragnehmern innerhalb der letzten 3 Jahre erfolgreich durchgeführt wurde, und welches mit der hier zu vergebenden Leistung vergleichbar ist (Dauer, Umfang, Inhalt) oder darüber hinaus geht.
Gehen Sie dabei auf folgende Punkte ein:
— Auftraggeber inkl. Fachbereich;
— (detaillierte) Darstellung des Auftragsgegenstands/der Tätigkeit;
— Umfang;
— Dauer;
— Auftragsvolumen.
Aus den Ausführungen müssen sich Rückschlüsse auf die Leistungsfähigkeit des Bieters/der Bietergemeinschaft (ggf. unter Einbeziehung eines Unterauftragnehmers (Eignungsleihe)) bei Projekten mit oben genanntem Schwerpunkt ziehen lassen. Die Darstellung sollte eine DIN A4-Seite pro Referenzprojekt nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Benennung und Beschreibung von mindestens einer geeigneten Referenz.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
Sollte eine Referenz die Mindestanforderung von Nr. 2 und Nr. 3 erfüllen, ist diese für die Erfüllung beider Eignungskriterien ausreichend.
4. Technische Ausrüstung
Geben Sie einen kurzen Überblick über das technische Equipment, welches Ihnen zur Verfügung steht und von Ihnen zur Erbringung der hier ausgeschriebenen Leistung eingesetzt wird. Berücksichtigen Sie hierbei, dass im Rahmen von AP 2 & 3 auch praktische Implementierungen durchgeführt werden müssen. Für die digitale Abstimmung und Präsentationen zwischen AG und AN wird außerdem ein System für Telefon- und Videokonferenzen benötigt.
Mindestanforderung: Der Bieter ist aus Sicht des BSI in der Lage, die hier zu vergebende Leistung mit Hilfe der beschriebenen technischen Ausrüstung erfolgreich zu erbringen.

Genaue Informationen über Fristen für Überprüfungsverfahren

Unternehmen haben Anspruch darauf, dass das BSI die Bestimmungen über das Vergabeverfahren einhält, vgl. § 97 Abs. 6 Gesetz gegen Wettbewerbsbeschränkungen (GWB). Rechte aus § 97 Abs. 6 GWB sowie sonstige Ansprüche gegen das BSI, die auf die Vornahme oder das Unterlassen einer Handlung in einem Vergabeverfahren gerichtet sind, können nur vor den Vergabekammern und dem Beschwerdegericht geltend gemacht werden, § 156 Abs. 2 GWB. Die Vergabekammer leitet ein Nachprüfungsverfahren nur auf Antrag ein, § 160 Abs. 1 GWB.
Es wird darüber belehrt, dass ein solcher Nachprüfungsantrag gemäß § 160 Abs. 3 Satz 1 GWB unzulässig ist, soweit:
1. Der Antragsteller den geltend gemachten Verstoß gegen Vergabevorschriften vor Einreichen des Nachprüfungsantrags erkannt und gegenüber dem BSI nicht innerhalb einer Frist von 10 Kalendertagen gerügt hat; der Ablauf der Frist nach § 134 Absatz 2 GWB bleibt unberührt,
2. Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, nicht spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,
3. Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, nicht spätestens bis zum Ablauf der Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,
4. Mehr als 15 Kalendertage nach Eingang der Mitteilung des BSI, einer Rüge nicht abhelfen zu wollen, vergangen sind.
Die o. g. 4 Unzulässigkeitsgründe gelten gemäß § 160 Abs. 3 Satz 2 GWB nicht bei einem Antrag auf Feststellung der Unwirksamkeit des Vertrags nach § 135 Abs. 1 Nr. 2 GWB. § 134 Abs. 1 Satz 2 GWB bleibt unberührt.