Projekt 571 - Technische Kriterien zur Gewährleistung der Konvergenz und Ergebnisstabilität von Verfahren des dynamischen maschinellen Lernens (ML-Lernbarkeit)

Titel

Projekt 571 - Technische Kriterien zur Gewährleistung der Konvergenz und Ergebnisstabilität von Verfahren des dynamischen maschinellen Lernens (ML-Lernbarkeit)
P 571

Kurze Beschreibung

Ziel des Projektes ist die Untersuchung aktueller Berechnungsansätze für algorithmischen Stabilität, Konvergenz und Konsistenz von repräsentativen Verfahren des dynamischen Maschinellen Lernens (z.B. Recurrent (Convolutional) Neural Networks, Dynamic Graph Convolutional Networks, etc.). In der ersten Phase sollen bekannte dynamische ML-Verfahren nach bestimmten Kriterien (u.A. Komplexität, Performance und Stabilität) kategorisiert und repräsentative Modelle ausgewählt werden. Anhand dieser Modelle werden in der zweiten Phase verschiedene Metriken für die Stabilität, Konvergenz und Konsistenz hinsichtlich ihrer Effektivität und Anwendbarkeit begutachtet. Parallel dazu sollen qualitative und quantitative Kriterien für die Fehleranfälligkeit der Modelle entwickelt werden. Im letzten Abschnitt werden daraus Empfehlungen zur Anpassung der Modelle abgeleitet und angewandt. Die Empfehlungen sollen an existierenden Metriken der Robustheit und Zuverlässigkeit getestet werden.

Liste und kurze Beschreibung der Auswahlkriterien

1) Eigenerklärung zu Artikel 5k der Verordnung (EU) 833/2014
Im Rahmen des EU-Sanktionspakets im Zusammenhang mit dem Angriffskrieg Russlands auf die Ukraine wurde durch Verordnung (EU) 2022/576 des Rates vom 08.04.2022 folgender Artikel in die Verordnung (EU) 833/2014 aufgenommen:
Artikel 5k
(1) Es ist verboten, öffentliche Aufträge oder Konzessionen, die in den Anwendungs-bereich der Richtlinien über die öffentliche Auftragsvergabe sowie unter Artikel 10 Absatz 1, Absatz 3, Absatz 6 Buchstaben a bis e, Absatz 8, Absatz 9 und Absatz 10 und die Artikel 11, 12, 13 und 14 der Richtlinie 2014/23/EU, unter die Artikel 7 und 8, Artikel 10 Buchstaben b bis f und h bis j der Richtlinie 2014/24/EU, unter Artikel 18, Artikel 21 Buchstaben b bis e und g bis i, Artikel 29 und Artikel 30 der Richtlinie 2014/25/EU und unter Artikel 13 Buchstaben a bis d, f bis h und j der Richtlinie 2009/81/EG fallen, an folgende Personen, Organisationen oder Einrichtungen zu vergeben bzw. Verträge mit solchen Personen, Organisationen oder Einrichtungen weiterhin zu erfüllen:
a) russische Staatsangehörige oder in Russland niedergelassene natürliche oder juristische Personen, Organisationen oder Einrichtungen,
b) juristische Personen, Organisationen oder Einrichtungen, deren Anteile zu über 50 % unmittelbar oder mittelbar von einer der unter Buchstabe a genannten Organisationen gehalten werden, oder
c) natürliche oder juristische Personen, Organisationen oder Einrichtungen, die im Namen oder auf Anweisung einer der unter Buchstabe a oder b genannten Organisationen handeln,
auch solche, auf die mehr als 10 % des Auftragswerts entfällt, Unterauftragnehmer, Lieferanten oder Unternehmen, deren Kapazitäten im Sinne der Richtlinien über die öffentliche Auftragsvergabe in Anspruch genommen werden.
Bestätigen Sie, dass keine der o.g. Ausschlussgründe für eine öffentliche Auftragsvergabe oder Konzessionsvergabe bzw. eine Vertragsweiterführung auf Sie zutreffen und dass Sie auch im Rahmen der Vertragsausführung keine Änderungen vornehmen (z.B. durch Einbindung eines Unterauftragnehmers oder eines Lieferanten), die gegen die o.g. Ausschlussgründe verstoßen?
Bitte die Frage nur mit „JA“ (Bestätigung) oder „NEIN“ (keine Bestätigung) beantworten.
Mindestanforderung: Die Frage wurde mit „Ja“ beantwortet. Wurde die Frage mit „Nein“ beantwortet, so führt dies zum Ausschluss aus dem Vergabeverfahren. Ihnen ist bewusst, dass eine wissentlich falsche Angabe der Erklärung zum Ausschluss aus dem Vergabeverfahren führt und nach Vertragsschluss den Auftraggeber zur außerordentlichen Kündigung berechtigt.
Führen Sie im Angebot lediglich den Titel des Kriteriums sowie Ihre Antwort auf. Verzichten Sie auf die wörtliche oder sinngemäße Zitierung des Kriteriums.
2) Ausschluss eines Interessenskonflikts
Bestätigen Sie, dass weder Sie noch Ihre Partner im Fall einer Bietergemeinschaft noch ggf. Unterauftragnehmer Interessen haben, die mit der Ausführung der Leistungen dieses Projekts im Widerspruch stehen und die sich ggf. nachteilig auf das Projektergebnis auswirken könnten? Eingeschlossen von dieser Bestätigung ist das bei dem Projekt eingesetzte Personal.
Bitte mit „JA“ oder „NEIN“ beantworten.
Ein Interessenskonflikt liegt beispielsweise bei einer Verpflichtung gegenüber oder Kooperation mit dem Hersteller eines untersuchten Produkts oder durch eine sonstige wirtschaftliche Abhängigkeit vom genannten vor.
Mindestanforderung: Wurde die Frage mit „Nein“ beantwortet (es besteht ein Interessenskonflikt), so erläutern Sie den Konflikt und stellen Sie dar, wie Sie ihn auflösen wollen. Das Angebot kann in diesem Fall nur berücksichtigt werden, wenn der beschriebene Lösungsansatz vom BSI als ausreichend beurteilt wird.
Führen Sie im Angebot lediglich den Titel des Kriteriums sowie Ihre Antwort auf. Verzichten Sie auf die wörtliche oder sinngemäße Zitierung des Kriteriums.
3) Referenzen
Legen Sie geeignete Referenzen der beteiligten Unternehmen vor. Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
Die genannten Referenzen müssen insbesondere die Fähigkeit der beteiligten Unternehmen auf dem Gebiet der Zeitreihenanalysen, Forschung und Entwicklung sowie die Ausarbeitung und Umsetzung innovativer Lösungen belegen. Im Wege der Referenzen ist daher nachzuweisen, dass die beteiligten Unternehmen bereits Erfahrungen in den folgenden Erfahrungsbereichen gesammelt haben:
Zeitreihenanalyse möglichst mit Unterstützung von KI-Algorithmen
Nicht-Stationärität von Zeitreihen, saisonale und globale Trends, visuelle Daten-Exploration, -Analyse und -Vorbereitung: Methoden der Zusammenführung, Bereinigung, Skalierung, Glättung etc. von Daten.
Herausforderungen bei der Analyse von Datensätzen (wie Rauschen, Ausreißer, Sprünge, Trendänderungen etc.) sowohl für univariate wie auch für multivariate Zeitreihenmodelle.
Erkennung von Nichtlinearitäten und wechselseitigen Merkmals-Abhängigkeiten in Zeitreihen.
Zeitreihen-Komponentenzerlegung, Grundrichtung und periodische Komponente, Rest- Komponente, Ausreißer und Strukturbrüche, Spektralanalyse, Autokovarianz, Autokorrelationsfunktion und partielle Autokorrelationsfunktion. Erzeugung von neuen Variablen: Residuen- und Konfidenzintervall-Werte. Festlegung des Validierungs- und Prognosebereichs.
Optimale Auswahl von geeigneten Algorithmen und Modellen, um Vorhersagen von Zeitreihen zu erstellen in Abhängigkeit von den Daten, Methoden für die Modellbeurteilung. Konvergenz und Abbruchbedingungen des Optimierungsverfahrens, Bewertung von Ergebnissen und Fehlerschätzung, Optimierung der Anzahl von Modellparametern.
Quantitative und Qualitative Methoden und Metriken der Erklärbarkeit (XAI) von maschinell produzierten Entscheidungen. Methoden für die Prüfung der Leistungsfähigkeit, der Stabilität und Verbesserung von ML-Vorhersagen.
Entwicklung neuartiger Konzepte und Anwendungen, Umsetzung/Realisierung von
innovativen Tests zur Auswertung von Daten.
Gehen Sie bei der Erstellung des Referenznachweises auf die folgenden Punkte ein:
Betroffener Erfahrungsbereich (siehe oben), Darstellung des Auftragsgegenstands / der Tätigkeit, Dauer, Auftragsvolumen, die Art der Zeitreihenanalyse-Probleme, mit denen Sie sich auseinandergesetzt haben, sowie die angewendete Herangehensweise zur Lösung besonders schwieriger Probleme.
Die Darstellung sollte zwei Seiten pro Referenzprojekt nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Insgesamt sind mindestens drei geeignete Referenzen vorzulegen. Alle Erfahrungsbereiche müssen durch geeignete Referenzen belegt werden, wobei eine Referenz zur Abdeckung mehrerer Bereiche herangezogen werden darf.
4) Referenzen: Projekte
Benennen Sie die Beratungs-, Untersuchungs- oder Entwicklungsprojekte im Bereich Zeitreihen, die in den letzten drei Jahren von Ihrem Unternehmen, den Mitgliedern der Bietergemeinschaft und den Unterauftragnehmern durchgeführt wurden, als Nachweis, dass die Zeitreihenanalyse ein wichtiges Arbeitsfeld der beteiligten Unternehmen ist.
Aus den Ausführungen müssen sich Rückschlüsse auf die Leistungsfähigkeit des Bieters / der Bietergemeinschaft (ggf. unter Einbeziehung eines Unterauftragnehmers (Eignungsleihe)) im oben genannten Bereich ziehen lassen. Die Darstellung sollte eine DIN A4-Seite pro Referenz nicht überschreiten.
Es werden keine Referenzschreiben früherer Auftraggeber benötigt.
Mindestanforderung: Benennung und Beschreibung von mindestens drei geeigneten Referenzen.
Referenzen sind geeignet, wenn die der Referenz zu Grunde liegenden Projekte hinsichtlich der fachlichen und technischen Leistungsfähigkeit im Wesentlichen ähnliche Anforderungen an die Unternehmen gestellt haben wie die ausgeschriebene Leistung.
5) Technische Ausrüstung
Geben Sie einen kurzen Überblick über das technische Equipment, welches Ihnen zur Verfügung steht und von Ihnen zur Erbringung der hier ausgeschriebenen Leistung eingesetzt wird.
Der Auftragnehmer verfügt für die Leistungserbringung mindestens über die folgende technische Ausrüstung
Hardware- und Software Voraussetzungen für die notwendigen Tests.
Mindestanforderung: Der Bieter hat die Größenordnung für die Hardware-Voraussetzungen und die geplante Rechenzeit für die Leistungserbringung plausibel geschätzt. Er ist aus Sicht des BSI in der Lage, die hier zu vergebende Leistung mit Hilfe der beschriebenen technischen Ausrüstung erfolgreich zu erbringen.
6) Qualitätsmanagement
Bitte stellen Sie das Qualitätsmanagement Ihres Unternehmens dar. Machen Sie bitte auch Angaben zu Zertifizierungen, die Ihr Unternehmen erworben hat.
Mindestanforderung: Es ist ein Qualitätsmanagement etabliert und dokumentiert und kann nachgewiesen werden.

Genaue Informationen über Fristen für Überprüfungsverfahren

Unternehmen haben Anspruch darauf, dass das BSI die Bestimmungen über das Vergabeverfahren einhält, vgl. § 97 Abs. 6 Gesetz gegen Wettbewerbsbeschränkungen (GWB). Rechte aus § 97 Abs. 6 GWB sowie sonstige Ansprüche gegen das BSI, die auf die Vornahme oder das Unterlassen einer Handlung in einem Vergabeverfahren gerichtet sind, können nur vor den
Vergabekammern und dem Beschwerdegericht geltend gemacht werden, § 156 Abs. 2 GWB. Die Vergabekammer leitet ein Nachprüfungsverfahren nur auf Antrag ein, § 160 Abs. 1 GWB.
Es wird darüber belehrt, dass ein solcher Nachprüfungsantrag gemäß § 160 Abs. 3 Satz 1 GWB unzulässig ist, soweit
1. der Antragsteller den geltend gemachten Verstoß gegen Vergabevorschriften vor Einreichen des Nachprüfungsantrags erkannt und gegenüber dem BSI nicht innerhalb einer Frist von zehn Kalendertagen gerügt hat; der Ablauf der Frist nach § 134 Absatz 2 GWB bleibt unberührt,
2. Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, nicht spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,
3. Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, nicht spätestens bis zum Ablauf der Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem BSI gerügt werden,
4. mehr als 15 Kalendertage nach Eingang der Mitteilung des BSI, einer Rüge nicht abhelfen zu wollen, vergangen sind.
Die o.g. vier Unzulässigkeitsgründe gelten gemäß § 160 Abs. 3 Satz 2 GWB nicht bei einem Antrag auf Feststellung der Unwirksamkeit des Vertrags nach § 135 Abs. 1 Nr. 2 GWB. § 134 Abs. 1 Satz 2 GWB bleibt unberührt.