Lieferung, Installation und Inbetriebnahme einer GPU-Erweiterung

Kurze Beschreibung

Die Helmut-Schmidt-Universität/Universität der Bundeswehr Hamburg (HSU) ist eine von zwei Universitäten der Bundeswehr. Sie qualifiziert ihre Studierenden durch akademische Bildung für militärische und zivile Führungspositionen. Ihre formelle Gründung im Jahr 1972 als "Hochschule der Bundeswehr Hamburg" geht auf die Initiative des damaligen Verteidigungsministers Helmut Schmidt zurück, dessen Namen sie 2003 erhielt. Mittlerweile ist die Universität mit rund 2.500 Studentinnen und Studenten und mehr als 900 Mitarbeiterinnen und Mitarbeitern die größte Dienststelle der Bundeswehr in der Hansestadt Hamburg. Die HSU betreibt seit 2022 ein container-basiertes HPC-Rechenzentrum (CBRZ), das für Forschung und Entwicklung im Bereich der rechnergestützten Wissenschaft genutzt wird. Im CBRZ sind die beiden Rechensysteme HSUper (Linux-basiertes Cluster, Intel-CPUs, Slurm, 581 Knoten, inkl. 5 GPU-Knoten) und ISCC (VMware- basierte Cloud, Intel-CPUs, 12 Hosts, inkl. 2 GPU Hosts) untergebracht, es ist mit einer Warmwasserkühlung (CoolIT Systems) und einem InfiniBand HDR100 Interconnect-Netzwerk aus-gestattet. Um ihre Fähigkeiten insbesondere in den Bereichen Datenwissenschaft und Maschinelles Lernen weiter zu verbessern bzw. da die aktuelle GPU-Rechenleistung nicht mehr ausreicht, strebt die HSU im Jahr 2024 eine Erweiterung des CBRZ mit zusätzlichen GPU-Knoten an.

Beschreibung der Beschaffung

Auftragsgegenstand ist die Lieferung, Installation und Inbetriebnahme einer GPU-Erweiterung für das CBRZ. Darüber hinaus muss der Auftragnehmer Instandhaltungs-, Service- und Supportleistungen für die GPU-Erweiterung erbringen. Die GPU-Erweiterung muss folgende Hardware-Komponenten umfassen: - Ein oder mehrere GPU-Knoten für HSUper mit jeweils folgenden Eigenschaften pro Knoten: - Identische Ausstattung mit CPUs wie die vorhandenen Rechenknoten im CBRZ (für ein möglichst homogenes Gesamtsystem): zwei Intel Xeon Scalable Platinum 8360Y Prozessoren. D.h. jedes Mainboard muss über mindestens zwei entsprechende Prozessorsockel verfügen und einen Chipsatz haben, der 3rd Gen. Intel Xeon Scalable unterstützt, wie bspw. Intel C621A oder gleichwertig. - Mindestens 1024 GB RAM, mit ECC, mindestens DDR4 3200 MHz oder schneller - Redundante Netzteile bzw. Stromversorgung - Inkl. Einbaumaterial / Rail Kit für 19-Zoll-Serverrack - Storage für OS: Mindestens 960 GB oder mehr, als NVMe SSD, 2 Stück für RAID-1 - Storage als Node-lokalen Scratch-Speicher (bspw. für ML/AI Trainings- datensätze): Mindestens 1,92 TB oder mehr, als NVMe SSD, 2 Stück für RAID-1 - Für die Anbindung an das Hochgeschwindigkeitsnetzwerk ein Single- Port InfiniBand HCA Adapter (QSFP28 / QSFP56) mit mindestens HDR100, möglichst HDR200, und entsprechendes optisches Kabel, 15m - Gigabit-Ethernet LAN bzw. RJ45-Anschluss inkl. Kupferkabel - 1x IPMI 2.0 Baseboard Management Controller, mit dediziertem LAN- Port (RJ45) inkl. Kupferkabel - Eine maximale Anzahl CUDA-kompatibler baugleicher GPUs, Summe aller GPUs pro Knoten mindestens: o 160 GB RAM o 100 TFLOPS FP32 Peak Rechenleistung o 4 TB/s Speicherbandbreite - Diese GPUs können, falls möglich, an die vorhandene Warmwasserkühlung angeschlossen werden - Für die ISCC ein GPU-Knoten, identische Konfiguration wie der oben angegebene GPU-Knoten für HSUper, mit folgenden Abweichungen: o Ohne GPUs, denn dieser Knoten dient der Aufnahme vorhandener NVIDIA A30 GPUs. o Geeignet für die Integration von 8 double-width PCIe GPUs; insbesondere kompatibel mit 8x NVIDIA A30 (luftgekühlt) o Mindestens 2048 GB RAM (für mehr virtuelle Maschinen bzw. mehr RAM pro VM) o Netzwerkadapter für 100 GbE statt IB HDR100 / HDR200, inkl. Break- out-Kupferkabel; 100 Gb/s QSFP28 zu 2 x 50 Gb/s QSFP28 für Anschluss an Ethernet-Switch - Für die ISCC weitere CUDA-kompatible GPUs, zum Einbau in vorhandenen GPU-Host: o Max. 8 baugleiche GPUs; PCIe, jeweils max 2-slot / double-width FHFL (full height, full length), luftgekühlt o Summe der Leistungswerte aller max 8 GPUs: Minimalwerte wie oben pro GPU-Knoten für HSUper o Müssen (anders als oben) 3D-Grafikbeschleunigung für Rendering-Auf- gaben unterstützen (bspw: DLSS, RT Cores und NVENC Encoder oder gleichwertig) 2. Die GPU-Erweiterung muss folgende Softwarekomponenten umfassen: - Für alle neuen HSUper GPU-Knoten: Vorinstalliertes Betriebssystem: Rocky Linux 8.x (genaue Version entsprechend Konfiguration des Gesamtsystems zum Lieferzeitpunkt, aktuell 8.6), inkl. Konfiguration der SSDs als SW-RAID-1. - Die HSUper GPU-Knoten müssen von remote administrierbar und überwachbar sein und in das Management- sowie Hochgeschwindigkeitsnetzwerk eingebunden sein - Für den oben angegebenen ISCC-GPU-Knoten eine VMware vSphere Standard Lizenz als 3-Year Prepaid Commit - Für Speed Select Konfiguration mit 32 Cores / CPU, d.h. für 64 Cores - Für bis zu 10 VMs mit Grafik-Beschleunigung: 10x NVIDIA vWS CCU Perpetual Lizenz inkl. je 5 JahreNVIDIA Support, Upgrade und Maintenance - Integration der neuen Knoten in das Gesamtsystem, Anbindung an parallele Dateisysteme und Slurm bzw. Einbindung als ISCC-Host in VMware vSphere, Einbindung der neuen Knoten in die vorhandene Management- und Monitoringsoftware, betriebsbereite Übergabe - Für HSUper bzw. zur Verbesserung der Nutzbarkeit der neu zu beschaffenden GPU-Knoten: o Installation und Konfiguration der Open-Source-Software "Open OnDemand" o Installation und Konfiguration auf einer Login-Node o Inkl. Anbindung ans Rechenzentrum-LDAP für User-Authentifikation o Inkl. einer Jupyter-Applikation für interaktive Python-Notebooks o Inkl. folgenden Applikationen (Lizenzen für die jeweilige kommerzielle Software sind vorhanden): Ansys, Comsol, Matlab, Paraview, RStudio o Inkl. Persistierung der Installation in das xcat-Image der Login-Node IV. Weitere Leistungen Der Auftragnehmer muss die GPU-Erweiterung vor Ort auf dem Gelände der HSU aufbauen und anschließen. Weitere nicht explizit aufgeführte Komponenten, die zusätzlich benötigt werden, um die GPU-Erweiterung ins vorhandene CBRZ integrieren zu können oder die für den Betrieb zusätzlich benötigt werden, müssen ggf. ebenfalls angeboten werden. Die GPU-Erweiterung muss über eine Hardwaregarantie für mindestens 3 Jahre verfügen. Dies umfasst die Hardwarewartung, -gewährleistung und Instandhaltung über 36 Monate Betriebszeit.. Service und Support (inkl. Remote-Support, schneller Austausch einfach zu wechselnder defekter Komponenten wie bspw. SSDs, Netzteile, Speicherriegel entweder durch vor-Ort Ersatzteilstock mit unmittelbarem Zugriff durch HSU-Systemadministrator-Personal - ausreichende Lagerkapazitäten sind vorhanden - oder durch Ersatzteil-Service des Auftragnehmers mit vor Ort Lieferung ab Meldung innerhalb max. 24h an Arbeitstagen (Montag bis Freitag, mit Ausnahme von Feiertagen)) muss beinhaltet sein. Support und Updates für die Software muss für 3 Jahre im Angebot enthalten sein. Angebote, die nicht alle Mindestanforderungen des Leistungsverzeichnisses erfüllen, schließt die HSU/UniBw H vom Vergabeverfahren aus. Einzelheiten der Leistung und die technischen Anforderungen ergeben sich aus dem Leistungsverzeichnis (Anlage 1 des Vertrages).

Liste und kurze Beschreibung der Bedingungen

Unternehmensdarstellung, Bewerbergemeinschaft, Nichtvorliegen von Ausschlussgründen: Mit dem Angebot sollen die Bieter möglichst folgende Unterlagen vorlegen (Bei Bietergemeinschaft von mindestens einem Mitglied): a) Formlose Unternehmensdarstellung mit Angabe des Namens, des Sitzes, der Kontaktdaten, der Umsatzsteuer-Identifikations-Nr., des Namens, Geburtsdatums und der Staatsangehörigkeit des wirtschaftlich Berechtigten im Sinne von § 3 GwG sowie zur Eintragung ins Handelsregister / Berufsregister; b) Formlose Eigenerklärung, aus der hervorgeht, dass keine Ausschlussgründe im Sinne der §§ 123, 124 GWB vorliegen bzw. erfolgreiche Selbstreinigungsmaßnahmen nach § 125 GWB durchgeführt worden sind; der Bewerber in das einschlägige Berufsregister oder ein vergleichbares Register (Standeskammern etc.) des Herkunftslandes eingetragen ist; sowie nicht zu den in Artikel 5k) Absatz 1 der Verordnung (EU) Nr. 12/2014 in der Fassung des Art. 1 Ziff. 22 der Verordnung (EU) 2023/1214 des Rates vom 18. Dezember 2023 über restriktive Maßnahmen angesichts der Handlungen Russlands, die die Lage in der Ukraine destabilisieren, genannten Personen oder Unternehmen zählt. c) Bietergemeinschaften sollen zusätzlich eine Erklärung abgeben, aus der hervorgeht, dass kein Verstoß gegen Kartellrecht vorliegt, und dass keine unzulässigen wettbewerbsbeschränkenden Absprachen getroffen wurden. Bieter werden gebeten, im Angebot einen Ansprechpartner mit Namen, Adresse, E-Mail, Telefon- und Faxnummer zu benennen. Bieter sollen die auf der Vergabeplattform hinterlegten Vordrucke verwenden. Der Auftraggeber behält sich vor, Unterlagen im Rahmen des § 56 Abs. 2 VgV nachzufordern. Hierauf besteht kein Rechtsanspruch. Ein Austausch einzelner Mitglieder der Bietergemeinschaften (BG) vor Auftragsvergabe bedarf der Zustimmung des Auftraggebers. Die Abgabe von Angeboten durch BG ist nur bei gesamtschuldnerischer Haftung mit bevollmächtigtem Vertreter möglich. Hierzu ist eine von allen Mitgliedern unterschriebene Vollmacht mittels einer BG-Erklärung vorzulegen. Außerdem haben sämtliche Mitglieder der BG namentlich mit Anschrift einen bevollmächtigten Vertreter für das Vergabeverfahren sowie den Abschluss und die Durchführung des Vertrages zu bezeichnen. Die Auftraggeber behalten sich ausdrücklich vor, diese Angaben nachzufordern. Bei der Eignungsprüfung wird die BG als Ganzes beurteilt. Mehrfachbewerbungen, als Einzelbewerber sowie als Mitglied einer/mehrerer BG, sind nicht zulässig. Soweit mehrere Unternehmen im Rahmen der Vergabe miteinander kooperieren (z. B. über ein gemeinsames Tochterunternehmen, als Nachunternehmer oder im Rahmen einer BG), behält sich der Auftraggeber vor, Nachweise dafür zu fordern, dass die Kooperation als Ganzes sowie die Teilnahme der einzelnen Unternehmen an der Kooperation zulässig ist, insbesondere keine unzulässige wettbewerbsbeschränkende Abrede getroffen wurde.

Liste und kurze Beschreibung der Auswahlkriterien

Wirtschaftliche und finanzielle Leistungsfähigkeit: Mit dem Angebot sollen die Bieter möglichst folgende Unterlagen vorlegen (bei Bewerbergemeinschaften von mindestens einem Mitglied): a) Angabe der Gesamtumsätze der letzten bis zu 3 abgeschlossenen Geschäftsjahre, möglichst durch Jahresabschlüsse und Prüfberichte belegt, sowie die Angabe der Umsätze der letzten 3 Geschäftsjahre mit Leistungen, die mit dem vorliegenden Auftragsgegenstand (Lieferung, Installation und Inbetriebnahme einer GPU-Erweiterung) vergleichbar sind. b) Bestätigung, dass der Bieter eine Berufs-/Betriebshaftpflichtversicherung mit einer Deckungssumme von mindestens Euro 1,5 Millionen pro Schadensfall, 2-fach maximiert, unterhält oder im Falle der Auftragserteilung abschließen wird. Für den Fall, dass ein Bieter einzelne Unternehmen als Nachunternehmer einsetzen möchte, wird auf die Möglichkeit der Eignungsleihe und die in § 47 VgV genannten Voraussetzungen hingewiesen. Wenn und soweit sich der Bieter auf die Eignung des Nachunternehmers beruft, ist mit dem Angebot insbesondere eine Verpflichtungserklärung des Nachunternehmers einzureichen, dass dieser seine Ressourcen und Kapazitäten dem Bewerber im Auftragsfall zur Verfügung stellt. Bieter sollen die auf der Vergabeplattform genannten Website hinterlegten Vordrucke verwenden. Der Auftraggeber behält sich vor, Unterlagen im Rahmen des § 56 Abs. 2 VgV nachzufordern. Hierauf besteht kein Rechtsanspruch.

Liste und kurze Beschreibung der Auswahlkriterien

Technische und berufliche Leistungsfähigkeit: Mit dem Angebot sollen die Bieter möglichst folgende Unterlagen vorlegen (bei Bewerbergemeinschaften von mindestens einem Mitglied): a) geeignete Referenzen über früher ausgeführte Liefer- und Dienstleistungsaufträge, die mit der zu vergebenden Leistung (Lieferung, Installation und Inbetriebnahme einer GPU-Erweiterung) vergleichbar sind, in Form einer Liste der in den letzten höchstens 3 (drei) Jahren erbrachten wesentlichen Liefer- und Dienstleistungsaufträgen, mit Angabe des Werts, des Liefer- bzw. Erbringungszeitpunkts sowie des öffentlichen oder privaten Empfängers, b) Nachweis eines Qualitätsmanagementsystems c) Formlose Eigenerklärung, in der der Bewerber erklärt, ob und welche Teilleistungen des ausgeschriebenen Auftrags er durch Nachunternehmer ausführen lassen wird. Für den Fall, dass ein Bieter einzelne Unternehmen als Nachunternehmer einsetzen möchte, wird auf die Möglichkeit der Eignungsleihe und die in § 47 VgV genannten Voraussetzungen hingewiesen. Wenn und soweit sich der Bieter auf die Eignung des Nachunternehmers beruft, ist mit dem Angebot insbesondere eine Verpflichtungserklärung des Nachunternehmers einzureichen, dass dieser seine Ressourcen und Kapazitäten dem Bewerber im Auftragsfall zur Verfügung stellt. Bieter sollen die auf der Vergabeplattform genannten Website hinterlegten Vordrucke verwenden. Der Auftraggeber behält sich vor, Unterlagen im Rahmen des § 56 Abs. 2 VgV nachzufordern. Hierauf besteht kein Rechtsanspruch.

Genaue Informationen über Fristen für Überprüfungsverfahren

Das Verfahren für Verstöße gegen diese Vergabe richtet sich nach den Vorschriften der §§ 160 ff. des Gesetzes gegen Wettbewerbsbeschränkungen (GWB). Zur Wahrung der Fristen wird auf die §§ 160 ff. GWB verwiesen. Insbesondere weisen wir darauf hin, dass der Nachprüfungsantrag gemäß § 160 Abs. 3 Satz 1 Nr. 4 GWB spätestens 15 Kalendertage nach Eingang der Mitteilung des Auftraggebers, einer Rüge nicht abhelfen zu wollen, zu stellen ist. Vergabeverstöße sind nach § 160 Abs. 3 Satz 1 Nr. 1 GWB vor Einreichen des Nachprüfungsantrags innerhalb von 10 Kalendertagen, nachdem der Bieter den Verstoß erkannt hat, beim Auftraggeber zu rügen. Vergabeverstöße, die aufgrund der Bekanntmachung erkennbar sind, sind gemäß § 160 Abs. 3 Satz 1 Nr. 2 GWB spätestens bis zum Ablauf der Angebotsfrist bei dem Auftraggeber zu rügen.