Erweiterung um ein GPU-Test- und Entwicklungssystems am NHR-Zentrum des ZIB

Kurze Beschreibung

Das existierende HPC-System "LISE" soll noch in 2022 um ein HPC-System mit GPU-Knoten erweitert und in das "LISE"-System integriert werden. Das zu beschaffende GPU-Test- und Entwicklungssystem soll auf einer INTEL-GPU-Architektur basieren und in vorhandene Lenovo-Serverschränke integrierbar sein.

Beschreibung der Beschaffung

Gegenstand dieser Ausschreibung ist eine Erweiterung der vorhandenen GPU-Partition des Hochleistungsrechnersystems HLRN-IV „Lise“ des NHR-Zentrums am Zuse-Institut Berlin (ZIB) um ein GPU-Test- und Entwicklungssystem.
Mit dem GPU-Test- und Entwicklungssystem wird eine Rechenkapazität (Leistung x Betriebszeit) eingekauft. Die Rechenknoten des GPU-Test- und Entwicklungssystems sollen auf der Intel Xe-GPU-Architektur basieren. Dieser GPU-Cluster soll performant in die vorhandene Infrastruktur integriert werden.

Das zu beschaffende GPU-Test- und Entwicklungssystem ist ein komplexes IT-System und soll den steigenden Bedarf von Anwendungen auf GPUs vorzugsweise im Durchsatzbetrieb mit hohen Anforderungen an die Einzelknotenleistung abdecken.
Für die zu beschaffende Systemerweiterung bestehen technische Abhängigkeiten, auch für das Kühlsystem des gesamten GPU-Systems, die zur Auftragsumsetzung zwingend berücksichtigt werden müssen, damit das neu zu beschaffende System in das bereits bestehende GPU-System störungsfrei und energieeffizient integriert werden kann. Die Komponenten des vorhanden GPU-Systems sind in Infrastrukturschränken („Racks“) der Firma Lenovo installiert. Aufgrund der sehr hohen Betriebstemperatur der GPU-Systemkomponenten ist für das System eine spezielle Kühlinfrastruktur, unter anderem wassergekühlte Rücktüren, notwendig. Die Kühlinfrastruktur des GPU-Systems besteht aus Kühlaggregaten und Kühlwasserverrohrungen, die unterhalb an den Lenovo Racks angeschlossen sind und durch Monitoring Systeme in den Schranktüren überwacht werden. Diese Kühlinfrastruktur soll für die neue Systemerweiterung genutzt werden, da die Planung und Beschaffung einer neuen eigenständigen Kühlinfrastruktur für produktfremde Erweiterungen der GPU-Infrastruktur zusätzliche Planungs- und Anschaffungskosten verursachen würde, sowie einen baulichen Erweiterungs- und Koordinationsaufwand verursachen würde.

Als Teil des Nationalen Hochleistungsrechnens (NHR) soll das Gesamtsystem von WissenschaftlerInnen deutscher Universitäten genutzt werden können. Auf dem GPU-Cluster sollen KI-Workflows sowie Simulationen und datenintensive Anwendungen mit besonders anspruchsvollen Anforderungen an GPU-Hardware und -Software lauffähig sein. Das zu beschaffende GPU-Test- und Entwicklungssystem soll der Migration und Evaluierung von Anwendungen auf herstellerunabhängige Programmierstandards dienen.

Die wesentlichen Komponenten und Bestandteile des GPU-Test- und Entwicklungssystems umfassen:

• Hardware:
– Rechenknoten mit je vier Intel Ponte Vecchio 1 - OAM Module (PVC1)
– Vorrechner und ggf. weitere Service-Knoten
– internes HPC-Netzwerk mit mindestens 200 Gbit/s Bandbreite

• Software: Programmentwicklungsumgebung (Intel oneAPI, paralleler Debugger) auf Rechenknoten und Vorrechnern
• Integration in die existierende Infrastruktur

Das GPU-Test- und Entwicklungssystem muss in eine bereits vorhandene Infrastruktur integriert werden.
Der Auftraggeber (AG) stellt Serverschränke mit redundanten Stromanschlüssen, Rückkühltüren und der Vorbereitung für eine direkte Flüssigkühlung. Die Wärmeabgabe an die Raumluft muss minimal sein.

Beschreibung der Verlängerungen

- Hardwareinstandhaltung für den Weiterbetrieb des GPU-Test- und Entwicklungssystems um ein Jahr bis 31.12.2026

- Verlängerung der Wartung zur Software-Pflege um 2x 12 Monate (2026 / 2027)

Zusätzliche Informationen

Die Pass- und Integrationsfähigkeit des GPU-Clusters, insb. der anzubietenden GPU-Rechenknoten, in die bereits vorhandene Rackspace-Infrastruktur basierend auf dem Rack-Typ Lenovo EveryScale 42U Onyx Heavy Duty Rack Cabinet mit fünf (5) Enclosures vom Typ Lenovo DW612 ist mit jeweils 6 HE und vorbereitet für eine 6-Drop Lenovo-Neptune-Flüssigkeitskühlung sowie einem Rear Door Heat Exchanger. Diese technische Anforderung begründet sich auf ökonomischen (Energieeffizienz) und wirtschaftlichen Gesichtspunkten des Auftragsgegenstandes. Angebote, die nicht in die vorhandenen Lenovo-Racks integrierbar sind, werden nicht berücksichtigt. (s. Ausschlusskriterien 6 des Leistungsverzeichnisses)

Liste und kurze Beschreibung der Bedingungen

1) Dem Angebot ist die Eigenerklärung zur Haftpflichtversicherung, Vordruck „Haftpflichtversicherung“, beizufügen. Durch den Bieter wird bestätigt, dass eine gültige Haftpflichtversicherung mit einer Mindestdeckungssumme von 3 Mio € jeweils für Personen-, Sach- und Vermögensschäden für jeweils mindestens zwei Schadensfälle pro Jahr bei einem in Deutschland ansässigen Versicherungsunternehmen besteht oder das im Auftragsfall eine bereits bestehende Haftpflichtversicherung auf die geforderten Mindestdeckungssummen erhöht wird oder das im Auftragsfall eine Haftpflichtversicherung mit den geforderten Mindestdeckungssummen abgeschlossen wird. Dem Angebot ist eine einfache Kopie der Versicherungspolice bzw. Bescheinigung eines Haftpflichtversicherers, dass eine bereits bestehende Haftpflichtversicherung im Auftragsfall auf die geforderten Mindestdeckungssummen erhöht oder eine entsprechende Versicherung mit den geforderten Mindestdeckungssummen abgeschlossen wird (nicht älter als 6 Monate), beizufügen.

2) Dem Angebot ist ein aktueller Handelsregisterauszug (nicht älter als 6 Monate zum Zeitpunkt der Angebotsabgabe) oder ein aktueller Auszug aus dem Berufsregister oder vergleichbare Dokumente beizufügen.

3) Die nachfolgenden einzelnen Erklärungen sind dem zwingend Angebot beizulegen (Ausschlusskriterien):

• ausgefülltes und unterzeichnetes Angebotsschreiben ohne Lose, Vordruck Wirt-213 P
• Eigenerklärung zur Eignung, Vordruck Wirt-124 EU P, alternativ zu den geforderten Eigenerklärungen akzeptiert der Auftraggeber auch die Vorlage einer – mit den entsprechenden Angaben ausgefüllten – Einheitlichen Europäischen Eigenerklärung
(EEE).
• Der Bieter, bei Bietergemeinschaften jedes Mitglied der Bietergemeinschaft, sowie andere Unternehmen, auf dessen Kapazitäten sich der Bieter/die Bietergemeinschaft zur Herstellung seiner/ihrer Eignung beruft, (im Falle einer Eignungsleihe nach § 47
VgV) erklärt mit Abgabe seines Angebotes, dass er die Hinweise zur Einhaltung restriktiver Maßnahmen angesichts der Handlungen Russlands (Formular Wirt-124.1), die die Lage in der Ukraine destabilisieren, zur Kenntnis genommen hat und die
genannten Maßnahmen einhalten wird.
• Eigenerklärung zu Bietergemeinschaft, Vordruck Wirt-238 P (nur im Falle einer Bietergemeinschaft einzureichen)
• Eigenerklärung über den Einsatz von Unterauftragnehmern (im Falle des Einsatzes von Unterauftragnehmern, die zur Eignungsleihe nach § 47 VgV herangezogen werden), Vordruck Wirt-235 P
• Verpflichtungserklärung des anderen Unternehmens, auf dessen Kapazitäten sich der Bieter/die Bietergemeinschaft zur Herstellung seiner/ihrer Eignung beruft, (im Falle einer Eignungsleihe nach § 47 VgV), Vordruck Wirt-236 EU P
• Eigenerklärung zu den besonderen Vertragsbedingungen zur Frauenförderung, Vordruck Wirt-2141 P
• Angaben zur Abfrage beim Wettbewerbsregister, Vordruck Wirt-3293
• Vertraulichkeitserklärung, Vordruck „Vertraulichkeitserklärung_IntelTDS“

Liste und kurze Beschreibung der Auswahlkriterien

Unternehmensdarstellung (max. 2 DIN A4 Seiten)

Dem Angebot ist eine Unternehmensdarstellung des bietenden Unternehmens beizufügen, unter Angabe der Eckdaten zum Unternehmen und der durchschnittlichen Mitarbeiterzahl der letzten drei abgeschlossenen Geschäftsjahre. Die Unternehmensdarstellung soll es ermöglichen, ein umfassendes Bild des Bieters bzw. der Bietergemeinschaft zu gewinnen.
Bei Bietergemeinschaften und Nachunternehmen müssen alle Beteiligungsverhältnisse / Verbindungen und die vorgesehene Aufgabenteilung der beteiligten Unternehmen beschrieben werden. Darüber hinaus sind Anzahl und Orte der Niederlassungen aller beteiligten Unternehmen in Deutschland anzugeben.
Bitte gehen Sie außerdem in Ihrer Darstellung auf Ihre gesamten erzielten Unternehmensumsätze der letzten drei abgeschlossenen Geschäftsjahre ein. Geben Sie weiterhin den Jahresumsatz Ihres Unternehmens für die letzten drei abgeschlossenen Geschäftsjahre bezogen auf den Vergabegegenstand in EURO an.
In der Unternehmensdarstellung sind für die Umsetzung ein fester Ansprechpartner sowie ein Stellvertreter zu benennen.

Referenzprojekte (Mindestanforderung: 1 Referenz)

Es sind vollständige Informationen von mindestens einer und bis zu drei weitere mit dem Auftragsgegenstand vergleichbare, bereits abgeschlossene oder noch in Bearbeitung befindliche Referenzprojekte aus den letzten drei abgeschlossenen Geschäftsjahren (Vertragsende) einzureichen. Es werden nur Referenzprojekte zugelassen, die vom Bieter bzw. der Bietergemeinschaft selbst erbracht wurden. Dafür ist das Formular „Referenzen“ zu nutzen. Die gesamte Referenz darf maximal 1 DIN A4 Seite in Anspruch nehmen.

o Angabe von mind. einer (1) bis max. drei (3) Referenz/en (Auftragnehmer oder Unterauftragnehmer) über ein Projekt, bei dem/denen vom Bieter/von der Bietergemeinschaft bezüglich einem in der aktuell geltenden weltweiten TOP 500 Liste (Stand Juni 2022 (https://www.top500.org/lists/top500/list/2022/06/) aufgeführten Höchstleistungsrechner Leistungen erbracht wurden (inkl. Wartung und Support), die mit den hier zu vergebenden Leistungen nach Art (GPU-Cluster) vergleichbar sind und nicht länger als fünf Jahre zurückliegen und

o Angabe von mindestens einem (1) bis max. drei (3) Projekt/en in vergleichbarer Größe, aus dem/denen hervorgeht, dass der Bieter/die Bietergemeinschaft, bei einer Installation im Data Center Bereich in der EU beteiligt war, die nicht länger als fünf Jahre zurückliegt.

Die Bewertung der Referenzen stellt sich wie folgt dar:
Jede Referenz über eine Leistungserbringung hinsichtlich eines in der aktuell geltenden TOP 500 Liste aufgeführten Höchstleistungsrechner inkl. Wartung und Support wird separat mit maximal 5 Punkten bewertet.

Maßstab für die Punktevergabe ist der Ranglistenplatz in der weltweiten TOP 500 Liste (https://www.top500.org/lists/top500/list/2022/06/) mit Stand Juni 2022. Für die vergleichbare Leistungserbringung (GPU-Cluster) an dem höchstplatziertesten Hochleistungsrechner werden 5 Punkte vergeben. Für eine vergleichbare Leistungserbringung am nachfolgend platzierte Hochleistungsrechner 4 Punkte, dem nachfolgend 3 Punkte, dem nachfolgend 2 Punkte, dem nachfolgend 1 Punkt. Bewertet wird zunächst die erste eingereichte Referenz. Sollte eine zweite Referenz eingereicht werden, wird diese wiederum so gewertet, dass von den Zweitreferenzen die höchstplatzierteste Referenz 5 Punkte erhält, die nachfolgend platzierte Referenz 4 Punkte, die danach folgende 3 Punkte, die danach folgende 2 und die danach folgenden 1 Punkt. Sollte eine dritte Referenz benannt werden, so erfolgt die Punkteverteilung nach dem gleichen Muster.
Jede Referenz vergleichbarer Größe über eine Installation im Data Center Bereich in der EU wird mit 1 Punkt bewertet, sodass max. 3 Punkte erreicht werden können.

Bedingungen für die Teilnahme (technische und berufliche Fähigkeiten)

- Einhaltung der verfügbaren Investitionsmittel (s. Abschnitt 3.2 und Ausschlusskriterium 1 des Leistungsverzeichnisses)
- Einhaltung der verfügbaren Mittel für die Betriebskosten (Softwarepflege, Hardwareinstandhaltung, Energie, s. Abschnitt 3.2 und
Ausschlusskriterium 2 des Leistungsverzeichnisses)
- Angabe der Wartungskosten für ein bzw. zwei Jahre nach der dreijährigen Betriebszeit (Ausschlusskriterium 3 im Leistungsverzeichnis)
- Aufstellbarkeit, technische Betreibbarkeit und Konformität aller gelieferten Geräte mit allen anzuwendenden Vorschriften (Anlieferung,
Infrastruktur: Fläche, Statik, Strom, Klima, s.
Ausschlusskriterien 4, 7, 8 und 9 des Leistungsverzeichnisses)
- Pass- und Integrationsfähigkeit des GPU-Clusters, insb. der anzubietenden GPU-Rechenknoten, in die bereits vorhandene Rackspace-
Infrastruktur basierend auf dem Rack-Typ Lenovo
EveryScale 42U Onyx Heavy Duty Rack Cabinet mit fünf (5) Enclosures vom Typ Lenovo DW612 mit jeweils 6 HE und vorbereitet für eine
6-Drop Lenovo-Neptune-Flüssigkeitskühlung sowie einem Rear Door Heat Exchanger. Diese technische Anforderung begründet sich auf
ökonomischen (Energieeffizienz) und wirtschaftlichen Gesichtspunkten des Auftragsgegenstandes. Angebote, die nicht in die
vorhandenen Lenovo-Racks integrierbar sind, werden nicht berücksichtigt. (s. Ausschlusskriterien 6 des Leistungsverzeichnisses)
- Vorlage eines Terminplans der Installation und Bereitstellung zur Abnahme (Betriebsbereitschaftserklärung) vor dem 31.12.2022
(Ausschlusskriterium 5 des Leistungsverzeichnisses).
- Konfiguration der Rechenknoten bezüglich GPU-Architektur, Anzahl GPUs, lokales Vernetzung der GPUs, Hauptspeicher,
(Ausschlusskriterien 9 und 10 des Leistungsverzeichnisses).
- Bereitstellung und Lizensierung von Software für Programmentwicklung und Nutzung (Ausschlusskriterien 11 und 12 des
Leistungsverzeichnisses).
- Vorlage der kompletten Ergebnisse der Benchmarks, die gemäß Kapitel LV-9, LV-10 und LV-11 des Leistungsverzeichnisses durchgeführt
wurden bzw. verbindliche Leistungszusagen zu
den einzelnen Benchmarks (s. ‚Ausschlusskriterien 13 des Leistungsverzeichnisses)

Bedingungen für die Vertragserfüllung

Pass- und Integrationsfähigkeit des GPU-Clusters, insb. der anzubietenden GPU-Rechenknoten, in die bereits vorhandene Rackspace-Infrastruktur basierend auf dem Rack-Typ Lenovo EveryScale 42U Onyx Heavy Duty Rack Cabinet mit fünf (5) Enclosures vom Typ Lenovo DW612 mit jeweils 6 HE, vorbereitet für eine 6-Drop Lenovo-Neptune-Flüssigkeitskühlung sowie einem Rear Door Heat Exchanger. Diese technische Anforderung begründet sich auf ökonomischen (Energieeffizienz) und wirtschaftlichen Gesichtspunkten des Auftragsgegenstandes. Angebote, die nicht in die vorhandenen Lenovo-Racks integrierbar sind, werden nicht berücksichtigt. (s. Ausschlusskriterien 6 des Leistungsverzeichnisses)

Genaue Informationen über Fristen für Überprüfungsverfahren

(1) Etwaige Vergabeverstöße muss der Bewerber/Bieter gemäß § 160 Abs. 3 Nr. 1 GWB innerhalb von 10 Tagen nach Kenntnisnahme rügen.
(2) Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, sind nach § 160 Abs. 3 Nr. 2 GWB spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Abgabe der Bewerbung oder der Angebote gegenüber dem Auftraggeber zu rügen.
(3) Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, sind nach § 160 Abs. 3 Nr. 3 GWB spätestens bis zum Ablauf der Frist zur Bewerbungs- oder Angebotsabgabe gegenüber dem Auftraggeber zu rügen.
(4) Ein Vergabenachprüfungsantrag ist nach § 160 Abs. 3 Nr. 4 GWB innerhalb von 15 Kalendertagen nach der Mitteilung des Auftraggebers, einer Rüge nicht abhelfen zu wollen, bei der Vergabekammer einzureichen.

Beschreibung der Beschaffung

Gegenstand dieser Ausschreibung ist eine Erweiterung der vorhandenen GPU-Partition des Hochleistungsrechnersystems HLRN-IV „Lise“ des NHR-Zentrums am Zuse-Institut Berlin (ZIB) um ein GPU-Test- und Entwicklungssystem.Mit dem GPU-Test- und Entwicklungssystem wird eine Rechenkapazität (Leistung x Betriebszeit) eingekauft. Die Rechenknoten des GPU-Test- und Entwicklungssystems sollen auf der Intel Xe-GPU-Architektur basieren. Dieser GPU-Cluster soll performant in die vorhandene Infrastruktur integriert werden. Das zu beschaffende GPU-Test- und Entwicklungssystem ist ein komplexes IT-System und soll den steigenden Bedarf von Anwendungen auf GPUs vorzugsweise im Durchsatzbetrieb mit hohen Anforderungen an die Einzelknotenleistung abdecken. Für die zu beschaffende Systemerweiterung bestehen technische Abhängigkeiten, auch für das Kühlsystem des gesamten GPU-Systems, die zur Auftragsumsetzung zwingend berücksichtigt werden müssen, damit das neu zu beschaffende System in das bereits bestehende GPU-System störungsfrei und energieeffizient integriert werden kann. Die Komponenten des vorhanden GPU-Systems sind in Infrastrukturschränken („Racks“) der Firma Lenovo installiert. Aufgrund der sehr hohen Betriebstemperatur der GPU-Systemkomponenten ist für das System eine spezielle Kühlinfrastruktur, unter anderem wassergekühlte Rücktüren, notwendig. Die Kühlinfrastruktur des GPU-Systems besteht aus Kühlaggregaten und Kühlwasserverrohrungen, die unterhalb an den Lenovo Racks angeschlossen sind und durch Monitoring Systeme in den Schranktüren überwacht werden. Diese Kühlinfrastruktur soll für die neue Systemerweiterung genutzt werden, da die Planung und Beschaffung einer neuen eigenständigen Kühlinfrastruktur für produktfremde Erweiterungen der GPU-Infrastruktur zusätzliche Planungs- und Anschaffungskosten verursachen würde, sowie einen baulichen Erweiterungs- und Koordinationsaufwand verursachen würde. Als Teil des Nationalen Hochleistungsrechnens (NHR) soll das Gesamtsystem von WissenschaftlerInnen deutscher Universitäten genutzt werden können. Auf dem GPU-Cluster sollen KI-Workflows sowie Simulationen und datenintensive Anwendungen mit besonders anspruchsvollen Anforderungen an GPU-Hardware und -Software lauffähig sein. Das zu beschaffende GPU-Test- und Entwicklungssystem soll der Migration und Evaluierung von Anwendungen auf herstellerunabhängige Programmierstandards dienen. Die wesentlichen Komponenten und Bestandteile des GPU-Test- und Entwicklungssystems umfassen: • Hardware:– Rechenknoten mit je vier Intel Ponte Vecchio 1 - OAM Module (PVC1)– Vorrechner und ggf. weitere Service-Knoten– internes HPC-Netzwerk mit mindestens 200 Gbit/s Bandbreite • Software: Programmentwicklungsumgebung (Intel oneAPI, paralleler Debugger) auf Rechenknoten und Vorrechnern• Integration in die existierende Infrastruktur Das GPU-Test- und Entwicklungssystem muss in eine bereits vorhandene Infrastruktur integriert werden.Der Auftraggeber (AG) stellt Serverschränke mit redundanten Stromanschlüssen, Rückkühltüren und der Vorbereitung für eine direkte Flüssigkühlung. Die Wärmeabgabe an die Raumluft muss minimal sein.