Beschreibung der Beschaffung
Das Institut für Theoretische Physik der Goethe Universität Frankfurt betreibt eine
zentrale und hochintegrierte Linux Installation mit 180 Linux Arbeitsplätzen und ca. 100 Rechenknoten.
Die Bereitstellung des Festplattenspeichers erfolgt über einen zentralen Ceph Cluster. Der Cluster besteht aus 5 Knoten und hat ca. 450 TB Brutto Kapazität, verteilt auf SSDs und HDDs. Aufgrund der bestehenden Erfahrung mit Ceph soll auch in dieser Ausschreibung Ceph basierter Storage beschafft werden.
Fast alle Server-Dienste sind als virtuelle Maschinen (VMs) realisiert und nutzen Ceph-RBD (Rados Block Device). Für die virtuellen Maschinen stehen vier physische Server zu Verfügung die auf Libvirt/KVM aufsetzen und auch Live-Migration ermöglichen.
Die Bereitstellung der Home-Verzeichnisse erfolgt über mehrere virtuelle NFS Server-Instanzen (aktuell 9). Ein zentrales Scratch Verzeichnis wird über CephFS zur Verfügung gestellt und ist auf allen Clients und Compute Nodes verfügbar.
Das Gros der Rechenknoten wurden von individuellen Arbeitsgruppen angeschafft und steht diesen exklusiv zur Verfügung. Das Verteilen der Rechenjobs auf die Knoten erfolgt durch SLURM.
Die Vernetzung der Hardware erfolgt überwiegend mit Infiniband (QDR/FDR) und IPoIB. Virtuelle Maschinen sind per 10G Ethernet angebunden. Die Verbindungen aller Netze, Uplinks und Infiniband laufen über zwei hochverfügbare Gateway-Server (keepalived und HA-Proxy).
Aus technischen Gründen wird für das Bare-Matel-Deployment weiterhin eine Ethernet-Verbindung benötigt. Die Verwaltung der Installationen erfolgt über eine In-House-Lösung.
Alle Systeme laufen aktuell mit Ubuntu 18.04 oder 20.04.
Es wird beabsichtigt mit dieser Ausschreibung,
• eine möglichst große Zahl von Rechenknoten,
• einen Ceph Storage mit 3 Knoten und einer Gesamtkapazität von ca. 500
TB Brutto,
• EDR Infiniband und Gigabit Ethernet für die Knoten und Server sowie Gigabit
für das Management mit allen Kabeln und Switches
• einen Serverschrank (Rack) und Stromversorgung (PDU) für die Komponenten
zu beschaffen.
Das Auftragsvolumen darf netto 300.000 € nicht überschreiten (Budgetausschreibung, eine besondere Ausprägung des Maximalprinzips, wonach mittels eines vorab festgelegten Budgets die maximale Leistung beschafft werden soll).
Technische Rahmenbedingungen
Für die gesamte Hardware stehen zwei 19 Zoll Schränke mit 42 Höheneinheiten zur Verfügung. Ein Schrank ist bereits vorhanden und leer (Rittal TS8). Ein zweiter, baugleicher ist Bestandteil dieser Ausschreibung.
Für die Kühlung ist eine Umluftkühlung mit Doppelboden vorhanden. Mit dieser Kühlung lassen sich max. 15 kW pro Schrank sinnvoll Kühlen. Für die Stromversorgung der Schränke stehen pro Schrank 1x 400V 16A (3-Phasen) und 2 x 230V 16A zur Verfügung. Die Steckdosen befinden sich unterhalb vom Doppelboden. Die Zuführung der Netzwerk Kabel erfolgt über den Sockel der Serverschränke.
Compute-Nodes
Für die Compute-Nodes sind Dual-Socket-Multi-Core-Knoten mit zwei 64bit CPUs vorgesehen, die mit Gigabit Ethernet und Infiniband EDR verbunden sind. Pro CPU Kern sind mind. 2,5 GB ECC-RAM zu installieren. Sollten die Benchmarks mit aktiviertem Hyperthreading/SMT o.ä. und einer entsprechenden Anzahl von Prozessen durchgeführt werden, sind hier die logischen Kerne zu zählen. Es sind grundsätzlich identische RAM Module zu verwenden und nach Möglichkeit alle RAM Kanäle zu bestücken.
Für das Betriebssystem ist eine 480-512 GB SSD (SATA oder NVMe) vorzusehen.
Die verwendeten SSDs müssen den besonderen Bedingungen im Dauerbetrieb des Rechners genügen.
Die Fernwartung muss über einen dedizierten LAN Port ausgeführt sein und IPMI 2.0 sowie Redfish unterstützen. Remote-KVM über HTML5 im Webbrowser muss ebenso unterstützt werden.
Die Zahl der Knoten ist über das Gesamtbudget gegeben.
Die Installation der Software auf den Rechenknoten erfolgt durch den Auftragnehmer. Kompatibilität mit Ubuntu 20.04 LTS muss gegeben sein. Eine vollständige Liste aller MAC Adressen (inkl. IPMI) ist vor der Lieferung auszuhändigen.
Ceph Storage Knoten
Der zentrale Datenspeicher gliedert sich in zwei Klassen. Für das eigentliche Computing ist ein Teil als schneller SSD-NVMe-only Speicher ausgelegt. Der größere Teil dient als Datenlager und basiert auf Festplatten. Beide Klassen sollen von allen Storage Knoten bedient werden.
Die Festplatten sind als JBOD per SAS3 anzubinden. Folgende Server Konfiguration hat sich im ITP schon bewährt:
- 2 Sockel 1 HE Server mit 12x U.2 NVMe 2,5" Einschüben und red. Netzteile
- Pro OSD sind mind. 5 GB RAM vorzusehen
- Pro OSD ist mindestens ein physischer CPU-Kern vorzusehen
- 3x 1 TB U.2 NVMe SSD (1x OS, 2x WAL/DB für HDDs)
- 6x 4 TB U.2 NVMe SSDs (als OSD)
- 3 Slots bleiben frei für Ausbau
- 2x 10 GBase-T Netzwerk
- SAS3 HBA für den Anschluss des JBODs
- Infiniband EDR
- SAS3 HBA für JBOD
- IPMI/Redfish Verwaltung entsprechend den Compute Nodes.
Externes SAS3 JBOD
- 24 3,5" HDD Einschüben
- IPMI 2.0 Interface für Remote Überwachung und Steuerung
- Redundante Netzteile
- 12x 16 TB SAS Enterprise Festplatten
- 12 Slots bleiben für spätere Erweiterungen frei
RAM und CPU sind für die Vollbestückung auszulegen, zuzüglich einer Reserve von
einigen Zehn Gigabytes für das Betriebssystem sowie Ceph MON und MDS Diensten. Bei 34 OSDs sind das je nach Zahl der parallel RAM Kanäle 192 oder 256 GB RAM. Die SSD Größen schließen auch branchenübliche Größen, die insb. bei Enterprise Typen, etwas kleiner sind, ein (z.B. 960 GB statt 1 TB). Die verwendeten SSDs und HDDs müssen den besonderen Bedingungen im Dauerbetrieb des Rechners genügen.
Netzwerke
Für die Kommunikation zwischen den Rechenknoten und den Zugriff auf den Datenspeicher ist Infiniband EDR vorgesehen. Die IP Anbindung zum Login Server und den Home-Verzeichnissen erfolgt über die gleiche physikalische Verbindung mittels IPoIB an einen vorhandenen QDR oder FDR Switch.
Geeignete Kabel und Switches sind Bestandteil der Ausschreibung. Für den Uplink
sind mind. 4 freie Ports vorzuhalten. Zwei passende Kabel (5m) für die Adaptierung an unsere QDR/FDR Switche sind mitzuliefern.
Für die Netzwerkbasierte Installation und Wartung der Rechner ist weiterhin Ethernet notwendig. Deswegen sind alle Rechner einmal mit Gigabit Ethernet anzubinden. Die Anbindung an den Uplink erfolgt per 10 GBit Multi Mode Glasfaser (LC-LR). Passende SFP+ Module sind mitzuliefern. VLAN und SNMP Unterstützung, sowie die Verwaltung per ssh und serieller Konsole sind obligatorisch.
Die Vernetzung der IPMI Management Schnittstellen stellt keine größeren Herausforderungen an die Vernetzung. Hier genügen verwaltete Gigabit Switche (SNMP, CLI). Die Anbindung erfolgt über ein separates VLAN an die oben beschriebenen Switche. Aktuell setzen wir Switche der Reihe Netgear ProSafe M4300 ein. Sollten keine technischen Gründe oder die Verfügbarkeit dagegensprechen, bieten sie diese Switche auch für den Cluster an. Andernfalls bitte erläutern.
Serverschrank und Stromversorgung
Der zu beschaffende Serverschrank soll an die bestehenden Schränke angereiht
werden. Bei den vorhandenen Typen handelt es sich um Rittal TS8 Schränke auf 10 cm Sockel, mit den Maßen 80 cm breit und 100 cm tief und 42 Höheneinheiten. Zur maximalen Kompatibilität soll das anzuschaffende Rack vom gleichen Typ (bzw. kompatibler Nachfolger) sein. Front- und rückseitige Türen bestehen aus gelochtem Stahlblech. Die Rückwertige Tür ist geteilt mit 180° Scharnieren. Durch die Anreihung erübrigen sich Seitenwände.
Den Schrank TS8 hat der Hersteller eingestellt und durch den Typ VX IT ersetzt. Das Nachfolge Model zu TS 5509.110 hat die Modelnummer VX 5309.116. Der dazu passende Sockel VX 8640.003. Sollte die TS8 Seitenwand nicht passen, ist eine neue Seitenwand mitzuliefern. Weiterhin werden geeignete Anreihverbinder benötigt.
Anlieferung und Anbau des Racks in den Räumen des ITPs.
Die Stromversorgung ist über verwaltbare Steckerleisten (PDUs) auszuführen. Die
Ausgänge sollen sich einzeln über das Netzwerk schalten lassen. Die Gesamtleistung pro Phase und die Schaltzustände müssen sich Remote per SNMP und Webbroser auslesen und steuern lassen. An der Leiste selbst muss der aktuelle Strom abzulesen sein. Primär ist die Stromversorgung über eine 3-Phasige 400V/16A PDU zu realisieren. Zusätzlich stehen max. 2 einphasige 16A Anschlüsse bereit um die maximale Leistung von 15 kW ausschöpfen zu können. Die Vernetzung erfolgt über die Switche an denen auch die IPMI Ports angeschlossen sind. Aufgrund der in anderen Schränken verbauten Typen geben wir den Herstellern Rittal oder APC den Vorzug. Grundsätzlich müssen alle Geräte insb. Switche und PDUs IPv6 fähig sein.