HPC Cluster

Kurze Beschreibung

Ziel der Anschaffung des Rechenclusters ist die Bereitstellung einer leistungsfähigen Vor-Ort- Rechnerinfrastruktur für die WissenschaftlerInnen des Helmholtz-Zentrum Hereon, die die Erstellung von konkurrenzfähigen wissenschaftlichen Ergebnissen ermöglicht. Der neue Rechencluster soll von allen Instituten des Hereon für Modellrechnungen genutzt werden. Derzeit wird der HPC-Cluster "Strand" von ca. 150 WissenschaftlerInnen regelmäßig genutzt. Das
Spektrum der Modellanwendungen umfasst Modelle der Erdsystemwissenschaften und der Materialwissenschaften. Neben klassischen numerischen parallelisierten deterministischen Modellen kommen auch Machine-Learning Modelle zum Einsatz. Über die Rechenleistung hinaus ist auch die Speicherung und Archivierung der Daten und der schnelle Zugriff auf diese Daten eine wichtige Facette des wissenschaftlichen Rechnens. Diese ermöglicht eine effiziente Nachbearbeitung von Modell- und Beobachtungsdaten und deren dauerhafte Speicherung. Das Helmholtz-Zentrum Hereon betreibt zum Zeitpunkt der Leistungserbringung einen HPC-Cluster. Teil der Ausschreibung ist ein zweitweiser Parallelbetrieb, so dass Nutzerkonten und deren Modelle und Daten Schritt für Schritt vom alten auf das neue System migriert werden können. Das neue System ist in die vorhandene Infrastruktur, insbesondere in das Backup- und Archivsystem zu integrieren. In dieser Leistungsbeschreibung sind die technischen Anforderungen definiert. Es sind alle gültigen gesetzlichen Vorschriften, insbesondere im Hinblick auf das Energieeffizienz Gesetz (EEG) einzuhalten.

Der Auftragnehmer schuldet die Gesamtverantwortung für die Ausführung aller in der Leistungsbeschreibung dargestellten Leistungen (siehe Entwurf in den Vergabeunterlagen). Er sichert zu, dass sämtliche Leistungen, mit Ausnahme der unter Ziffer 6.5 der Leistungsbeschreibung genannten Leistungen erbracht werden, Als Schätzwert steht nach derzeitiger Planung ein Budget in Höhe von ca.4,5 MIO EURO zur Verfügung. Ausgenommen von der Leistungspflicht des Auftragnehmers sind folgende Beistellungen des Auftraggebers:
- Stromanschluss exklusive USV
- Anschluss an das Firmen-Netzwerk
- Bodenplatte für die Aufnahme der Einhausung
- Ggf. Stellfläche für die Rückkühlung (Freikühler)
Die benötigten Leitungsquerschnitte, Rohrdurchmesser etc., Netzwerkanschlüsse sind in enger Absprache mit dem Auftraggeber abzustimmen.

Das angebotene System soll in einer wetterfesten Einhausung auf einer durch den Auftraggeber bereitgestellten Beton-Bodenplatte errichtet werden. Die geeignete Einhausung (z.B. Container oder vergleichbar) ist Teil der Leistung des Auftragnehmers, inklusive eines geeigneten Blitzschutzes, nach gesetzlichen

Vorschriften und einer Notstromversorgung (USV), mit einer Zeitspanne in Höhe von der Zeit wie das zuliefernde System benötigt um sich selber per Skript geregelt runterzufahren, für Festplattensystem, Managementserver und Netzwerk. Die für die Aufstellung der Einhausung benötigten Punkt- bzw. Flächenlasten werden vom Auftragnehmer für vollbestückte Container oder vergleichbar ermittelt und dem Auftraggeber mitgeteilt. Bei der Anlieferung feuchter- oder witterungsempfindlicher Komponenten ist auf ausreichenden Wetterschutz zu achten. Ggf. ist durch den Auftragnehmer für einen ausreichenden temporären Regenschutz zu sorgen. Vom Auftragnehmer wird sichergestellt, dass die Anlieferung des angebotenen Systems zum Aufstellungsort und die Aufstellung beim Auftraggeber unter den vorgenannten Bedingungen möglich ist. Die Anlieferung wird zwischen Auftragnehmer und Auftraggeber abgestimmt. Hier ist es von besonderer Bedeutung mögliche Rangiermöglichkeiten für große LKW oder ggfls. die Aufstellung eines Kranes zu berücksichtigen.

Weitere Einzelheiten enthält die Leistungsbeschreibung, die bereits als Entwurf im Teilnahmewettbewerb zur Verfügung steht. Die Einzelheiten der Leistungsbeschreibung können sich im weiteren Verfahren noch ändern.

Beschreibung der Beschaffung

Anforderungen an die Hardware
4.1 Rechenknoten
Alle Rechenknoten müssen über Service Prozessoren verfügen (mindestens IPMI 2.0). Der Hauptspeicher aller Knoten muss über Fehlererkennung und -korrektur verfügen (ECC). Alle Knoten müssen an die globalen Filesysteme (siehe 4.4) mit einem Hochgeschwindigkeitsnetzwerk angebunden sein. Es muss im Bedarfsfall möglich sein, den Hauptspeicher (RAM) später unter Verwendung der vorhandenen Speicherbausteine zu erweitern. Die Rechenknoten sollen über Netzwerk gebootet (PXE-boot) werden. Falls noch ein interner Datenspeicher notwendig ist, muss dieser als SSD-Speicher ausgeführt werden.
Die Rechen-Knoten dürfen nur aus einer Architektur bestehen (Intel oder AMD x86/64). Jeder Knoten soll mit mindestens 4 GByte Memory pro CPU-core ausgestattet sein. Jeder Knoten muss auf insgesamt mindestens 1TB RAM auch nachträglich bestückbar sein. Bei Vollauslastung eines Rechenknotens muss eine Mindestrechenleistung von 45 Gflops pro Core erreicht werden.
Es müssen außerdem mindestens 40 GPUs der Architektur Nvidia (H100 oder H200) in dedizierten GPU-Knoten angeboten werden. Dabei sollen mindestens 4 GPUs in einem Knoten betrieben werden. Diese Knoten sollen ansonsten identisch (CPU-Cores, Speicher pro CPU-Core etc.) mit den anderen Rechenknoten ohne GPUs konfiguriert sein. 10 weitere Rechen-Knoten müssen mit jeweils 4 GPUs erweitert werden können. Alle GPU-Knoten müssen sowohl für H100 als auch für H200 GPUs zertifiziert sein.

4.2 Management-Server
Es sind zwei separate, identisch konfigurierte Management-Server in HA- Konfiguration mit der gleichen Hardware-Architektur wie die Rechenknoten geliefert und aufgesetzt werden. Diese dienen der Nutzerverwaltung, sowie der allgemeinen Administration des gesamten Systems (Konfiguration, Monitoring, Scheduling). Ein Zugang durch Nutzer zu diesen Servern ist nicht vorgesehen. Die Rechenleistung und Speicherausstattung dieser Server ist an die zu erledigenden Managementaufgaben anzupassen. Die Management-Server müssen an alle Netzwerke und Festplattensysteme innerhalb des Clusters angebunden sein.
Für die HA-Konfiguration dürfen keine Virtualisierungs-Systeme eingesetzt werden. Außerdem müssen die lokalen SSD-Speicher der Management Server gespiegelt werden und in das Backup- und Archivsystem des Auftraggebers eingebunden werden.

4.3 Frontend- und Postprocessing Server
Es müssen mindestens zwei Server geliefert und aufgesetzt werden, die als login (Frontend) Server sowie als Pre-und Postprocessing Server für die Nutzer bereitgestellt werden. Es ist sicherzustellen, dass die bestehende Nutzerschaft auf diesen Server komfortable Pre- und Postprocessing sowie die dazugehörigen grafischen Anwendungen betreiben können. In der Regelarbeitszeit arbeiten ca. 50 Nutzer gleichzeitig mit unterschiedlicher Intensität auf den Frontend- und Postprocessing-Servern. Die Anzahl der CPU-Cores, GPUs als auch der Speicher des Servers müssen entsprechend gewählt werden. Es ist geplant, diesen Server mit Linux-Terminal- Server Funktionalität auszustatten (NoMachine). Lizenzen für NoMachine sind auftraggeberseitig vorhanden.

4.4 Globale Filesysteme
Hardware (Festplattentausch bzw. SSD-Tausch), Software- und Konfigurationsarbeiten (zum Beispiel die Erhöhung von i-nodes) müssen im laufenden Betrieb möglich sein und damit die Nutzer nicht behindern. Die unten genannten Dateisysteme unter 4.4.1 und 4.4.2 müssen über konfigurierbare disk quotas und i-node quotas für Gruppen und Nutzer verfügen, die auf allen Knoten wirksam sind. Es müssen mindestens Hard- und Softlimits und "grace periods" unterstützt werden und konfigurierbar sein. Alle Dateisysteme müssen über ein verteiltes Filesystem (z.B. GPFS) auf allen Knoten des Gesamtsystems verfügbar sein. Die Bereitstellung der Dateisysteme versteht sich einschließlich der zum Betrieb notwendigen I/O und Metadaten Servern.

4.5 Netzwerke
Das System muss über die oben erwähnten Frontend und Management-Server nach außen mit mindestens 2x 10GBit/s pro Server mit Lastverteilung und Failover an das Hereon-Netzwerk angebunden werden. Zwei weitere Verbindungen müssen als Hot-Standby-Failover verfügbar sein. Die Rechenknoten und die notwendigen Server für die globalen Filesysteme sollen nicht direkt im Hereon-Netzwerk sichtbar sein.
Folgende Netzwerke müssen mit der notwendigen Infrastruktur eingerichtet werden:
- Ein cluster-internes Management-Netzwerk für die Steuerung und das Hardware- Monitoring aller Komponenten des Systems über deren Serviceprozessoren (z.B. IPMI 2.0) (Mindestbandbreite 1GBit/s).
- Konfigurations- und Monitoring Netzwerk für die Übermittlung von Jobs an die Rechenknoten und den allgemeinen Netzwerkverkehr der verschiedenen Client- Server Dienste. (Mindestbandbreite 1GBit/s).
- Hochgeschwindigkeitsnetzwerk mit geringer Latenz (Omni-Path oder Infiniband) zwischen allen Rechenknoten, Login-Knoten, Postprocessing-Servern, Management-Knoten und globalen Dateisystemen zur ausschließlichen Nutzung für Filesystem I/O und den MPI - Datenverkehr zwischen den Rechenknoten.
Mindestbandbreite pro Adapter 200 Gbit/s.

4.6 Serverschränke
Für das gesamte System werden Serverschränke mit netzwerkfähigen PDUs geliefert. Die PDUs sollen konfiguriert sein und ein Monitoring (Spannung, Stromstärke, Leistung für jeden Ein- und Ausgangsport) wird über ein geeignetes Managementtool eingerichtet. Die Serverschränke müssen den einschlägigen deutschen und europäischen Normen entsprechen (CE, DIN/VDE, ElekroG, EMV-Richtlinie).

Weitere Einzelheiten enthält die Leistungsbeschreibung, die bereits als Entwurf im Teilnahmewettbewerb zur Verfügung steht. Die Einzelheiten der Leistungsbeschreibung können sich im weiteren Verfahren noch ändern.

Liste und kurze Beschreibung der Auswahlkriterien

Wirtschaftliche und finanzielle Leistungsfähigkeit: WL. Eigenerklärung über die Erfüllung der Mindestanforderung in Bezug jährlichen Gesamtumsatz des Bewerbers in den letzten drei abgeschlossenen Geschäftsjahren

Das Hereon erwartet einen Mindestumsatz (Gesamtumsatz) von 5.000.000,00 EUR bzgl. des Gesamtumsatzes im Durchschnitt der letzten drei abgeschlossenen Geschäftsjahre. Bewerbungen mit einem durchgängig geringeren Umsatz werden von dem Vergabeverfahren ausgeschlossen (Mindestanforderung).

Liste und kurze Beschreibung der Bedingungen

Eignung zur Berufsausübung: PL1. Eigenerklärung zum Nichtvorliegen von Ausschlussgründen (§§ 123, 124 GWB)
PL2. Eigenerklärung zum Unternehmen
PL3. Eigenerklärung zum Bestehen einer Haftpflichtversicherung oder deren Abschluss im Auftragsfall
PL4. Eigenerklärung zum 5. EU-Sanktionspaket (RUS-Sanktionen)

Liste und kurze Beschreibung der Auswahlkriterien

Technische und berufliche Leistungsfähigkeit: TL1. Eigenerklärung über die Erfüllung der Mindestanforderung in Bezug auf die jahresdurchschnittlich beschäftigten Arbeitskräfte entsprechend der Definition des § 267 HGB in den letzten drei abgeschlossenen Geschäftsjahren. Der Bewerber muss mindestens 5 Mitarbeiter*innen im technischen Support pro Jahr (in jedem der letzten 3 abgeschlossenen Geschäftsjahre) beschäftigt haben (Mindestanforderung).

TL2. Die Bewerber haben mit ihrem Teilnahmeantrag vergleichbare Referenzen vorzulegen. Vergleichbar sind Referenzen, die Leistungen zum Gegenstand hatten, die mit dem geplanten Rechner vergleichbar sind. Darunter fallen insbesondere parallele Hochleistungsrechner mit Datenspeicher mit folgenden Eigenschaften: 540 Tera Flop mit 100 CPU Knoten, 5 GPU Knoten und eine Datenspeichergröße von 1 PebiByte.
.
Die Referenzprojekte müssen innerhalb der letzten 5 Jahre begonnen, durchgeführt oder abgeschlossen (nachweislich realisiert) worden sein. Bei Planungsreferenzen (abgeschlossene Planungen für parallele Hochleistungsrechner mit Datenspeicher) müssen diese bis zu dem Zeitpunkt der Abgabefrist für die Teilnahmeanträge nachweislich in der Realisierung befinden. Bitte reichen Sie nicht mehr als
fünf Referenzen ein und sortieren Sie diese nach ihrer Einschlägigkeit. Damit soll sichergestellt werden, dass der Bewerber die aus seiner Sicht maßgebliche Entscheidungsgrundlage für die Auswahl gegenüber Hereon bestimmt.

Im Fall von Bewerbergemeinschaften können entsprechende Angaben für die Bewerbergemeinschaft insgesamt abgegeben werden. Die Referenzen sind gemäß Formblatt aus den Bewerbungsunterlagen mit den dort genannten Angaben einzureichen. Hereon kann in Einzelfällen die Vorlage von Referenzbescheinigungen der Referenzauftraggeber verlangen.

b) Mindestanforderungen
Die Referenzen müssen folgende Mindestanforderungen erfüllen. Die Mindestanforderungen können in einer oder mehreren Referenzen erfüllt werden.
- Mindestens eine Referenz muss als Container-Lösung oder in einer vergleichbaren Einhausung (z.B. Trapezblech) umgesetzt worden sein; der Cluster muss in einen unabhängigen Container im Außenbereich installiert worden sein.
- Mindestens eine Referenz muss folgende technische Eigenschaften aufweisen: 540 Tera Flop mit 100 CPU Knoten, 5 GPU Knoten und eine Datenspeichergröße von 1 PebiByte
- Mindestens eine Referenz muss eine Wasserkühlung zum Gegenstand gehabt haben.
Werden die Mindestanforderungen nicht erfüllt, führt dies zum Ausschluss des Teilnahmeantrags.

Bedingungen für die Vertragserfüllung

Eigenerklärung DE Sanktionen 5k EU 2022_576_20220414.pdf"

Kriterien für die Auswahl der Bieter
Nach Prüfung der formellen Anforderungen, der vorzulegenden Angaben und Unterlagen zum Nichtvorliegen von Ausschlussgründen und der Eignung zur Berufsausübung, der Angaben und Unterlagen zur Feststellung der wirtschaftlichen und finanziellen Leistungsfähigkeit ist für die Bewertung der Eignung ausschließlich die technische und berufliche Leistungsfähigkeit entscheidend. Diese wird ausschließlich anhand der gemäß TL2 der EU-Auftragsbekanntmachung vorzulegenden Referenzen bewertet, sofern die Mindestanforderungen erfüllt sind.
a) Über die Referenzen
b) Mindestanforderungen
c) Wertung der Referenzen nach Erfüllung der Mindestanforderungen

Die oben genannten Punkte a)-c), verweisen wir auf Ziff. V.5 des Verfahrensbriefs 1. Aufgrund der begrenzten Zeichenanzahl sind diese ausführlich unter dem Punkte zusätzlich Informationen aufgelistet.

Bekanntmachungs-ID: CXU1YYDY1LQDT4X1


1. Die Bewerbungsunterlagen (Vordrucke und Formulare) können über die Vergabeplattform abgerufen werden. Die Verwendung der Bewerbungsunterlagen ist verbindlich. Sofern im Laufe des Vergabeverfahrens weitere Informationen oder Präzisierungen seitens hereon erforderlich werden sollten, werden diese Zusatzinformationen ebenfalls unter der dort genannten Internetadresse veröffentlicht. Die Bewerber müssen daher regelmäßig prüfen, ob unter der dort genannten Internetadresse weitere Informationen veröffentlicht wurden. Eine Registrierung bei der Vergabeplattform erleichtert den Zugang und ermöglicht Benachrichtigungen bei Bewerberinformationen.

2. Die in der Bekanntmachung und dem Entwurf der Leistungsbeschreibung enthaltenen Informationen dienen allein dem Zweck, Interessenten einen Eindruck zu verschaffen und eine Entscheidung über die Teilnahme am Verfahren zu ermöglichen. Abweichungen und Spezifizierungen im Laufe des Verfahrens bleiben vorbehalten.

3. Teilnahmeanträge (und später auch die Angebote) sind elektronisch über die Vergabeplattform zu übermitteln. Bis zum Ablauf der Bewerbungsfrist (bzw. später Angebotsfrist) sind die Teilnahmeanträge (bzw. später Angebote) verschlüsselt, so dass hereon keinen Zugriff auf sie hat. Dem Bieter steht es jedoch frei, seinen Teilnahmeantrag (bzw. später sein Angebot) bis zum Ablauf der Frist zu bearbeiten und neu hochzuladen oder zurückzuziehen.

4. Fremdsprachige Bescheinigungen oder Erklärungen sind in der Regel nur zu berücksichtigen, wenn sie mit Übersetzung in die deutsche Sprache vorgelegt worden sind. Hereon kann Ausnahmen zulassen.

5. Hereon behält sich vor, das Verfahren aus sachlichen Gründen, z.B. mangels Wirtschaftlichkeit, aufzuheben. Ersatz- oder Entschädigungsansprüche der Bewerber bzw. Bieter sind - soweit rechtlich zulässig - ausgeschlossen. Mit Einreichung seines Teilnahmeantrags stimmt der Bewerber dem zu.

6. Weitere Vergabeunterlagen einschließlich des Vertragswerks sowie der Zuschlagskriterien werden erst nach Abschluss des Teilnahmewettbewerbs an die ausgewählten Bieter ausgegeben.

7. Nach Eingang der Teilnahmeanträge und deren Auswertung erhalten die ausgewählten Bewerber die Vergabeunterlagen mit einer Einladung zu den Verhandlungsgesprächen zugesandt. Die Termine für die Verhandlungsgespräche werden gesondert mitgeteilt. Sie werden ggf. per Videokonferenz oder in Geesthacht stattfinden.

8. Durch die Stellung des Teilnahmeantrags verpflichtet sich der Bewerber, alle ihm ggf. übersandten Unterlagen vertraulich zu behandeln und den Geheimwettbewerb auch ansonsten zu wahren; dies gilt auch im Hinblick auf sein jeweiliges Angebot. Hereon ihrerseits wird Unterlagen der Bewerber nur für die Zwecke des Verfahrens verwenden. Die Bewerber haben mit ihrem Teilnahmeantrag eine diesbezügliche Vertraulichkeitserklärung abzugeben, die in den Bewerbungsunterlagen enthalten ist.

9. Bewerbergemeinschaften haben mit ihrem Teilnahmeantrag eine von allen Mitgliedern unterschriebene rechtsverbindliche Erklärung gemäß dem entsprechenden Formblatt der Bewerbungsunterlagen abzugeben und die dort genannten Anforderungen zu beachten. Sollte im Laufe des Verfahrens eine bestehende Bewerber-/ Bietergemeinschaft ihre Zusammensetzung verändern oder ein Einzelbewerber/ Einzelbieter das Verfahren in Bewerber-/ Bietergemeinschaft fortsetzen wollen, so ist dies nur mit ausdrücklicher schriftlicher Einwilligung des Kreises zulässig. Die Einwilligung wird jedenfalls nicht erteilt, wenn durch die Veränderung der Wettbewerb wesentlich beeinträchtigt wird oder die Veränderung Auswirkungen auf die Fachkunde und Leistungsfähigkeit hat. Dies gilt entsprechend für Nachunternehmer.

10. Hereon behält sich vor, die Bewerber oder Bieter unter Einhaltung der Grundsätze der Transparenz und der Gleichbehandlung aufzufordern, fehlende, unvollständige oder fehlerhafte unternehmensbezogene Unterlagen, insbesondere Eigenerklärungen, Angaben, Bescheinigungen oder sonstige Nachweise, nachzureichen, zu vervollständigen oder zu korrigieren, oder fehlende oder unvollständige leistungsbezogene Unterlagen nachzureichen oder zu vervollständigen.

11. Die Bewerber bzw. Bieter werden aufgefordert, die Teile ihres Teilnahmeantrags bzw. ihres Angebots, die berechtigterweise Betriebs- oder Geschäftsgeheimnisse beinhalten, auf jeder betreffenden Seite deutlich zu kennzeichnen (§ 165 Abs. 2, 3 GWB). Geschieht dies nicht, kann die Vergabekammer/ die Rechtsbehelfsinstanz im Falle eines Vergabenachprüfungsverfahrens von der Zustimmung des jeweiligen Bewerbers bzw. Bieters auf Einsicht durch andere Verfahrensbeteiligte ausgehen.

12. Hereon wird sich im Laufe des Verfahrens vorbehalten, anhand der Zuschlagskriterien eine Zwischenauswahl derjenigen Bieter vorzunehmen, mit denen das Verfahren fortgesetzt werden soll. Für diese Zwischenauswahl muss es hinreichend wahrscheinlich sein, dass die Verhandlungen nach Maßgabe der Zuschlagskriterien und nach den vorgegebenen Anforderungen mit Blick auf eine etwaige Zuschlagserteilung aussichtsreich erscheinen; die übrigen Bieter werden - nach Wahl von hereon - zurückgestellt oder scheiden aus. Hereon behält sich in jedem Verfahrensstadium auch ausdrücklich vor, einen oder mehrere "bevorzugte(n) Bieter" auszuwählen und mit diesem/ diesen exklusiv zu verhandeln. Weitere Einzelheiten hierzu wird der Verfahrensbrief 1 enthalten, der nach Abschluss des Teilnahmewettbewerbs ausgegeben wird.


Die Rechnungen sind mit durch die Anlieferungsstelle bestätigtem Lieferschein bei der Helmholtz-Zentrum hereon GmbH ausschließlich elektronisch gem. dem beiliegenden Dokument ("Anschreiben Lieferanten deutsch xRechnung") zu übermitteln. Die Bestellnummern sind auf dem Lieferschein sowie auf der Rechnung zu vermerken. Auf der Rechnung müssen zudem die Vergabenummer und das Lieferdatum vermerkt sein.
Schriftwechsel zu Rechnungen ist ausschließlich per E-Mail über kreditor@hereon.de zu führen.

Hereon: Leitweg-ID 992-80187-74

Genaue Informationen über Fristen für Überprüfungsverfahren

- § 134 Abs. 2 GWB - Informations- und Wartepflicht: Ein Vertrag darf erst 15 Kalendertage nach Absendung der Information nach § 134 Abs. 1 GWB geschlossen werden. Wird die Information auf elektronischem Weg oder per Fax versendet, verkürzt sich die Frist auf 10 Kalendertage. Die Frist beginnt am Tag nach der Absendung der Information durch den Auftraggeber; auf den Tag des Zugangs beim betroffenen Bieter und Bewerber kommt es nicht an.
- Das Vergabeverfahren unterliegt den Vorschriften über das Nachprüfungsverfahren vor der Vergabekammer (§ 155 ff. GWB). Gemäß § 160 Abs. 3 GWB ist der Antrag unzulässig, soweit:
1. der Antragsteller den geltend gemachten Verstoß gegen Vergabevorschriften vor Einreichen des Nachprüfungsantrags erkannt und gegenüber dem Auftraggeber nicht innerhalb einer Frist von 10 Kalendertagen gerügt hat; der Ablauf der Frist nach § 134 Abs. 2 GWB bleibt unberührt,
2. Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, nicht spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem Auftraggeber gerügt werden,
3. Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, nicht spätestens bis zum Ablauf der Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem Auftraggeber gerügt werden,
4. mehr als 15 Kalendertage nach Eingang der Mitteilung des Auftraggebers, einer Rüge nicht abhelfen zu wollen, vergangen sind. Der vorstehende Satz gilt nicht bei einem Antrag auf Feststellung der Unwirksamkeit des Vertrags nach § 135 Abs. 1 Nr. 2 GWB. § 134 Abs. 1 Satz 2 GWB bleibt unberührt.