Liste und kurze Beschreibung der Auswahlkriterien
Technische und Berufliche Leistungsfähigkeit
K5 [B] Vorlage von maximal 3 Referenzen nicht älter als 5 Jahre, aus denen die Erfahrung des Bewerbers mit der Bereitstellung und dem Betrieb einer im Sinne der Leistungsbeschreibung vergleichbaren Testumgebung in einem Softwareentwicklungsprojekt hervorgeht. Die Wertung erfolgt auf Basis der genannten Unterkriterien K5.1 bis K5.12.
K5.1 [B] 3 Punkte | Erfolgte die technische Konzeption dieser Testumgebung durch den Bewerber?
K5.2 [B] 3 Punkt | Erfolgte die Bereitstellung / Aufbau dieser Testumgebung durch den Bewerber?
K5.3 [B] 3 Punkte | Welche Verfügbarkeit wurde für diese Testumgebung vertraglich vereinbart?
K5.4 [B] 3 Punkte | Wurde durch den Bewerber ein Service Desk für diese Testumgebung bereitgestellt?
K5.5 [B] 3 Punkte | Wie viele Nutzer haben auf dieser Testumgebung getestet?
K5.6 [B] 3 Punkte | Wie erfolgte der Zugriff auf diese Testumgebung?
K5.7 [B] 3 Punkte | War ein ESB Bestandteil dieser Testumgebung?
K5.8 [B] 3 Punkte | War Java EE Application Server Bestandteil dieser Testumgebung?
K5.9 [B] 3 Punkte | Wurde die Testumgebung auf einer virtualisierten Plattform bereitgestellt?
K5.10 [B] 5 Punkte | Erfolgte ein Deployment von Containern in diese Testumgebung?
K5.11 [B] 5 Punkte | Kam in dieser Testumgebung eine Datenbank zum Einsatz?
K5.12 [B] 5 Punkte | Kam in dieser Testumgebung als Betriebssystem Red Hat Enterprise Linux (RHEL) und Microsoft Server 2019 zum Einsatz?
K6 [B]: Vorlage von Referenzen, nicht älter als 5 Jahre, aus denen die Erfahrung des Bewerbers mit dem Testmanagement im Sinne der Leistungsbeschreibung in einem agil geführten Softwareentwicklungsprojekt hervorgeht. Der Bewerber hat mit dem Referenzprojekt seine Verantwortung für das Testmanagement nachzuweisen. Die Wertung erfolgt auf Basis der Unterkriterien K6.1 bis K6.3.
K6.1 [B] 5 Punkte | Zahl der Manntage in diesem Projekt, die für die Durchführung des Testmanagements durch den Testmanager des Bewerbers selbst erbracht wurden.
K6.2 [B] 2 Punkte | Welche Tools für das Testmanagement hat der Bewerber in diesem Projekt eingesetzt?
K6.3 [B] 5 Punkte | Wie viele Tester und Test-Analysten wurden vom Testmanager des Bewerbers in diesem Projekt geführt?
K7 [B]: Vorlage von maximal 3 Referenzen, aus denen die Erfahrung des Bewerbers mit der Durchführung von Tests im Sinne der Leistungsbeschreibung in einem agil geführten Softwareentwicklungsprojekt hervorgeht. Bewertet werden die nachfolgend genannten Tätigkeiten/Leistungsaspekte im Rahmen einer Gesamtschau und im Vergleich mit dem Projekt gefa. Die Wertung erfolgt auf Basis der Unterkriterien K7.1 bis K7.11.
K7.1 [B]: 5 Punkte | Zahl der Manntage in diesem Projekt, die für die Durchführung von Tests durch die Tester bzw. Test-Analysten des Bewerbers selbst erbracht wurden.
K7.2 [B]: 7 Punkte | Welche Art von Tests hat der Bewerber in diesem Projekt selbst durchgeführt? Welche Tools wurde dabei eingesetzt?
K7.3 [B]:15 Punkte | Wie hoch war der Automatisierungsgrad bei den vom Bewerber in diesem Projekt selbst durchgeführten Tests, d.h. wie viel Prozent der Testfälle liefen automatisiert ab?
K7.4 [B]: 3 Punkte | Wie hoch war die fachliche Testabdeckung der vom Bewerber selbst durchgeführten Tests in Prozent in Bezug auf alle Anforderungen in diesem Projekt?
K7.5 [B]: 3 Punkte | Wurden vom Bewerber statische Code Analysen in diesem Projekt selbst durchgeführt? Falls ja, mit welchem/n Tool/s?
K7.6 [B]: 3 Punkte | Wurden UI-Tests mit einschlägigen Testwerkzeugen (bspw. TestFX, QF-Test) in diesem Projekt automatisiert vom Bewerber selbst durchgeführt? Falls ja, mit welchem/n Tool/s?
K7.7 [B]: 3 Punkte | Wurden in diesem Projekt durch den Bewerber selbst SOAP- und REST-basierte Web-Services mit einschlägigen Testwerkzeugen (wie z.B. SoapUI) getestet?
Falls ja, mit welchem/n Tool/s?
K7.8 [B]: 5 Punkte | Waren in diesem Projekt vom Bewerber selbst Container-basierte Applikationen mit Microservices zu testen?
K7.9 [B]: 3 Punkte | Waren in diesem Projekt vom Bewerber selbst die Testfälle für eine Anwendung zu erstellen, die in Java bzw. Java FX entwickelt wurde?
K7.10 [B]: 3 Punkte | Hat der Bewerber in diesem Projekt eine CI/CD-Pipeline genutzt? Falls ja, mit welchem/n Tool/s?
K7.11 [B]: 3 Punkte | Hat der Bewerber in diesem Projekt Unit-Tests mit Test-Framework(s) (Programmbibliotheken) selbst durchgeführt? Falls ja, geben Sie bitte an, welche Test-Frameworks für welche Testzwecke eingesetzt wurden.
K8 [B]: Vorlage von maximal 3 Referenzen, nicht älter als 5 Jahre, bei denen die Durchführung von Tests zum Nachweis der Barrierefreiheit und Ergonomie im Sinne der Leistungsbeschreibung im Rahmen eines agilen Softwareentwicklungsprojektes Gegenstand der Beauftragung war. Die Wertung erfolgt auf Basis der Unterkriterien K8.1 bis K8.8.
K8.1 [B]: Handelt es sich bei dieser Referenz um eine Client-/Server-Anwendung, bei der anteilig eine festinstallierte Softwareapplikation auf dem Client läuft? Hinweis: Bei einer rein Web-basierten Lösung werden die Kriterien K8.2 bis K8.5 nicht gewertet (Mindestvoraussetzung)
K8.2 [B]: 5 Punkte | Aufwand für die Vorbereitung und Durchführung von Tests von Anforderungen an die Ergonomie (usability) bei dieser Referenz. Es zählen ausschließlich die für die Vorbereitung und Durchführung der Ergonomietests vom Bewerber selbst erbrachten Manntage.
K8.3 [B]: 5 Punkte | Aufwand für die Vorbereitung und Durchführung von Tests von Anforderungen an die Barrierefreiheit. Es zählen ausschließlich die für die Vorbereitung und Durchführung der Barrierefreiheitstests vom Bewerber selbst erbrachten Manntage.
K8.4 [B]: 2 Punkte | Wurde die entwickelte Software vom Bewerber selbst mit einer Spracheingabesoftware getestet?
K8.5 [B]: 3 Punkte | Wurde die Software vom Bewerber selbst mit einem Screenmagnifier (Vergrößerungssoftware) getestet?
K8.6 [B]: 4 Punkte | Wurde die Software vom Bewerber selbst mit einem Screenreader getestet?
K8.7 [B]: 3 Punkte | Wurde die Software vom Bewerber selbst mit Braillezeile getestet?
K8.8 [B]: 3 Punkte | Kamen weitergehende Testwerkzeuge zur Überprüfung der Anforderungen an die Barrierefreiheit, die der Bewerber selbst genutzt hat, zum Einsatz? Falls ja, mit welchem/n Tool/s?
K9 [A]: Es sind durchschnittlich mindestens 100 fest angestellte Mitarbeiter des Bewerbers in den vergangenen 3 Kalenderjahren (2017, 2018 und 2019) in agilen Softwareentwicklungsprojekten in den Bereichen Test und Abnahme als Tester, Test-Analysten oder Testmanager im Sinne der Leistungsbeschreibung tätig gewesen. Bei Bewerbergemeinschaften genügt es, wenn ihre Mitglieder insgesamt die vorstehend geforderte Anzahl an Mitarbeiter erreichen.
K9.1 [B]:20 Punkte | Erklärung zur durchschnittlichen Anzahl an fest angestellten Mitarbeitern des Bewerbers, die in den vergangenen 3 Kalenderjahren (2017, 2018 und 2019) in agilen Softwareentwicklungsprojekten in den Bereichen Test und Abnahme im Sinne der Leistungsbeschreibung tätig waren.
K10 [B]:10 Punkte | Anzahl an fest angestellten Mitarbeitern des Bewerbers, die zum Zeitpunkt der Abgabe des Teilnahmeantrags über eine ISTQB-Zertifizierung verfügen.