QF-Test bei der Österreichischen Beamtenversicherung

Ausgangssituation

Die Österreichische Beamtenversicherung (ÖBV) beschloss 2013 ein genau auf ihre Bedürfnisse zugeschnittenes IT System zur Bearbeitung der Kernprozesse in der Versicherungsbestandsführung und Leistungsbearbeitung einzuführen. Dieses System basierend auf Java Swing/AWT wurde in Zusammenarbeit mit einem externen Softwaredienstleister realisiert und ging im Juli 2016 live.

Es war geplant nach dem GoLive mit kurzen Release Zyklen zu starten, um auf Änderungen und neue Funktionen rasch reagieren zu können.

Kurze Releasezyklen erzeugen erheblichen Testbedarf:

  • Abnahmetests der realisierten Tickets
  • Regressionstests zur Sicherstellung der Qualität der bestehenden Funktion
  • Sanity & Smoke-Tests nach Deployments in Test- und Qualitätssicherungsumgebung sowie Betrieb.

Den Fachabteilungen stehen nicht dauerhaft die notwendigen Kapazitäten für eine vollständige Testabdeckung zur Verfügung, um die Tests komplett zu übernehmen.

Die IT-Abteilung ist für den Betrieb des Testautomatisierungswerkzeugs QF-Test verantwortlich.

Zielsetzung

Da es sich um fachlich hochspezifische Themen für die Testautomatisierung handelt, ergab sich die Frage: In welcher Abteilung sollen die Tests erstellt werden?

  • Soll sich die Fachabteilung das Wissen über das Testtool aneignen oder
  • soll sich die IT-Abteilung Mitarbeiter mit Fachwissen ins Boot holen?

Die ÖBV entschied sich für folgende Lösung: Das IT-Wissen bleibt in der IT-Abteilung und das Fachwissen in der Versichungsfachabteilung, koordiniert durch den Testautomatisierungskoordinator. Die Schnittstelle soll seitens der Fachabteilung sehr einfach zu bedienen sein.

Umsetzung

Aufgrund knapper Personalressourcen wird der Testautomatisierungskoordinator der ÖBV einerseits von Q_PERIOR hinsichtlich des Testmanagements und von Erler Consulting International für das Test Engineering unterstützt.

Testautomatisierungskoordinator zwischen Fachabteilung und IT

Die versicherungsspezifische Fachabteilung definiert Testfälle inklusive der Testparameter, die an den Testautomatisierungskoordinator weitergeleitet werden. Dieser erstellt auf deren Grundlage die Tests in Excel-Dateien, die dann vom Automatisierungswerkzeug QF-Test anhand der Schlüsselwörter (Keywords) und deren Parameter abgearbeitet werden.

Technische Realisierung

Es wurde eine technische Lösung gewählt, die

  • es für technisch nicht versierte Benutzer ermöglicht, einfach Testfälle in Excel zu erstellen, zu kopieren etc.
  • alle Screens der Versicherungssoftware abdeckt bzw. ansteuert
  • einfach zwischen den Testumgebungen umschalten kann.

Es handelt sich um Schlüsselwort-basierte bzw. Keyword-driven Tests. Dabei werden die Aktionen des Anwenders auf der Anwendung (z.B. Mausklicks, Texteingaben, Textprüfungen) im Testautomatisierungstool QF-Test als Prozeduren abgebildet. Sie werden vom Test Engineering dem Testautomatisierungskoordinator als Schlüsselwörter zur Verfügung gestellt, der sie in Excel zu Testfällen zusammensetzt.

Die einzelnen Testfälle werden in einer weiteren Excel-Datei zu Testszenarien zusammengesetzt. In diesen Teststeuerungsdateien wird definiert, welche Testfälle im jeweiligen Testszenario ausgeführt werden.

Die Schlüsselwort-spezifischen Parameter können entweder direkt beim Keyword in der Testfalldatei oder in einer eigenen Excel-Datendatei jeweils für einen kompletten Anwendungsdialog angegeben werden.

Die Teststeuerungsdatei wird pro Testfall für den Bericht um Datum, Uhrzeit und das Ergebnis des Tests ergänzt. Außerdem steht der QF-Test HTML-Bericht mit einer graphischen Anzeige des Gesamtergebnisses zur Verfügung. Detaillierte QF-Test Protokolle können vom Test Engineering für die Fehleranalyse genutzt werden.

Fazit

Mit dieser Lösung kann jede Abteilung ihre spezialisierten Aufgaben erledigen. Im ersten Schritt wurden alle Smoke-Tests (Tests zur grundlegenden Funktionsabdeckung der Applikation), die bisher von den Fachabteilungen manuell durchgeführt wurden, automatisiert.

Für die ÖBV ergeben sich folgende Vorteile:

  • Ersparnis von 5-10 PT pro Release gegenüber manueller Testaufwände
  • stabile Qualität
  • Automatisierte Generierung von Testdaten

Zug um Zug werden weitere Tests erstellt, die nach jedem Deployment in Form von Regressionstests durchgeführt werden sollen.

 

Testmanagement:Q_PERIOR AG 
Das IT-Consultinghaus Q_PERIOR unterstützte hinsichtlich des Testmanagements. Dies umfasste von der Ableitung der Teststrategie aus der Risikobetrachtung und Erstellung des Testkonzepts alle Tätigkeiten wie Erstellung der Testpläne und deren Umsetzung, Planung und Steuerung aller Tests bis hin zur Koordination der Testfallerstellung, Testdurchführung und Testressourcen.

Test Engineering: Erler Consulting International GmbH
Das Test Engineering erfolgte durch Erler Consulting International GmbH, vertreten durch Ute Erler. Dies schloss die Planung und Programmierung der Keywortverarbeitung, Ausprogrammierung der Schlüsselwörter und Strukturierung der Testszenarien ein. Im laufenden Betrieb unterstützt sie bei der Fehleranalyse der durchgeführten Testfälle.