3.0+33
Ausführung manueller Tests mit QF-Test

Einführung

QF-Test ist in erster Linie ein Werkzeug, das GUI Tests erstellt und automatisiert auszuführt. Jedoch ist es nicht immer möglich - oder wirtschaftlich - die Tests vollständig zu automatisieren, deshalb gibt es in neben dem automatisierten Testen auch manuelle Testfälle, die auszuführen sind. Eine der größten Herausforderungen in Testprojekten ist die gemeinsame Aufbereitung der automatisierten und manuellen Testergebnisse. Eine solche gemeinsame Aufbereitung ist sehr nützlich, um einen Gesamtüberblick über die Testausführung zu erhalten. QF-Test bietet nun die Möglichkeit Ergebnisse von manuellen und auch von automatisierten Tests gemeinsam anzuzeigen.

Die Schritte eines manuellen Tests müssen hierfür an einer bestimmten Stelle definiert werden. Der ManualTestRunner von QF-Test liefert hierfür eine Excel-Datei. Diese Testsuite sowie eine beispielhafte Excel-Datei finden Sie im Verzeichnis demo/manualtester im QF-Test Installationsverzeichnis. Der Testdesigner muss nun die einzelnen Schritte des Tests in der Excel-Datei definieren, inklusive des erwarteten Ergebnisses. Nach Ausführung des manuellen Tests von QF-Test aus, liefert QF-Test sowohl das Protokoll als auch HTML-Report und zusätzlich noch eine neue Excel-Datei, die die entsprechenden Ergebnisse beinhaltet. Für eine genauere Beschreibung siehe Abschnitt 33.2.

Der Dialog zur Testausführung, der ManualStepDialog, sieht wie folgt aus:

ManualStepDialog
Abbildung 33.1:  Beispiel für einen ManualStepDialog

Der Titel des Dialoges beinhaltet den Namen des Testfalles. Die ersten zwei Textfelder enthalten die Beschreibung des manuellen Schrittes sowie das erwartete Ergebnis. Nach Ausführung des Testschrittes muss der Tester nun angeben, ob dieser erfolgreich war oder nicht. Falls der Testschritt nicht erfolgreich gewesen sein sollte, so muss der Tester ein erhaltenes Ergebnis dokumentieren. Sie können diesen Dialog auch für Ihre eigenen Ansätze verwenden, siehe Abschnitt 56.1.

Schritt-für-Schritt Anleitung

Bitte führen Sie folgende Schritte auf dem System aus, wo Sie einen manuellen Test von QF-Test aus starten:

  • Kopieren Sie die Excel-Datei von qftest-8.0.1/demo/manualtester/SampleTestDescription.xlsx in ein projektspezifisches Verzeichnis. Wie empfehlen auf jedem Testsystem den selben Pfad zu verwenden, vielleicht ein Netzlaufwerk.
  • Kopieren Sie auch die Ausführungstestsuite von qftest-8.0.1/demo/manualtester/ManualTestRunner.qft in ein projektspezifisches Verzeichnis. Womöglich sollten Sie diese auch umbenennen.
  • Öffnen Sie die Excel-Datei und definieren Sie die Testschritte.
  • Nachdem Sie die Änderungen der Excel-Datei abgespeichert haben, müssen Sie die Ausführungstestsuite öffnen und die globale Variable testFile anpassen, um die projektspezifische Excel-Datei einzulesen.
  • Schalten Sie den QF-Test Debugger aus. Dieser würde Sie nur während der Ausführung der Tests behindern.
  • Selektieren Sie nun den Testsuite Knoten und starten Sie die Testsuite mittels des "Wiedergabe starten" Knopfes.
  • QF-Test wird nun die Daten aus der Excel-Datei einlesen und einen Dialog mit dem ersten Testschritt anzeigen.
  • Geben Sie das erhaltene Ergebnis ein und fahren Sie mit der Ausführung der nächsten Schritte fort.
  • Am Ende der Testausführung erzeugt QF-Test eine neue Excel-Datei mit den erhaltenen Ergebnissen. Sie können von QF-Test aus nun auch das QF-Test Protokoll speichern oder den HTML-Report erzeugen.

Bitte beachten Sie auch die Kommentare in der Ausführungstestsuite und in der Excel-Datei. Sie können dieses Konzept natürlich auch an Ihre eigenen Anforderungen anpassen und sogar nur bestimmte Tests starten.

Aufbau der Excel-Datei

Die Excel-Datei hat eine bestimmte Struktur, um einen manuellen Testfall so flexibel wie möglich zu beschreiben. Hier folgt eine genauere Beschreibung der einzelnen Spalten:

SpalteBeschreibung
TestCaseEin eindeutiger Bezeichner für jeden Testfall. Wird kein Bezeichner definiert, so ist der Schritt Teil des vorherigen Testfalles.
Type of TestEine optionale Beschreibung des Types des Testfalles, z.B. funktionaler Test oder Benutzerfreundlichkeits-Test.
CommentEin individueller Kommentar zu jedem Testfall. Dieser Kommentar wird als Anmerkung im QF-Test Protokoll angezeigt.
Short DescriptionEine Kurzbeschreibung des Testfalles.
Step DescriptionEine genauere Beschreibung des manuellen Testschrittes.
Expected ResultEine Beschreibung des erwarteten Ergebnisses.
Tabelle 33.1:  Beschreibung der Excel-Datei für die Testdefinition

Die Excel-Datei, welche dann die Ergebnisse der manuellen Testausführung beinhaltet, hat noch zwei zusätzliche Spalten:

SpalteBeschreibung
Received ResultDas Ergebnis, welches der Tester während der Testausführung erhalten hat. Dieses Ergebnis muss gesetzt sein, wenn der Testfall fehl schlägt.
StateDer Status des Testfalles: PASSED, FAILED, CANCELED bzw. SKIPPED.
Tabelle 33.2:  Beschreibung der Excel-Datei für die Testergebnisse

Die Ausführungstestsuite

Die Ausführungstestsuite ManualTestRunner.qft beinhaltet ein paar globale Variablen, um die Ausführung zu steuern. Variablen, die hier nicht aufgeführt werden, werden von der Testsuite intern genutzt und sollten nicht verändert werden. Hier folgt eine Beschreibung dieser Variablen:

Globale VariableBeschreibung
testFileDer Pfad zur Excel-Datei mit den Testschritten.
testSheetDer Tabellenblatt der Excel-Datei, welche die Testschritte beinhaltet.
resultSheetDer Name des Tabellenblattes, in welches die Ergebnisse geschrieben werden sollen.
testsEine Liste von Tests, die ausgeführt werden sollen. Wenn Sie diese Variable leer lassen, werden alle Tests aus der Excel-Datei ausgeführt. Falls Sie z.B. nur Test 5 und 6 ausführen wollen, dann können Sie diese Variable auf 5,6 oder 5-6 setzen. Es ist sogar möglich, Bereiche zu definieren - wie z.B. 1,3-5,7 um die Tests 1, 3, 4, 5 and 7, zu starten.
defaultStateDer vorbelegte Status, wenn der Dialog erscheint. Er kann entweder auf PASSED oder FAILED gesetzt werden. Jeder andere Status wird auf FAILED konvertiert.
testCaseColumnDie Überschrift der Spalte für die Testfallnummer.
commentColumnDie Überschrift der Spalte für den Kommentar.
shortDescColumnDie Überschrift der Spalte für Kurzbeschreibung des Testschrittes.
stepDescColumnDie Überschrift der Spalte für die detaillierte Beschreibung des Testschrittes.
expResultColumnDie Überschrift der Spalte für das erwartete Ergebnis.
recResultColumnDie Überschrift der Spalte für das erhaltene Ergebnis.
stateColumnDie Überschrift der Spalte für den Status des Testschrittes.
Tabelle 33.3:  Beschreibung der globalen Variablen in der ManualTestRunner Testsuite

Die möglichen Zustände

Ausgeführte Testschritte können auf folgende Zustände gesetzt werden:

ResultatBeschreibung
PASSEDDer Testschritt war erfolgreich.
FAILEDDer Testschritt war nicht erfolgreich.
CANCELEDDer Testschritt wurde abgebrochen.
SKIPPEDDer Testschritt wurde übersprungen.
Tabelle 33.4:  Mögliche Zustände der manuellen Testausführung