3.0+34
Ausführung manueller Tests mit QF-Test
Einführung
QF-Test ist in erster Linie ein Werkzeug, das GUI Tests erstellt und automatisiert auszuführt. Jedoch ist es nicht immer möglich - oder wirtschaftlich - die Tests vollständig zu automatisieren, deshalb gibt es in neben dem automatisierten Testen auch manuelle Testfälle, die auszuführen sind. Eine der größten Herausforderungen in Testprojekten ist die gemeinsame Aufbereitung der automatisierten und manuellen Testergebnisse. Eine solche gemeinsame Aufbereitung ist sehr nützlich, um einen Gesamtüberblick über die Testausführung zu erhalten. QF-Test bietet nun die Möglichkeit Ergebnisse von manuellen und auch von automatisierten Tests gemeinsam anzuzeigen.
Die Schritte eines manuellen Tests müssen hierfür an einer bestimmten
Stelle definiert werden. Der ManualTestRunner von QF-Test
liefert hierfür eine Excel-Datei. Diese Testsuite sowie eine
beispielhafte Excel-Datei finden Sie im Verzeichnis
demo/manualtester im QF-Test Installationsverzeichnis.
Der Testdesigner muss nun die einzelnen Schritte des Tests in
der Excel-Datei definieren, inklusive des erwarteten Ergebnisses. Nach
Ausführung des manuellen Tests von QF-Test aus, liefert QF-Test sowohl
das Protokoll als auch HTML-Report und zusätzlich noch eine neue
Excel-Datei, die die entsprechenden Ergebnisse beinhaltet.
Für eine genauere Beschreibung siehe Abschnitt 34.2.
Der Dialog zur Testausführung, der ManualStepDialog, sieht wie folgt aus:
Der Titel des Dialoges beinhaltet den Namen des Testfalles. Die ersten zwei Textfelder enthalten die Beschreibung des manuellen Schrittes sowie das erwartete Ergebnis. Nach Ausführung des Testschrittes muss der Tester nun angeben, ob dieser erfolgreich war oder nicht. Falls der Testschritt nicht erfolgreich gewesen sein sollte, so muss der Tester ein erhaltenes Ergebnis dokumentieren. Sie können diesen Dialog auch für Ihre eigenen Ansätze verwenden, siehe Abschnitt 57.1.
Schritt-für-Schritt Anleitung
Bitte führen Sie folgende Schritte auf dem System aus, wo Sie einen manuellen Test von QF-Test aus starten:
- Kopieren Sie die Excel-Datei von
qftest-9.0.0/demo/manualtester/SampleTestDescription.xlsxin ein projektspezifisches Verzeichnis. Wie empfehlen auf jedem Testsystem den selben Pfad zu verwenden, vielleicht ein Netzlaufwerk. - Kopieren Sie auch die Ausführungstestsuite von
qftest-9.0.0/demo/manualtester/ManualTestRunner.qftin ein projektspezifisches Verzeichnis. Womöglich sollten Sie diese auch umbenennen. - Öffnen Sie die Excel-Datei und definieren Sie die Testschritte.
- Nachdem Sie die Änderungen der Excel-Datei abgespeichert haben, müssen Sie die
Ausführungstestsuite öffnen und die globale Variable
testFileanpassen, um die projektspezifische Excel-Datei einzulesen. - Schalten Sie den QF-Test Debugger aus. Dieser würde Sie nur während der Ausführung der Tests behindern.
- Selektieren Sie nun den Testsuite Knoten und starten Sie die Testsuite mittels des "Wiedergabe starten" Knopfes.
- QF-Test wird nun die Daten aus der Excel-Datei einlesen und einen Dialog mit dem ersten Testschritt anzeigen.
- Geben Sie das erhaltene Ergebnis ein und fahren Sie mit der Ausführung der nächsten Schritte fort.
- Am Ende der Testausführung erzeugt QF-Test eine neue Excel-Datei mit den erhaltenen Ergebnissen. Sie können von QF-Test aus nun auch das QF-Test Protokoll speichern oder den HTML-Report erzeugen.
Bitte beachten Sie auch die Kommentare in der Ausführungstestsuite und in der Excel-Datei. Sie können dieses Konzept natürlich auch an Ihre eigenen Anforderungen anpassen und sogar nur bestimmte Tests starten.
Aufbau der Excel-Datei
Die Excel-Datei hat eine bestimmte Struktur, um einen manuellen Testfall so flexibel wie möglich zu beschreiben. Hier folgt eine genauere Beschreibung der einzelnen Spalten:
| Spalte | Beschreibung |
|---|---|
| TestCase | Ein eindeutiger Bezeichner für jeden Testfall. Wird kein Bezeichner definiert, so ist der Schritt Teil des vorherigen Testfalles. |
| Type of Test | Eine optionale Beschreibung des Types des Testfalles, z.B. funktionaler Test oder Benutzerfreundlichkeits-Test. |
| Comment | Ein individueller Kommentar zu jedem Testfall. Dieser Kommentar wird als Anmerkung im QF-Test Protokoll angezeigt. |
| Short Description | Eine Kurzbeschreibung des Testfalles. |
| Step Description | Eine genauere Beschreibung des manuellen Testschrittes. |
| Expected Result | Eine Beschreibung des erwarteten Ergebnisses. |
Die Excel-Datei, welche dann die Ergebnisse der manuellen Testausführung beinhaltet, hat noch zwei zusätzliche Spalten:
| Spalte | Beschreibung |
|---|---|
| Received Result | Das Ergebnis, welches der Tester während der Testausführung erhalten hat. Dieses Ergebnis muss gesetzt sein, wenn der Testfall fehl schlägt. |
| State | Der Status des Testfalles: PASSED, FAILED, CANCELED bzw. SKIPPED. |
Die Ausführungstestsuite
Die Ausführungstestsuite ManualTestRunner.qft beinhaltet ein paar
globale Variablen, um die Ausführung zu steuern. Variablen, die hier
nicht aufgeführt werden, werden von der Testsuite intern genutzt und
sollten nicht verändert werden. Hier folgt eine Beschreibung
dieser Variablen:
| Globale Variable | Beschreibung |
|---|---|
| testFile | Der Pfad zur Excel-Datei mit den Testschritten. |
| testSheet | Der Tabellenblatt der Excel-Datei, welche die Testschritte beinhaltet. |
| resultSheet | Der Name des Tabellenblattes, in welches die Ergebnisse geschrieben werden sollen. |
| tests | Eine Liste von Tests, die ausgeführt werden sollen. Wenn Sie
diese Variable leer lassen, werden alle Tests aus der Excel-Datei
ausgeführt. Falls Sie z.B. nur Test 5 und 6 ausführen wollen, dann können Sie
diese Variable auf 5,6 oder 5-6 setzen. Es ist sogar
möglich, Bereiche zu definieren - wie z.B. 1,3-5,7 um die Tests 1,
3, 4, 5 and 7, zu starten. |
| defaultState | Der vorbelegte Status, wenn der Dialog erscheint. Er kann entweder auf PASSED oder FAILED gesetzt werden. Jeder andere Status wird auf FAILED konvertiert. |
| testCaseColumn | Die Überschrift der Spalte für die Testfallnummer. |
| commentColumn | Die Überschrift der Spalte für den Kommentar. |
| shortDescColumn | Die Überschrift der Spalte für Kurzbeschreibung des Testschrittes. |
| stepDescColumn | Die Überschrift der Spalte für die detaillierte Beschreibung des Testschrittes. |
| expResultColumn | Die Überschrift der Spalte für das erwartete Ergebnis. |
| recResultColumn | Die Überschrift der Spalte für das erhaltene Ergebnis. |
| stateColumn | Die Überschrift der Spalte für den Status des Testschrittes. |
Die möglichen Zustände
Ausgeführte Testschritte können auf folgende Zustände gesetzt werden:
| Resultat | Beschreibung |
|---|---|
| PASSED | Der Testschritt war erfolgreich. |
| FAILED | Der Testschritt war nicht erfolgreich. |
| CANCELED | Der Testschritt wurde abgebrochen. |
| SKIPPED | Der Testschritt wurde übersprungen. |