Evaluation von QF-Test bei CoreMedia

Vergleich QF-Test mit WinRunner

Einführung

QF-Test ist ein GUI Testtool, das in Java geschrieben ist und Jython als Skripting Sprache hat. Im Dezember 2005 bzw. Januar 2006 evaluierten wir dieses Tool, das als neues GUI Werkzeug für den Swing Editor unseres CMS-Produktes dienen könnte. Dieses Dokument enthält die Information, die die Entscheidung für oder gegen das neue GUI Testtool begründet.

Ziel

Das Ziel des Evaluationsprozesses war zu entscheiden, ob wir WinRunner (zumindest für weitere Entwicklung) durch QF-Test als neues GUI Testwerkezug ersetzen wollen und die Gründe für die Entscheidung zu dokumentieren.

Zusammenfassung

Die Zusammenfassung wurde nicht während der Evaluationsphase geschrieben, da noch andere Optionen in Betracht gezogen wurden um mehr Tests für den Swing Editor zu erzeugen. Aber schließlich entschieden wir uns Lizenzen von QF-Test zu kaufen.

Epilog

Die Zusammenfassung kam, nachdem ich den Evaluationsbericht geschrieben hatte,  auch dieser Epilog ist nicht Teil des Berichts. Alles andere ist aus dem Originalbericht ungefähr zwei Jahre her.

Heute nutzen wir immer noch QF-Test – und auch WinRunner, da wir die Zeit nicht gefunden haben diese Tests zu konvertieren und dabei sei angemerkt, dass jeder Test per Hand umgezogen werden muss. Aber wir sind auf unserem Weg. Ein paar Tests wurden schon umgezogen.

Ich bin immer noch froh darüber, die Entscheidung für den Wechsel zu QF-Test getroffen zu haben. Während ich immer noch WinRunner Tests warten muss und kürzlich große Probleme hatte mit Java 1.6 und Windows Vista, funktioniert QF-Test einfach gut auf Java 1.6/Windows Vista genauso wie auf Windows XP mit Java 1.5 oder 1.4.

Es ist mir immer eine Freude Tests in QF-Test zu erstellen, da es so einfach geht. Inzwischen habe ich mein Framework, das ich gebaut habe, erweitert. Es erlaubt mir Tests zu erstellen, die im Code Baum einfach so lesen:
1. Erstelle Dokument „A“
2. Schreibe ein paar Zeilen Text in das Dokument
3. Speichern
4. Mache Checks
Wobei jede einzelne Zeile auf eine Funktion/Prozedur im Framework, das ich aufgebaut habe, zeigt. Aber es ist QF-Test, das mir hilft solch ein Framework zu bauen.

Auch CoreMedia Entwickler, die nicht täglich QF-Tests schreiben, fühlen sich gut mit QF-Test. Die meiste Zeit brauche ich nur ein oder zwei Stunden, um sie einzuführen, dann können sie gleich anfangen.

QF-Test wird immer noch besser von Release zu Release. So ist es kein Wunder, dass einige Fehler, die ich erwähnt habe, mittlerweile von mir gefixed sind. Zum Beispiel der „faule variablen Ausbaumöglichkeiten Bug“, wie ich ihn nenne, der kein Fehler war, aber ein anderer Ansatz um mit Variablen Ausbaumöglichkeiten umzugehen. Und großartige neue Features wurden eingeführt wie Abhängigkeiten, die ich mittlerweile viel nutze.

Und ein letztes Wort über die Firmengröße: Natürlich habe ich die Firmengröße absolut falsch eingeschätzt und ich freue mich darüber, dass ich jetzt ein paar mehr Leute bei QFS kenne.

Mark Michaelis, Software Engineer Quality Assurance, ISTQB Certified Tester

Den kompletten Evaluationsbericht, können Sie hier (nur engisches PDF) lesen.