QF-Test an der Uni: Verifikation und Validierung von Software - Kurs 2022

Mit der Durchführung einfacher Tests haben wir leicht den Einstieg in QF-Test gefunden.

Das Tool war für das modellbasierte Testen sehr nützlich, aber es gab auf dem Weg dorthin einige Probleme, die hauptsächlich auf Fehler zurückzuführen waren. Die Anwendung, die wir testeten, hatte einige Funktionen, die das Tray-Menü betrafen. Aufgezeichnete Aktionen, die eine Interaktion mit dem Tray-Symbol beinhalteten, waren nicht zuverlässig, da sie nur manchmal funktionierten.

Der Hauptkritikpunkt bei der Verwendung von QF-Test ist die Schwierigkeit, den Test mit einem Teamkollegen zu teilen. Der Speicherort der jar-Datei ist als absoluter Pfad fest kodiert und wir haben keine Möglichkeit gefunden, diesen Pfad zwischen verschiedenen Systemen/Computern dynamisch zu machen. Wenn wir also auf einem anderen Rechner programmierten, mussten wir diese Pfade neu konfigurieren. Im Großen und Ganzen war die Erfahrung positiv, mit Ausnahme des Problems mit dem JAR-Dateipfad der Anwendung.

Das QF-Test-Tool erwies sich als vielversprechend für die Automatisierung von Tests von Benutzeroberflächen. Ein Problem, das nicht direkt mit der Testerstellung zusammenhängt, aber auf das wir gestoßen sind, war, dass bei Monitoren mit hohem DPI-Wert einige Workarounds erforderlich waren, um die Anwendung vernünftig auszuführen.

Wir sind der Meinung, dass das QF-Test-Tool ziemlich gut ist und der Installationsprozess unkompliziert war. Wir haben es nicht geschafft, das Tool mit dem Setup-Tool zum path hinzuzufügen, also mussten wir die ausführbare Datei in den Projektdateien finden und sie über das Terminal ausführen. Wir sind der Meinung, dass dieser Teil der Benutzerfreundlichkeit noch verbessert werden könnte.

Das Tool war sehr intuitiv zu bedienen. Allerdings konnten wir nicht herausfinden, wie wir überprüfen konnten, ob die Suchleiste unsichtbar war, da die Variable visible immer noch als true angezeigt wurde, auch wenn keine Leiste auf dem Bildschirm zu sehen war.

Tatsächlich hat uns die Funktionsweise des Tools sehr gut gefallen: Wir können Übergänge und Zustände sowie jedes einzelne Detail dessen, was wir während der Aufzeichnung tun (Klicks, Kontrollen, Eingaben usw.), problemlos testen. Unsere Gruppe hat nicht alle Funktionen des Tools genutzt, aber die, die wir verwendet haben, waren perfekt für unsere Zwecke.
Wir möchten einen Vorschlag zum Tool machen: Wir glauben, dass es eine symbiotische Verbesserung ist, wenn Ihr QF-Test-Tool in eine IDE integriert werden kann. Wir wollen damit nicht sagen, dass das Tool schwer zu verstehen oder zu bedienen ist (es ist zum Beispiel super intuitiv), aber wir denken, dass dies die Nutzung für viele andere Leute, die vielleicht nicht einmal von der Existenz des Tools wissen, erleichtern und fördern könnte.

Nachdem wir QF-Test zur Erstellung von Testsuiten für das Projekt verwendet haben, halten wir es für sehr gut vorbereitet und nützlich. Trotz anfänglicher Verwirrung bei der Einrichtung ist es uns mit Hilfe des Schnellstart-Assistenten gelungen, das volle Potenzial des Tools im Rahmen unseres Projekts zu nutzen. Das einzige Problem, auf das wir gestoßen sind, war, dass wir den Pfad der ausführbaren Datei jedes Mal ändern mussten, wenn wir zwischen verschiedenen Geräten wechselten. Wir verwendeten den vollständigen Pfad, da wir nicht wussten, wie man einen relativen Pfad richtig einbindet.

Die Ersteinrichtung und die Integration in unser Projekt waren einfach und der Assistent funktionierte wie vorgesehen. Wir konnten keine Möglichkeit finden, einen relativen Pfad für den jar-Pfad zu verwenden. Das bedeutete, dass wir auf den verschiedenen PCs den Assistenten jedes Mal ausführen mussten, wenn jemand die Tests änderte. Danach war die Schrittaufzeichnung intuitiv, und wir hatten keine Probleme mehr. Wir stellten fest, dass das Ziehen und Ablegen von Testschritten im linken Menü wie vorgesehen funktionierte, ebenso wie das Kopieren, Ausschneiden und Einfügen von Schritten.

Insgesamt erwies sich QF-Test als sehr nützlich bei der Erstellung von Testfällen, die eine Interaktion mit der Benutzeroberfläche erfordern. Ein Problem, das wir festgestellt haben, ist jedoch, dass die verwendete Konfigurationsdatei die Zusammenarbeit mit anderen Personen bei der Verwendung des Tools erschwert. Die Konfigurationsdatei enthält Informationen, die für den Rechner des jeweiligen Entwicklers spezifisch sind. Wir haben diese Datei bearbeitet, um sie auf einem anderen Rechner zu verwenden. Leider signiert QF-Test_ die Konfigurationsdatei und prüft ihre Integrität beim Laden, so dass es unmöglich ist, eine Datei zu verwenden, die bearbeitet wurde. Wenn die Daten der Testsuite in einer separaten Datei gespeichert wären, könnten sie vielleicht mit VCS verwendet werden, während die Datei mit den benutzerspezifischen Informationen ignoriert wird.

Im Allgemeinen ist das Tool sehr intuitiv, jedoch haben wir Verbesserungsvorschläge:

• Es war schwer zu verstehen, ob ein bestimmter Test bestanden wurde. Diese Information ist nur in der Nähe eines kleinen "Plus"-Symbols in der unteren rechten Ecke des Tools verfügbar. Es wäre besser, eine Meldung ähnlich wie beim JUnit-Tool zu haben, die klar angibt, ob der Test bestanden hat oder nicht. Dies mag für versierte Nutzer keinen Unterschied machen, aber es würde die Nutzererfahrung für Neulinge wie uns verbessern.
• Das Design ist ein weiterer Punkt. Für versierte Nutzer, die bereits an das Tool gewöhnt sind, würde es keinen Unterschied machen, aber eine Verbesserung des Designs würde es attraktiver machen.
• In unserem Fall war es auch schwierig, einige der Prüfungen zu erstellen. Insbesondere die App, die wir getestet haben, besteht hauptsächlich aus einer Tabelle, und es war schwierig, eine bestimmte Zelle dieser Tabelle auszuwählen, ohne versehentlich andere Teile der Tabelle auszuwählen.
• Wenn wir mehrere Sequenzen in denselben Testfall einbeziehen, ist es schwierig zu verstehen, bei welcher der Sequenzen der Test fehlgeschlagen ist.
• Die Prüfungen basieren auf dem Textinhalt der Eingaben und Textelemente, aber manchmal ist das nicht genug. In unserem Projekt ändert sich zum Beispiel die Farbe einer Zeile, wenn sie ausgewählt wird. Es wäre nützlich, diese Änderung zu erfassen, ebenso wie andere visuelle Änderungen der Benutzeroberfläche, die nicht textbezogen sind.

Unsere Erfahrungen mit dem QF-Tool waren im Allgemeinen positiv. Folgende Funktionen wären unserer Meinung nach ausgezeichnete Ergänzungen für das Tool, da sie das Leben des Benutzers in einigen Fällen, auf die wir während dieser Arbeit gestoßen sind, einfacher machen würden:

• Wenn das Tool zum Testen einer Webseite verwendet wird, sollte es bei der Aktion "Browserfenster öffnen" eine Option geben, um das Fenster im Vollbildmodus oder vollständig erweitert zu öffnen, da es standardmäßig nicht den gesamten Bildschirm ausfüllt, was dazu führen kann, dass einige Schaltflächen in der Schnittstelle aufgrund der Reaktionsfähigkeit der zu testenden Website verschwinden.
• Um dieses Problem zu lösen, war es notwendig, die Breite und Höhe des Bildschirms herauszufinden und diese Felder zu ändern, aber es wäre nützlich, wenn das Programm dies automatisch tun würde, wenn wir ein Kontrollkästchen aktivieren, um das bereits erweiterte Fenster zu öffnen.
• Wenn man eine Tabelle auswählt, sollte es eine Schaltfläche geben, um die Anzahl der Zeilen zu zählen, ohne dass man den Inhalt angeben muss.
• Es sollte möglich sein, die Leiste über den Anwendungsfenstern mit dem Namen und dem Symbol des Fensters zu testen.
• Bei der Aufzeichnung von Doppelklicks sollten die Klickkoordinaten gespeichert werden, da sie je nach Ort des Klicks eine andere Wirkung haben können. Wenn wir zum Beispiel eine Texteingabe bearbeiten, würde die Klickposition die Position des Cursors in dieser Eingabe anzeigen.

Die Portabilität von Tests ist ein Problem. Da der QF-Test Setup Wizard eine Abhängigkeit vom lokalen Dateisystem erzeugt, waren wir gezwungen, diese Abhängigkeit jedes Mal zu ändern, wenn wir Informationen an Github übermittelten, da ein anderes Teammitglied in einem anderen Dateisystem arbeitete. 

Das Tool scheint zwar für die Entwicklung von UI-Tests interessant zu sein, bringt aber auch einige Schwierigkeiten für Entwickler mit sich, wie z. B.:

• Veraltete Schnittstelle, die zu verwirrenden Methoden bei der Implementierung von Methoden führt, z. B. fehlende Prüfoptionen und Unfähigkeit, im Prüfmodus zu navigieren (d. h. Dropdown-Menüs zu öffnen).
• Obwohl es best practices für die Organisation von Testsuiten gibt, bietet es wenig bis gar keine Versionskontrolle, was die Entwicklung zu zweit oder im Team unfreundlich macht und außerdem eine manuelle Verwaltung der Pfade erfordert.
• Unzureichende Dokumentation / Tutorial über die Funktionsweise von Abhängigkeiten, ihre Ausführungsreihenfolge und die Einrichtung von mehrstufigen Abhängigkeitsbäumen mit jeweils eigenem Setup- und Cleanup-Prozess.

Wir haben in der Vergangenheit mit ähnlichen Tools (wie cypress) gearbeitet, und es gibt ein paar Unterschiede. Zunächst einmal hat cypress eine sauberere, modernere Benutzeroberfläche, und wir hatten den Eindruck, dass es eine bessere Benutzererfahrung bietet. Die Lernkurve für QF-Test scheint viel steiler zu sein als bei anderen Tools, aber es sieht sehr leistungsfähig aus. Die Handbücher & Tutorials scheinen sehr hilfreich und vollständig zu sein, was notwendig ist, wenn es nicht viel Online-Community gibt, von der man Unterstützung bekommen kann.

Eine Funktion, die wir vermisst haben, ist eine Umschalttaste zum schnellen De-/ und Aktivieren von Testfallschritten. Manchmal implementieren wir bei der Entwicklung eines Tests Überprüfungen, die noch nicht abgeschlossen sind, als Platzhalter, und es ist etwas ärgerlich, wenn wir bei jedem Testlauf Fehler für diese erhalten.

Ansonsten scheint es ein cleveres Tool zu sein. Ein Muss für Desktop-Java-Anwendungen!

Das QF-Test Tool ermöglichte es uns, einfache GUI-Tests für eine Java-Anwendung zu schreiben. Mit Hilfe der Einsteiger-Tutorials des QF-Test-Tools konnten wir in ein paar Stunden verstehen, wie wir es in unserer Basisanwendung verwenden können. Allerdings fanden wir die Bedienelemente nicht so intuitiv und die Benutzeroberfläche veraltet und verwirrend. Eine bessere Benutzeroberfläche und Tooltips würden die Benutzererfahrung für Anfänger erheblich verbessern.

In den Tutorials erfuhren wir, dass dieses Tool viel leistungsfähigere Tests mit Integration in CI/CD-Pipelines, Multiplattformtests (nicht spezifisch für Java-Anwendungen), Videoaufzeichnung usw. ermöglicht. Wir haben diese Funktionen nicht getestet (das würde den Rahmen des Auftrags sprengen). Außerdem scheint die Plattform unserer Erfahrung nach wirklich stabil und bereit für professionelle/produktive Umgebungen zu sein. Wir haben sie unter Windows und MacOS getestet, ohne dass es Probleme gab. Wir sind wirklich gespannt, wie der QF-Test-Runner auf Docker/Linux-Maschinen für die CI/CD-Integration funktionieren würde (nicht getestet).

Für dieses Projekt wurde das QF-Tool für die Windows-Plattform in der Desktop-Version verwendet.

• Der Installationsprozess war sehr einfach und sehr intuitiv, auch die Nutzung ist einfach, mit einer grafischen Oberfläche, auf der die Elemente gut verteilt sind, was die Lernkurve für die Arbeit mit dem Tool sehr flach macht.
• Was die Tests betrifft, so deckte es alle Szenarien ab, die wir während des Projekts identifiziert hatten.
• Ein negativer Aspekt des Tools ist, dass man Zeit investieren muss, um sich mit dem Tool vertraut zu machen und die Dokumentation zu lesen, da die Community sehr klein ist, so dass die Lösung von Problemen viel Zeit in Anspruch nehmen kann.