QF-Test vs. Tosca

Für ihren Kunden hat die DVZ GmbH die Testautomatisierungstools QF-Test und Tosca miteinander verglichen und kommt zu dem Schluss, dass QF-Test das besser Automatisierungstool für Desktopanwendungen, für einzelne und mehrere Projekte ist. Dem Kunden wird vorgeschlagen, QF-Test zu verwenden.

Der IT-Dienstleister der Landesverwaltung Mecklenburg-Vorpommern ist langjähriger und starker Partner des öffentlichen Sektors. Mit dem Know-how der knapp 700 Mitarbeiter:innen sowie modernsten Technologien gestalten sie zusammen mit ihren Kund:innen die Zukunft der digitalen Verwaltung. Im Folgenden geben wir den ausführlichen Vergleichsbericht von Martin König mit leichten redaktionellen Änderungen wieder. Den Originalbericht finden Sie in der PDF-Version.

Warum vergleicht DVZ die beiden Testautomatisierungstools QF-Test und Tosca?

Die DVZ hat die beiden Automatisierungstools miteinander verglichen, um ihrem Kunden eine Empfehlung auszusprechen, welches Tool sich für deren automatisierte Tests von Desktopanwendungen besser eignet. Die Bewertung erfolgte anhand einer Java-Swing-Anwendung mit Browserteil für den Login.

Stehen Sie auch vor der Frage, welches Tool Ihre Anforderungen am besten erfüllt? Lesen Sie die unabhängige Bewertung der DVZ GmbH in der QF-Test und Tosca detailliert verglichen werden, damit Sie die beste Entscheidung für Ihre Testautomatisierungsprojekte treffen können.

Bei der Gegenüberstellung lag der Fokus auf der Handhabung, so wie der benötigten Einarbeitungszeit und natürlich auch der unterschiedlichen Einsatzmöglichkeiten. Im Bezug auf die Einsatzmöglichkeiten ähneln sich die beiden Lösungen sehr, verfolgen aber unterschiedliche Ansätze. 

• Für die unterschiedlichen Tests kamen verschiedene Anwendungen zum Einsatz, wobei der Fokus auf Desktopanwendungen lag. 
• Die mobilen Anwendungen für Android und iOS wurden hier nicht betrachtet, da wir im Haus dazu keine Anwendungsmöglichkeiten haben. 
• Zudem wurden die Wartbarkeit und Erweiterungsmöglichkeiten geprüft. 
• Der Vergleich wurde auf einem Laptop mit i7 CPU durchgeführt. 
• Tests innerhalb von VM (virtuellen Maschinen) gab es ebenfalls, diese fließen aber nicht zu großem Maße in die Bewertung ein.

Die Installation von QF-Test ist, im Vergleich zur Installation von Tosca, sehr einfach und intuitiv. 

• Im Gegensatz dazu muss bei Tosca die Infrastruktur - im Falle der On-Premise-Lösung - im Vorfeld zur Verfügung gestellt und eingerichtet werden. Hierbei wird ein Server benötigt, auf dem der "Tosca Server" installiert werden kann, der für die Verteilung der Agents und den Upload der Repositories zuständig ist. Hinzu kommen noch eine Datenbank für die Repositories sowie der Lizenzserver, welcher sich bei uns auf derselben VM wie der Tosca Server befand. Die Installation von Tosca Commander, der eigentlichen Automatisierungsanwendung, läuft dann relativ unkompliziert ab. Allerdings müssen die Anbindungen an die verschiedenen Server bzw. Teile der Tosca Infrastruktur manuell hinterlegt werden, an verschiedenen Stellen im Programm oder den Konfigurationsdateien. Außerdem benötigt Tosca höhere Hardwareanforderungen, auch auf Grund der Infrastruktur.

Für beide Tools ist es grundsätzlich hilfreich bzw. nötig, die Begrifflichkeiten zu kennen und etwas Test- bzw. Entwicklerhintergrund mitzubringen. 

• Laut Tricentis ist das für Tosca nicht nötig, aber interne Erfahrungen haben gezeigt, dass ohne vorherige Kenntnisse, der Ablauf und das Vorgehen falsch verstanden werden können. Zur Erläuterung hierzu: Es wurden 3–4 Personen ohne Programmierhintergrund über den Einsatzzeitraum von Tosca an das Tool herangeführt. Leider konnte keiner der eingesetzten Personen Tosca komplett bedienen und diese lehnten auch den weiteren Einsatz ab, da Tosca zu komplex aufgebaut sei.

Beide Tools unterstützen viele Technologien, was den Einsatz bei unterschiedlichen Projekten erleichtert. Das Hauptprojekt, welches den Vergleich zugrunde legt, war eine Java SWING Anwendung mit Browserteil für den Login. 

Mit beiden Tools konnten die Anwendungsfälle automatisiert und realisiert werden.

• Zu erwähnen ist noch, dass Tosca nicht in eine Pipeline integriert werden kann, jedenfalls nicht ohne größeren Aufwand zu betreiben. Hier ist die Infrastruktur des Tools zu komplex aufgebaut und die Anforderungen an die Hardware des Clients zu hoch, um eine schnelle und einfache Integration zu ermöglichen. Die automatisierte Ausführung erfolgt über einen Aufruf des Servers, der wiederum den Agent anweist, die Ausführung zu starten. Dies funktioniert zwar, ist aber insgesamt eine Doppelung innerhalb der Pipeline und im modernen Dev-Ops Umfeld keine agile Lösung, da Freischaltungen usw. erforderlich sind.

• Der erste Start bei Tosca gestaltet sich als sehr umfangreich, da viele Parameter gesetzt werden müssen, wie zum Beispiel Erstellung des Repositories und deren Anbindungen an die Server. Bei QF-Test hingegen kann man direkt im Tool das Tutorial starten und die Demo Suiten anschauen, ohne großen Aufwand für weitere Einstellungen. 
• Die Oberfläche von Tosca Commander ist relativ unübersichtlich und vollgepackt mit mehreren Funktionen über ein altes Ribbon, was die Anwendung selbst sehr unzugänglich erscheinen lässt. Hierbei ist natürlich zu beachten, dass Tosca noch weitere Teile für den Softwaretest im Tosca Commander bereitstellt. Zum Beispiel können Anforderungen direkt im Tool erstellt oder komplexere Datentabellen über TestDesign realisiert werden.

Die Tutorials gestalten sich ebenfalls sehr unterschiedlich. 

• Die Tutorialserien von Tricentis kosten insgesamt ca. 20 bis 40 Stunden. Diese sind notwendig, um überhaupt verstehen zu können, wie das Tool arbeitet. Leider sind die Tutorials nur auf Englisch vorbereitet und teilweise fehlerhaft, zum Beispiel bei der Interpunktion. Für das Tosca-Tutorial muss zudem ein Account auf der Supportseite eingerichet werden und das Handbuch bietet leider keine gute Grundlage, um mit dem Tool zu starten. 

Beim Tutorial von QF-Test ist der Zeitaufwand wesentlich geringer und es wird keine zusätzliche Anmeldung benötigt. Außerdem ist das Handbuch sehr gut aufbereitet und in der neueren Version nochmals übersichtlicher. Man kann mit QF-Test auch direkt durch "Learning-By-Doing" starten und wird dabei durch "Step-By-Step" Anleitungen direkt im Tool unterstützt.

• Die Wartung der Komponenten gestaltet sich in Tosca als sehr aufwendig, da diese bei Nicht-Erkennung komplett neu aufgenommen werden müssen. Die Hierarchie der Erkennung bei Tosca lautet: IDs, Eigenschaften (Kombination), Path, Pixel (Positions X/Y). Die Erkennung ist zu ca. 80% in Ordnung, erfordert aber hohen manuellen Aufwand. 

In QF-Test können die Elemente auf mehrere .qft-Dateien verteilt werden, was die Erkennung bzw. das Finden vereinfacht. Je nach Anwendung kann der manuelle Aufwand natürlich auch hier ansteigen. Die Komponentenerkennung ist aber deutlich höher als bei Tosca.

Bei größeren Testszenarien, wie zum Beispiel Prozessketten, kann die Komplexität enorm ansteigen. 

• Vor allem bei Tosca sind die Testfälle dann sehr schlecht lesbar und nachvollziehbar, da die Komponenten nicht direkt angesteuert werden können, sondern meistens geschachtelt in einer "Hülle" liegen. Die automatische Bezeichnung der "Komponentenhülle" hat meistens wenig Bezug zur Fachanwendung und muss manuell beschrieben werden.
• Tosca bietet zusätzlich eine AI-Komponentenerkennung namens "Ara". Diese wurde mit einem Testzugang ausprobiert, brachte aber wenig bis keinen Mehrwert. Außerdem wird hier eine zusätzliche Anmeldung benötigt und die "Ara" kann dann nur von bestimmten Personen genutzt werden. Extrakosten für die Verwendung fallen an.

Die Handhabung und das Erstellen der Testskripte sowie der Installationsprozess und die Wartung sind bei QF-Test insgesamt besser gelöst, als bei Tricentis Tosca. Außerdem ist die Flexibilität durch das zusätzliche Skripting, mit JavaScript oder Jython, in QF-Test nochmal um einiges angenehmer, als die strikte Drag & Drop Skripterstellung in Tosca. 

Tosca deckt zwar insgesamt einen größeren Bereich ab, durch die zusätzlichen Tools wie qTest oder NeoLoad, allerdings sind diese sehr kostenintensiv und bringen nur geringfügigen Mehrwert für agile Projekte. Des Weiteren sind die Kosten für Tosca insgesamt um knapp das 5–6 fache höher als bei QF-Test, selbst wenn man bei QF-Test 5 Technologielizenzen kauft.

Die Komponentenerkennung ist ebenfalls bei QF-Test ca. 20–30 % höher bzw. auch einfacher in der Nachvollziehbarkeit, was die Wartung begünstigt. 

! Insgesamt ist QF-Test das besser Automatisierungstool für Desktopanwendungen, für einzelne und mehrere Projekte. Für die Automatisierung des Projektes wird dem Kunden vorgeschlagen, QF-Test zu verwenden.

Vergleich QF-Test vs. Tosca