QF-Test vs. SilkTest vs. Squish vs. Marathon

Evaluationsergebnisse

Durchführung:

Olav Krapp und Matthias Besemer, SBE network solutions GmbH, Heilbronn

Getestete Produkte:

Borland SilkTest, Froglogic Squish, QFS QF-Test, Marathon Ergebnis: Gewählt wurde das Produkt QF-Test der Firma QFS.

QF-Test für Swing/AWT

Begründung:

Der Hauptgrund für die Entscheidung liegt in der Tatsache, dass QF-Test weit weniger entwicklerzentriert ist, als die anderen Produkte. Dennoch gewährt QF-Test die notwendige und auch hinreichende Flexibilität bei der Änderung von zu testenden GUI. Als weiterer entscheidender Vorteil ist bei QF-Test die übersichtliche Darstellung und nach einer (allerdings leicht erhöhten) Einstiegsschwelle auch intuitive Bedienung zu nennen. Die Darstellung der Testergebnisse sowie verfügbare Reports runden den Gesamteindruck positiv ab. 

Vergleichsmatrix

ProduktSilkTestSquishQF-TestMarathon
Vorteile
  • einfache Unterstützung von Obfuscating
  • Web-Testing bereits integriert
  • Screenshots können einfach aufgezeichnet werden
  • umfassende Integration in anforderungsbasiertes Testen / Testmanagement
  • umfangreiche Tutorials, Dokumentation und Support 
  • Komponenten-Picker für Verifikation usw.
  • uneingeschränkte Unterstützung von Linux
  • bei Tests auf entfernten Maschinen muss kein Benutzer angemeldet sein
  • Verwendung von gebräuchlichen Skriptsprachen
  • drei Runtime-Lizenzen in einer Benutzer-Lizenz enthalten
  • umfangreiche Tutorials, Dokumentation und Support
  • Web-Testing verfügbar (allerdings separate Edition, mit Mehrkosten verbunden) 
  • nicht-entwicklerzentrierte Lösung* (aber dennoch sehr flexibel)
  • modern anmutende und im Wesentlichen benutzerfreundliche Bedienoberfläche (sehr übersichtliche Darstellung der Testsuiten, Tests und sonstigen Artefakten)
  • uneingeschränkte Unterstützung von Linux
  • Abhängigkeiten zur Redundanzvermeidung
  • Komponenten-Picker für Verifikation usw.
  • einfache Unterstützung von Obfuscating
  • Problemlose Ankopplung der SBE-Applikation
  • Screenshots können einfach aufgezeichnet werden
  • Reports für die Testergebnisse nicht-benutzergebundene Lizenz
  • umfangreiche Tutorials, Dokumentation und Support
  • kostenlos
  • offener Quelltext
  • Komponenten-Picker für Verifikation usw.
  • Problemlose Ankopplung der SBE-Applikation 
Nachteile
  • entwicklerzentrierte Lösung*
  • veraltet anmutende Bedienoberfläche, wenig intuitive Bedienung
  • nur eingeschränkte Unterstützung von Linux (RedHat Enterprise)
  • Ankopplung der SBEApplikation fehlerbehaftet
  • Verwendung einer eigenen, proprietären Skriptsprache
  • bei Tests auf entfernten Maschinen muss Benutzer angemeldet sein
  • hoher Preis für die RuntimeLizenz
  • nicht-benutzergebundene Lizenz mit Mehrkosten verbunden 
  • entwicklerzentrierte Lösung*
  • veraltet anmutende Bedienoberfläche, teilweise umständliche Bedienung (z.B. Erzwingung von Namenskonventionen für Testfälle u.ä.)
  • Ankopplung der SBEApplikation fehlerbehaftet
  • keine einfache Unterstützung von Obfuscating
  • keine einfache Unterstützung von Screenshots im Fehlerfall
  • umständliches Konzept der „Verification Points“ (keine Umbenennung möglich, Redundanz)
  • Umbenennen symbolischer Komponentennamen sehr umständlich, manuelles Eingreifen notwendig
  • begrenzte Integration in Testmanagement
  • nicht-benutzergebundene Lizenz mit Mehrkosten verbunden 
  • leicht erhöhte Einstiegsschwelle bei der Bedienung, Icons teilweise nicht sehr intuitiv
  • Web-Testing derzeit noch nicht verfügbar (als separate Edition angekündigt, mit Mehrkosten verbunden)
  • bei Tests auf entfernten Maschinen muss Benutzer angemeldet sein
  • begrenzte Integration in Testmanagement 
  • entwicklerzentrierte Lösung*
  • Produkt offensichtlich nicht ausgereift / fehlerbehaftet
  • Web-Testing nicht verfügbar
  • Dokumentation und Support nicht auf gewünschtem Niveau 

 

*Hinweis: Eine entwicklerzentrierte Lösung (hauptsächlich auf Skriptierung basierend) muss nicht zwangsläufig ein Nachteil sein, gesucht wurde jedoch ein Produkt, das möglichst auch von Personen ohne tiefgehende Programmierkenntnisse bedient werden kann.

Evaluation of GUI-test tools for Java Swing:  QFS QF-Test, Borland SilkTest, Froglogic Squish and Marathon - November 2007, O. Krapp, M.Besemer, SBE network solutions GmbH, Heilbronn, Germany.

 

Freier Download

Gratis Testen

Evaluationen

zurück zur Übersicht

Java Cup QF-Test Java GUI Testen

Java Anwendungen testen

Wir verwenden Cookies zur anonymisierten Auswertung Ihres Besuchs auf unserer Webseite durch »Matomo«. Dafür benötigen wir Ihr Einverständnis, welches für zwölf Monate gilt. Ein Widerruf bzw. Opt-out ist jederzeit auf unser Datenschutz-Seite möglich.

AKZEPTIEREN
KONFIGURIEREN
ABLEHNEN
Cookie-Konfiguration

1. Funktionale Cookies

Wir verwenden funktionale Cookies, um die Basisfunktionalität der Webseite zu gewährleisten.

2. Performance und Statistik Cookies

Wir verwenden Matomo zur Analyse und Optimierung unserer Webseite. Cookies erlauben eine anonyme Erfassung der Informationen und helfen uns, Ihnen einen benutzerfreundlichen Besuch unserer Webseite zu bieten.

Auswahl speichern

Cookie details