Comparaison entre QF-Test et Tosca

Pour son client, DVZ GmbH a comparé les outils d'automatisation des tests QF-Test et Tosca et en conclut que QF-Test est le meilleur outil d'automatisation pour les applications de bureau, pour un ou plusieurs projets. Il est proposé au client d'utiliser QF-Test.

Le fournisseur de services informatiques de l'administration du Land de Mecklembourg-Poméranie occidentale est un partenaire solide et de longue date du secteur public. Grâce à l'expertise de ses quelque 700 employés et aux technologies de pointe, il façonne l'avenir de l'administration numérique en collaboration avec ses clients. Nous reproduisons ci-dessous le rapport comparatif détaillé de Martin König, avec de légères modifications rédactionnelles. Ici vous trouverez la version PDF du rapport original en allemand.

Pourquoi DVZ a-t-il comparé QF-Test et Tosca ?

DVZ a comparé les deux outils d'automatisation afin de fournir à ses clients une recommandation sur l'outil le mieux adapté à leurs tests automatisés d'applications de bureau. L'évaluation était basée sur une application Java Swing avec un composant de navigateur pour la connexion.

La comparaison s'est concentrée sur la facilité d'utilisation, le temps de formation nécessaire et les différentes possibilités de déploiement. Les deux solutions sont similaires en termes d'application mais suivent des approches différentes.

• Différentes applications ont été utilisées pour les différents tests, en se concentrant sur les applications de bureau.
• Les applications mobiles pour Android et iOS n'ont pas été prises en compte, car il n'y avait pas de cas d'utilisation interne.
• La maintenabilité et les possibilités d'extension ont également été évaluées.
• La comparaison a été effectuée sur un ordinateur portable équipé d'un processeur i7.
• Des tests au sein de machines virtuelles (VM) ont également été effectués, mais ils n'ont eu qu'un impact minime sur l'évaluation

L'installation de QF-Test est nettement plus facile et plus intuitive que celle de Tosca.

• Pour Tosca, l'infrastructure doit être mise en place à l'avance pour la solution sur site. Un serveur est nécessaire pour installer le « Tosca Server », qui gère la distribution des agents et le téléchargement des référentiels. Les autres composants comprennent une base de données pour les référentiels et un serveur de licences.
• L'installation de Tosca Commander, l'application d'automatisation proprement dite, est simple, mais son intégration à divers serveurs et parties de l'infrastructure Tosca nécessite une configuration manuelle.
• Tosca a des exigences matérielles plus élevées en raison de son infrastructure.

Les deux outils bénéficient de connaissances de base en matière d'automatisation des tests et de développement de logiciels.

• Selon Tricentis, ce n'est pas nécessaire pour Tosca, mais l'expérience interne a montré que sans connaissances préalables, le processus et la procédure peuvent être mal compris. Explication à ce sujet : 3-4 personnes sans expérience de la programmation ont été initiées à l'outil pendant la période d'utilisation de Tosca. Malheureusement, aucune de ces personnes n'a été en mesure d'utiliser Tosca dans son intégralité et elles ont refusé de continuer à l'utiliser, car sa structure est trop complexe.

Les deux outils prennent en charge diverses technologies, ce qui facilite leur utilisation dans différents projets. Le projet principal de comparaison était une application Java SWING avec un composant de navigateur pour la connexion.

Les deux outils ont permis d'automatiser et d'implémenter les cas de test.

• Il faut encore mentionner que Tosca ne peut pas être intégré dans un pipeline, en tout cas pas sans un effort important. Dans ce cas, la structure de l'infrastructure de l'outil est trop complexe et les exigences en matière de matériel du client trop élevées pour permettre une intégration rapide et simple. L'exécution automatisée se fait par un appel au serveur qui, à son tour, ordonne à l'agent de lancer l'exécution. Cela fonctionne, mais fait globalement double emploi au sein du pipeline et ne constitue pas une solution agile dans l'environnement Dev-Ops moderne, car des déconnexions, etc. sont nécessaires.

• Le premier démarrage de Tosca s'avère très volumineux, car de nombreux paramètres doivent être définis, comme par exemple la création du référentiel et ses connexions aux serveurs. 

Avec QF-Test, en revanche, il est possible de démarrer le tutoriel directement dans l'outil et de visualiser les suites de démonstration, sans avoir à effectuer de grands réglages supplémentaires.

• L'interface de Tosca Commander est relativement peu claire et remplie de plusieurs fonctions via un vieux ruban, ce qui rend l'application elle-même très inaccessible. Il faut bien sûr tenir compte du fait que Tosca met à disposition d'autres parties pour le test de logiciels dans Tosca Commander. Il est par exemple possible de créer des exigences directement dans l'outil ou de réaliser des tableaux de données plus complexes via TestDesign.

Les tutoriels sont également très différents les uns des autres.

• Les séries de tutoriels de Tricentis coûtent au total environ 20 à 40 heures. Ils sont nécessaires pour comprendre le fonctionnement de l'outil. Malheureusement, les tutoriels ne sont préparés qu'en anglais et comportent parfois des erreurs, par exemple au niveau de la ponctuation. Pour le tutoriel Tosca, il faut en outre créer un compte sur la page d'assistance et le manuel n'offre malheureusement pas une bonne base pour commencer à utiliser l'outil.

Dans le tutoriel de QF-Test, le temps nécessaire est beaucoup plus court et aucune inscription supplémentaire n'est requise. De plus, le manuel est très bien présenté et, dans la nouvelle version, il est encore plus clair. On peut aussi commencer à utiliser QF-Test directement en « apprenant par soi-même » et être aidé par des instructions « pas à pas » directement dans l'outil.

• La maintenance des composants s'avère très coûteuse dans Tosca, car ils doivent être entièrement repris en cas de non-reconnaissance. La hiérarchie de la reconnaissance dans Tosca est la suivante : IDs, propriétés (combinaison), Path, Pixel (positions X/Y). La reconnaissance est correcte à environ 80%, mais nécessite un effort manuel important.

Dans QF-Test, les éléments peuvent être répartis sur plusieurs fichiers .qft, ce qui facilite la reconnaissance ou la recherche. Selon l'application, l'effort manuel peut bien sûr augmenter ici aussi. La reconnaissance des composants est cependant nettement plus élevée qu'avec Tosca.

Pour les scénarios de test plus importants, comme les chaînes de processus, la complexité peut augmenter énormément.

• Surtout avec Tosca, les cas de test sont alors très difficilement lisibles et compréhensibles, car les composants ne peuvent pas être commandés directement, mais sont généralement imbriqués dans une « enveloppe ». La désignation automatique de l'« enveloppe des composants » a généralement peu de rapport avec l'application métier et doit être décrite manuellement.
• Tosca propose en outre une reconnaissance des composants AI appelée « Ara ». Celle-ci a été essayée avec un accès de test, mais n'a apporté que peu ou pas de valeur ajoutée. De plus, une inscription supplémentaire est nécessaire et l'« Ara » ne peut être utilisée que par certaines personnes. Des frais supplémentaires sont à prévoir pour l'utilisation.

QF-Test offre une meilleure expérience globale dans la manipulation, la création de scripts de test, l'installation et la maintenance que Tricentis Tosca. La flexibilité accrue grâce à l'écriture de scripts en JavaScript ou Jython rend QF-Test nettement plus adaptable que le système rigide de glisser-déposer de Tosca.

Bien que Tosca couvre une gamme plus large avec des outils supplémentaires comme qTest ou NeoLoad, ceux-ci sont coûteux et offrent une valeur ajoutée minimale pour les projets agiles. De plus, le coût total de Tosca est environ 5 à 6 fois plus élevé que celui de QF-Test, même en achetant cinq licences technologiques de QF-Test.

La reconnaissance des composants est environ 20-30% plus précise et plus facile à comprendre dans QF-Test, ce qui améliore considérablement la maintenabilité.

Dans l'ensemble, QF-Test est l'outil d'automatisation le plus performant pour les applications de bureau, qu'il s'agisse d'un seul ou de plusieurs projets. DVZ recommande QF-Test pour l'automatisation.

Comparaison QF-Test vs. Tosca en Allemand