Anwendung und Testszenarien

Eine Alternative ist das sogenannte Crowdtesting, das eng mit aktuellen Trends wie Cloud Computing und Crowdsourcing zusammenhängt. Letzteres ist an das traditionelle Outsourcing angelehnt, also an das Auslagern bestimmter Aufgaben an Dritte. Das ist auch beim Crowdtesting der Fall. Auch hier wird die essenzielle Aufgabe des Testens einer Anwendung oder eines Produkts an externe Tester ausgelagert, die sich dafür bezahlen lassen. Solche Analysen werden auch als «Tests in the Wild» bezeichnet.

Julian Mascaro, Test Engineer beim Testing-Spezialisten Applause, beschreibt auf der Webseite des Unternehmens, warum intern durchgeführte Tests heute in vielen Fällen an ihre Grenzen stossen. So könne es etwa vorkommen, dass selbst gewonnene Testergebnisse «nicht immer der Wirklichkeit entsprechen oder gar lückenhaft sind». Das liege unter anderem daran, dass dabei nicht «alle Kombinationen aus Geräten und Betriebssystemen der Benutzer sowie mögliche Szenarien» abgedeckt werden. Als Beispiel nennt Mascaro Schwierigkeiten bei der Konnektivität. Diese könnten die Funktionsfähigkeit eines Produkts erheblich beeinträchtigen, würden bei internen Tests aber möglicherweise nicht ausreichend berücksichtigt.

Crowdtesting ermögliche es dagegen, «weitaus mehr Szenarien zu reproduzieren, denen die Benutzer im täglichen Leben gegenüberstehen». Das Testen mit Crowdtestern ersetze aber nicht die interne Quality-Assurance-Abteilung, sondern ergänze sie sinnvoll mit zusätzlichen Geräten und Testern, die sich an mehr Orten und in verschiedensten Szenarien befinden.

Aber wie sieht das «Testen in der Wildnis» konkret aus? Nach Aussage von Mascaro setzt Applause dafür ein dezentrales Team aus Testern ein, das eine Anwendung, eine Webseite oder ein angeschlossenes Gerät «unter realen Bedingungen» testet. Wichtig sei dabei, dass die Tester das zu prüfende Objekt so nutzen, «wie es ihrer Meinung nach richtig ist». Alternativ seien aber auch Testfälle möglich, die vorgegeben werden.

Beim Crowdtesting sollen Tests vornehmlich im Alltag der Teilnehmer erfolgen, also beispielsweise in öffentlichen Verkehrsmitteln, bei einer Interaktion in einem Geschäft oder während sportlicher Aktivitäten. Ergänzend lassen sich laut Mascaro auch «Szenario-Tests» durchführen, bei denen gezielt einzelne oder mehrere kritische Punkte unter die Lupe genommen werden. 

Die Beispiele zeigen, dass es beim Crowdtesting nicht nur um Software, sondern um vielfältige Produkte geht, die vor oder nach ihrer Markteinführung zusätzlichen Tests unterzogen werden sollen.

Mascaro beschreibt eine Reihe realer Testszenarien. So lasse sich mit Crowdtesting etwa herausfinden, wie gut oder schlecht die Planung von Fahrtwegen und der Verkauf von Fahrkarten bei einem Verkehrsunternehmen funktionieren. Zunächst werde geprüft, ob alle benötigten Funktionen ordnungsgemäss ablaufen. Danach gehe es darum, ob die Tester ihren Fahrtweg mit der Anwendung planen, Tickets kaufen und erfolgreich von einem Punkt zum anderen fahren können. Mit einem Test in the Wild lässt sich «somit das gesamte digitale Erlebnis eines Produkts auf die Probe stellen», erläutert Mascaro. Eines wird an diesem Beispiel auch klar: Meist geht es beim Crowdtesting weniger um die Sicherheit eines Produkts, sondern um Probleme beim Einsatz, also etwa um Tests der Bedienoberflächen.

Die Grundlagen für das moderne Crowdtesting wurden bereits vor mehr als einem Jahrzehnt gelegt. So hat sich schon 2010 Ewald Roodenrijs, heute Associate Director beim amerikanischen IT-Konzern Cognizant, mit den Grundlagen des Crowdtestings beschäftigt. Dabei hat er mehrere Prinzipien formuliert, die immer noch gelten. Roodenrijs ist zum Beispiel davon überzeugt, dass Crowdtesting abhängig ist von der Qualität der Crowd. Eine Gruppe sollte nicht nur aus Experten und Profis, sondern auch aus Einsteigern und anderen Menschen bestehen. «Eine kleine Gruppe von zehn Personen mit ein und demselben Hintergrund bringt dem Crowdtesting keinen zusätzlichen Nutzen», unterstreicht Roodenrijs. Je mehr Unterschiede es bei den Testern gebe, desto besser. Das Ziel der Tests müsse zudem sein, ein besseres Produkt oder zumindest neue Erkenntnisse über seine Risiken zu erhalten. Crowdtesting solle «normale» Tests zudem nicht ersetzen, sondern nur ergänzen.