Crowdtesting, Fazit und Ausblick

Eine entscheidende Rolle beim Crowdtesting spielt neben der Qualität und der Zusammensetzung der eingesetzten Crowd auch die weitgehende Automatisierung der Tests. Brian Rock, Senior Director of Engineering bei Applause, ist sich sicher, dass «an Automatisierung kein Weg vorbeiführt, wenn man die gewünschte und notwendige Testabdeckung erzielen will». Oft würden jedoch die falschen Tools gewählt. Kleinere Teams, die sich erstmals mit dem Thema beschäftigen, sollten zu einer fertigen Enterprise-Lösung für Testautomatisierung greifen. Das gebe die Gewissheit, ein bereits erprobtes Werkzeug einzusetzen und sich bei auftretenden Problemen an den Hersteller wenden zu können. Teams mit einer «höheren Funktionsreife» könnten dagegen auch eine Open-Source-Lösung verwenden. Diese sind in der Regel frei nutzbar, erfordern aber mehr Fachkenntnisse, um sie an den eigenen Bedarf anzupassen.

Applause hat mit seiner Test-Community uTest ein internationales Team aus Testern aufgebaut, das nach Angaben des Unternehmens eine «vollständige Abdeckung von Endgeräten und Betriebssystemen» bietet, 24/7 zur Verfügung stehe und auch kurzfristig für Tests gebucht werden könne. Das Angebot gilt laut Applause in mehr als 200 Ländern und in zahlreichen Sprachen. Die Tester werden über ein eigens entwickeltes Academy-Programm und in Kompetenzzentren geschult, die auch Tests in Bereichen wie Barrierefreiheit, Automatisierung oder Payment ermöglichen. Alle uTest-Mitglieder müssen zudem Geheimhaltungsverträge unterschreiben. Es gibt sogar VIP-Tester für «ultrasensible Projekte». Diese Teams bestehen aus Testern, die bereits seit Jahren mit Applause zusammenarbeiten und dabei einen «einwandfreien Track Record» vorweisen können.

Einen ebenfalls grossen Stamm an Testern kann der Münchner Anbieter Testbirds vorweisen. Das 2011 gegründete Unternehmen hat mittlerweile mehr als 100 Mitarbeiter und betreibt zusätzlich Büros in Amsterdam und London. Sie betreuen eine Test-Community mit über 600'000 Mitgliedern aus 193 Ländern. Testbirds bietet neben Quality-Assurance-Tests, mit denen Bugs und Funktionsfehler gefunden werden sollen, auch Überprüfungen der Usability eines Produkts an. Im Einzelnen kommen dabei Methoden wie exploratives oder strukturiertes Bug Testing zum Einsatz, die nach Angaben des Unternehmens «aus der Perspektive eines echten Kunden» erfolgen. Zum Portfolio gehören ausserdem Bug Bounties, bei denen sich die Teilnehmer auf die Jagd nach Sicherheitslücken oder systemweiten kritischen Fehlern begeben.

Der Ismaninger Consulting-Konzern MSG Group hat Anfang vergangenen Jahres den Zürcher Crowdtesting-Anbieter Passbrains übernommen und kann daher nun ebenfalls Tests mithilfe der Crowd anbieten. Dabei geht es dem Unternehmen vor allem darum, die «Qualität digitaler Produkte, Services und Prozesse sowie vernetzter Hardware zu sichern und zu verbessern». Das biete viele Möglichkeiten, erläutert Recardo Jackson, Leiter Test, Quality & Lifecycle Management bei MSG. Crowdtests gingen über bisherige Tests hinaus, sie reichten «von der Ideenentwicklung und Produktvalidierung über mehrere Zyklen bis hin zur Steigerung der Kundenakzeptanz», so Jackson.

Die Möglichkeiten des Crowdtestings sind geeignet, klassische, meist nur intern durchgeführte Tests vielfältig zu ergänzen. Oft werden allerdings nur eher oberflächliche Funktionen wie das Graphical User Interface (GUI) eines Produkts getestet. Da ist ein Anbieter dann schon mal stolz darauf, wenn er ein paar Tippfehler in den Infotexten einer App gefunden hat.

Nicht jede Crowdtesting-Firma bietet tiefergehende Tests an, mit denen etwa auch Sicherheitslücken gefunden werden können. Zudem sollte man sich bei der Wahl des passenden Partners für ein etabliertes Unternehmen entscheiden. In den vergangenen Jahren sind manche Anbieter wie Testcloud oder Testtailor schon wieder vom Markt verschwunden oder wurden, wie Passbrains, von anderen Firmen übernommen.