Crowd Testing richtig gemacht

Das starke Wachstum in den Bereichen webbasierter und mobiler Applikationen hat dazu geführt, dass IT-Services über unterschiedliche Kanäle geliefert und von verschiedenen Zielgruppen genutzt werden. Wirklich solides Software Testing braucht in diesem Rahmen immer mehr Zeit, auch weil die Applikationen laufend leistungsfähiger und die zu unterstützende Hardware und Betriebssysteme immer vielfältiger werden. Crowdsourced Software Testing – kurz Crowd Testing – kann diese Zeit verkürzen, weil sich der Testaufwand auf viele verteilt. Die Testmethode macht sich eine Gemeinschaft von externen, spezialisierten Software-Testern und Software-Anwendern unterschiedlichster Herkunft und demografischer Zugehörigkeit rund um den Globus zunutze und kann so – im Gegensatz zum Inhouse Testing – auch unterschiedliche Szenarien, Belastungen und Zugriffsarten simulieren.

Crowd Testing sollte als ergänzende Qualitätssicherungsmassnahme vor Produkt-Releases eingesetzt werden, um Kompatibilität sowie Bedienerfreundlichkeit (Usability) sicher­zustellen und Fehler zu identifizieren, die im Rahmen der internen Tests unentdeckt geblieben sind. Die häufigste hierbei angewendete Methode ist das sogenannte explorative Crowd Testing, bei dem Tester die Software auf Probleme, Fehler oder Defekte aufgrund enerischer Richtlinien und Testszenarien prüfen. Oft werden auch «freihändige» explorative Tests angewandt, die Crowd-Tester bestimmen Art und Umfang ihrer Tests dann selbst. Exploratives Crowd Testing eignet sich vor allem dazu, konsumentenorientierte Applikationen von einer grossen Anzahl Nutzer testen zu lassen. Dadurch ist die Re­produzierbarkeit eines Problemsets in unterschiedlichen Anordnungen gewährleistet und es kann die Belastung einer Anwendung unter Normalbedingungen simuliert werden.

Der Einsatz von Crowd Testing für Enterprise-Applikationen verlangt mehr Struktur sowie eine höhere Präzision im Testprozess und behält gleichzeitig Idee und Agilität des explorativen Testens bei. Beim Enterprise Crowd Testing werden die Tester nach umfassenden Selektions­regeln ausgewählt und entsprechend eingesetzt. Der Testprozess bezieht sich auf einen klar identifizierten Bereich und wird nach ausführ­lichen, speziell für das Projekt definierten Richtlinien abgewickelt. Das Team verfügt über eindeutig identifizierte Rollen und Zuständigkeiten, eine zentrale Anlaufstelle bei der Community, vordefinierte Reporting Templates sowie einen stark standardisierten Prozess für die Projekt­abwicklung. Enterprise Crowd Testing fügt sich nahtlos in die Prozesse bestehender, auch agiler Software-Entwicklungsmethoden ein.

Crowd Testing eignet sich bestens für besonders nutzerzentrierte Anwendungen. So wird es häufig bei mobilen Applikationen, Webseiten oder bei der Entwicklung von Spielen eingesetzt, indem den Crowd-Testern Beta-Versionen der Software zum Test bereitgestellt werden. Grossunternehmen profitieren vom Crowdsourced Testing, weil die Applikationen auf einer Vielzahl verschiedener Geräte, Betriebssysteme, Browser und in verschiedenen Sprachversionen getestet werden und durch die Simulation grosser Benutzergruppen Gebrauchsmuster erkannt und mit Rückmeldungen optimiert werden können. Beispielsweise wurde die Beta-Version der Microsoft Office 2010 Productivity Suite von neun Millionen Anwendern heruntergeladen. Sie lieferten zwei Millionen verwertbare Kommentare und Erkenntnisse, was schliesslich zu substanziellen Produktverbesserungen führte.

Applikationen mit hoher Fehlerwahrscheinlichkeit und Fehlerkritikalität für den Kunden sind gute Kandidaten für Crowd Testing. Generell gilt jedoch, dass gerade bei Applikationen, die auf eine grosse Anzahl Benutzer ausgerichtet sind, auch weniger kritische Fehler leicht zu Kundenfrustration oder gar Kundenverlust führen können. Angesichts der Vielfältigkeit und Komplexität moderner Anwendungen sollte eine optimale Testorganisation Onsite, Outsourced und Crowdsourced Testing Teams in der passenden Kombination und im richtigen Verhältnis beinhalten. Die optimale Verteilung zu finden, ist eine Frage des Ausprobierens und der dadurch gewonnenen Erfahrungen.

Solange die Testarbeiten nicht strategischer Natur oder hochvertraulich sind, empfiehlt es sich für Unternehmen, einen Crowd-Testing-Anbieter zu suchen, der die nötigen Voraussetzungen zur zeitnahen Bereitstellung einer Crowd-Testing-Gemeinschaft mitbringt. Dazu muss der An­bieter über erfahrene Testpersonen, Geräte, Partizipationsmechanismen, Grund­regeln, Anstellungstechniken, gesetzlich abgesicherte Vorgehensweisen und Support-Mechanismen sowie eine Cloud-basierte Lösung für das Communitymanagement und die Projektabwicklung verfügen.

Häufig muss den Crowd-Testern in Projekten Zugang zu vertraulichen Informationen gewährt werden. Achten Sie deshalb beim Anbieter auf Massnahmen zur Sicherstellung von Vertraulichkeit und Datensicherheit, zum Beispiel Background Screenings, Selektion bewährter Crowd-Tester, Datenanonymisierung, Lösungen zur Zugriffssicherung und entsprechende Governance-Mechanismen. So stellen Sie sicher, dass Daten und Kundeninformationen mit der grösstmöglichen Vertraulichkeit behandelt werden. Für Projekte, die nach allerhöchster Sicherheit verlangen, verfügen Crowd-Testing-Firmen über geprüfte Listen vertrauenswürdiger Software-Tester, die bereits in einer grösseren Anzahl von Projekten Glaubwürdigkeit und Reputation erworben haben. Darüber hinaus müssen Tester beim Beitritt zur Community grundsätzlich eine generell und dauerhaft gültige Geheimhaltungserklärung eingehen. Kunden haben aber auch noch die Möglichkeit, ihre Tester selbst aus dem Pool auszuwählen und mit diesen direkt massgeschneiderte Geheimhaltungsvereinbarungen zu treffen, welche die Teil­nehmer unterschreiben müssen, bevor sie das Kundenprojekt zu sehen bekommen.

Um sicherzustellen, dass die Crowd-Testing-Plattform die erforderlichen Funktionalitäten und Sicherheiten gewährleistet, sollten unbedingt einige Kriterien erfüllt werden. So müssen Erfahrungsgrad, Lieferfähigkeit, Kompetenzvielfalt und globale Reichweite geprüft werden und Erfahrungen mit grossen und mittelständischen Unternehmen nachweisbar sein. Kleine Anbieter können zwar relativ einfach Testing-Dienste für mobile Applikationen und Webseiten anbieten. Die wenigsten verfügen jedoch über die nötige Erfahrung im Bereich Unternehmensanwendungen und können häufig auch keine schlüsselfertigen, vollumfassenden Testingservices, nötigenfalls auch in Kombination mit Unterstützung vor Ort oder durch ergänzende, spezialisierte Offshore-Kapazitäten anbieten.

Damit der Lieferant nicht plötzlich vom Markt verschwindet, ist bei langfristigen Projekten der Nachweis dauerhafter finanzieller Stabilität wichtig. Schliesslich bieten viele Crowd-Testing-Plattformen lediglich eine Vermittler­funktion zwischen Kunden und Testern ohne jegliche Managedservices an. Um Klarheit über den effektiven Serviceumfang zu bekommen, ist deshalb eine Prüfung der allgemeinen Geschäftsbedingungen zwingend notwendig. Auch beschaffungstypische Besonderheiten müssen bei jedem grösseren Projekt abgeklärt werden (vgl. Box).?

Grossunternehmen können mit Crowd Testing substanzielle Kosteneinsparungen bei gleich­zeitiger Skalierbarkeit der Leistung erzielen – vo-rausgesetzt, sie arbeiten mit etablierten und erfahrenen Crowd-Testing-Anbietern zusammen. Crowd-Testing-Tools, -Prozesse, -Frameworks und -Methoden sind mittlerweile ausgereift genug, dass sich Crowd Testing leicht in vorhandene Entwicklungsprozesse integrieren lässt. Der Vorteil der Methode: Anwendungen können unter rea­listischen Bedingungen getestet werden, Leistungsdaten und Zugriffsarten lassen sich verfolgen sowie für das Re-Engineering und zur Qualitätsverbesserung verwenden. Zudem erreicht man eine deutliche Beschleunigung der Time-to-Market und kann interne Ressourcen verstärkt auf Kernaufgaben fokussieren.

Checkliste: Wahl des richtigen Anbieters

! KASTEN !

! KASTEN !

! KASTEN !

! KASTEN !

! KASTEN !

! KASTEN !

! KASTEN !

- Serviceinfrastruktur

- Vergütungssysteme

- Soziale Verantwortung

- Skalierbarkeit

- Funktionalität und Qualität von Plattform und Tools

- Risikomanagement