Google Play Console: Pre-Launch Berichte

Automatisierte Tests

Pre-Launch-Berichte sind automatisiert erstellte Berichte, die die Qualität einer App messen. Zur Generierung der Berichte durchläuft die App verschiedenste Tests.

Die Tests bilden unzählige Szenarien und Interaktionen ab, die mit einem Android Gerät möglich sind. Dabei werden die verschiedenen Android Versionen auf einer großen Auswahl an simulierten und physischen Geräten unterschiedlichster Herstellern genutzt.

Innerhalb von nur wenigen Minuten durchlaufen die Tests die komplette App des Entwicklers.

Die Pre-Launch-Berichte sind Teil des Veröffentlichungsprozesses, den Apps beim Hochladen in einer der verschiedenen Strecken („Tracks“) im Play Store durchlaufen.

Übersicht der Tracks

Die verschiedenen Tracks, unterscheiden sich durch die Zugänglichkeit für die Testgruppen. Google bietet hierbei vier Tracks an.

Test-Kategorien

Die im Anschluss an die Tests erstellten Berichte klären den Entwickler genau über die entdeckten Probleme in den folgenden Kategorien auf:

• Stabilität
• Kompatibilität
• Leistung
• Barrierefreiheit
• Sicherheit

Beim Stabilitätstest werden Abstürze der App aufgezeichnet und festgehalten. Die Tests sind speziell darauf ausgelegt kritische Stellen zu finden, an denen die App abstürzt und das Nutzererlebnis dadurch stark eingeschränkt wird. Sie werden dabei auf vielen verschiedenen Geräten durchgeführt, um mögliche geräteabhängige Fehler zu finden. Der Entwickler erhält dabei eine Übersicht zu jedem Test-Gerät, der zugehörigen Android-Version, die Anzahl der Abstürze, einen Stacktrace und die Log-Meldungen zur Nutzung der App. Den Fehlerbeschreibungen sind zusätzlich noch Screenshots und Videos beigefügt, um die Fehlerbehebung möglichst effizient zu gestalten.

Die Kompatibilitätstests überprüfen alle APIs, die nicht im öffentlichen Android SDK enthalten sind. Es wird dabei festgestellt, in wie weit diese mit den unterschiedlichen Geräten und Systemen kompatibel sind. Die Kompatibilitätsprobleme werden in die drei Prioritäts-Stufen „Restricted“,“supported but with restriction imminent“ und „Unsupported, restriction not imminent“ eingeteilt. Zu jeder inkompatiblen API gibt der Pre-Launch-Bericht eine Erklärung zur möglichen Inkompatibilität ab.

Die Tests aus der Kategorie Leistung messen die benötigten Ressourcen beim Ausführen der App. Der Testbericht beinhaltet die folgenden Metriken:

• Bilder pro Sekunde („Average frames per second“)
• CPU-Auslastung („Average CPU“)
• Netzwerk: gesendete Bytes / Sekunde („Average network sent“)
• Netzwerk: empfangene Bytes / Sekunde („Average network received“)
• Arbeitsspeicher („Average memory“)

Abbildung 1: Test Bericht

Die Metriken visualisieren dem Entwickler wichtige Details zur Leistung der App. Die Daten können dabei als Durchschnittswert aller Geräte abgerufen werden oder gerätespezifisch mit einer Bildschirmaufnahme der Nutzung überwacht werden.

Bei den Tests zur Barrierefreiheit wird die Bedienbarkeit der Applikation analysiert. Hierbei werden die Größe der Bedienelemente und deren Sichtbarkeit ausgewertet und die Nutzbarkeit für die verschiedenen Nutzergruppen betrachtet (bspw. für Schreibrichtungen von rechts nach links). Ein bedeutender Vorteil der Tests zur Barrierefreiheit ist die Nutzung mehrerer Sprachen. Dadurch können mögliche UI-Probleme aufgedeckt werden, die bspw. durch längere Texte in anderen Sprache entstehen können.

Sicherheitstests untersuchen den Code der App auf Sicherheitslücken, die von Angreifern ausgenutzt werden könnten. Die gefundenen Sicherheitslücken sollten vor der Veröffentlichung der App behoben werden.

Testergebnisse

Die Testergebnisse aller Test-Kategorien werden in drei verschiedene Stufen eingeteilt:

Die problematischsten Ergebnisse werden als „Fehler“ eingestuft. Fehler verhindern die Nutzung der App oder schränken das Nutzererlebnis stark ein. Die gefunden Probleme sollten vor der Veröffentlichung der App behoben werden.

In der Stufe „Warnungen“ werden die Probleme mittlerer Qualität eingestuft. Warnungen umfassen Probleme, die die Nutzung der App erschweren oder zukünftig verhindern könnten.

„Kleinere Probleme“ decken die unterste Stufe der Kategorisierung der gefundenen Problemen ab. Es fallen dabei vor allem Probleme an der Gestaltung des User Interfaces und kleinere Probleme an der Implementierung (zumeist einfach nur Stilprobleme) an. Bemängelt werden hier oft fehlende oder nicht sichtbare Beschreibungen, schlecht lesbare Farbkontraste und zu kleine Bereiche für Touch-Elemente.

Abbildung 2: Test Ergebnis

Einschränkungen

Will man Pre-Launch Berichte für sein Projekt verwenden, so muss man die folgenden Punkte berücksichtigen:

• Alle Test-Geräte, die zur Generierung der Pre-Launch-Berichte eingesetzt werden befinden sich in den Vereinigten Staaten. Die App darf daher keinen lokalen Restriktionen unterliegen.
• Unter den Test-Geräten befinden sich ausschließlich Smartphones und Tablets. Wearables, TVs und andere Geräte sind von den Tests ausgeschlossen.
• Apps, die ein Abo-Modell nutzen, können nur bedingt getestet werden, da von den Test-Szenarios keine In-App-Käufe unterstützt werden.
• Außerdem können nur native UIs getestet werden. Apps, die mit OpenGL und Unity3D erstellt wurden können daher nicht getestet werden. Alle Tests werden dabei in der Portrait-Ausrichtung ausgeführt.