Kann das Testen persönlicher Entwicklungs-Apps der KI überlassen werden? Überprüfungsergebnisse mit Metronom

Wenn Sie selbst eine App entwickeln, ist es nicht einfach, genügend Zeit zum Testen zu finden. Dies liegt daran, dass die Durchführung, Überprüfung des Betriebs, Protokollierung der Ergebnisse und Untersuchung von Mängeln durch eine Person erfolgen muss.

Aufgrund des Einsatzes von KI bei der Entwicklung der Metronom-App schätze ich, dass bei individueller Entwicklung die KI die Hauptverantwortung für Tests übernehmen kann.

Sie konnten nicht nur Fehler entdecken, die Menschen übersehen hatten, sondern auch die Genauigkeit des Rhythmus mithilfe von Berechnungen und Aufzeichnungsanalysen bestätigen. Die endgültige Bestätigung von Spezifikationen und Ergebnissen sowie die Entscheidung zur Veröffentlichung werden jedoch von Menschen getroffen.

Der der KI überlassene und vom Menschen bestätigte Bereich

Bei dieser Entwicklung haben wir Tests in den folgenden Phasen durchgeführt:

In diesem Artikel umfasst „Testen mittels KI“ nicht nur den Terminalbetrieb mittels KI, sondern auch die Verifizierung mittels automatisierter Test- und Analyseverarbeitung. Nicht alles wurde allein durch KI-Bildschirmoperationen oder visuelle Beurteilung bestätigt.

Wir haben die meisten Aufgaben der KI überlassen, wie z. B. die Bestimmung der Testperspektive, die Erstellung von Spezifikationen im Excel-Format, die Bedienung des Terminals, die Feststellung von Gut/Schlecht, das Anfertigen von Screenshots und die Bestätigung der Reproduktion von Fehlern.

Der grundlegende Ablauf ist wie folgt.

1. KI identifiziert Testperspektiven und erstellt Testspezifikationen im Excel-Format
2. Nach der KI-Überprüfung bestätigt ein Mensch die endgültige Version der Spezifikation
3. AI führt den Test auf dem Verifizierungsgerät durch und zeichnet Ergebnisse und Screenshots auf
4. Vergleichen Sie Testergebnisse und Beweise und nach der KI-Überprüfung die endgültige Bestätigung durch Menschen

Verwenden Sie als Beweis Screenshots, die während der Testdurchführung auf dem Verifizierungsgerät erstellt wurden. Bilder werden von der Generierungs-KI nicht generiert oder verarbeitet.

Die Zeichnungen wurden von Menschen mit Hilfe von KI überprüft. Die KI ist für die Ausführung verantwortlich und der Mensch ist für die Überprüfung der wichtigen Punkte Spezifikationen, Ergebnisse und Erscheinungsbild verantwortlich.

Entdecken Sie Mängel, die andere übersehen haben

Einer der von der KI entdeckten Fehler war: Wenn Sie einen bestimmten Vorgang ausführen, können Sie zu einem Bildschirm wechseln, der hätte verworfen werden sollen.

Ich werde die spezifischen Vorgänge oder die Bildschirmkonfiguration nicht preisgeben, aber es handelt sich um eine Inkonsistenz, die es Ihnen ermöglicht, zu einem Bildschirm zurückzukehren, den Sie eigentlich nicht erreichen sollten. Soweit wir bestätigt haben, ist den Benutzern kein tatsächlicher Schaden entstanden, wir haben jedoch festgestellt, dass ein Problem mit der Bildschirmstatusverwaltung vorliegt, das behoben werden muss.

Dieses Problem wurde bei Tests am Menschen übersehen.

Die KI hat sogar die Schritte zur Reproduktion vorgegeben. Wir nehmen auf der Grundlage des Inhalts Überarbeitungen vor, testen ihn erneut mithilfe von KI und führen dann die endgültige Bestätigung durch Menschen durch.

Bei früheren Tests haben wir außerdem ein Problem entdeckt und behoben, bei dem die Tastenanzeige für 10 bis 12 Schläge Zeilen unterbrach, sowie ein UI-Problem, bei dem Benachrichtigungen Eingabe-/Bestätigungsvorgänge abdeckten.

Wenn Sie eine Funktion selbst implementieren, neigen Sie dazu, sie zu überprüfen, indem Sie sich auf die erwartete Operation konzentrieren. Basierend auf diesem Ergebnis habe ich das Gefühl, dass KI nicht nur die Arbeit für mich erledigen kann, sondern auch die Rolle übernehmen kann, Probleme aufzugreifen, die ich bei meinen eigenen Kontrollen übersehen habe.

Überprüfung der Rhythmusgenauigkeit durch Berechnung und Aufzeichnung

Der Kern eines Metronoms ist seine Fähigkeit, einen Rhythmus in einem festgelegten Tempo genau anzugeben. Daher haben wir die berechnete Sondierungsposition und den tatsächlichen Abstand zwischen den Tönen überprüft.

Überprüfen Sie die Berechnungen der internen Uhr

Für die interne Uhr, die den Ton erzeugt, haben wir die erwartete Position des Tons mithilfe einer von der Implementierung abweichenden Berechnungsmethode berechnet und die Ergebnisse verglichen. Dies liegt daran, dass derselbe Berechnungsfehler nicht auf den erwarteten Wert übertragen wird.

Frühere Tests der internen Uhr haben die folgenden Bedingungen bestätigt:

Innerhalb dieses Bereichs haben wir bestätigt, dass der Fehler von der erwarteten Sondierungsposition innerhalb einer Probe lag und dass es keine Überlappung bei der erwarteten Sondierungsposition gab.

„Entspricht 10 Minuten“ und „entspricht 30 Minuten“ sind Berechnungsüberprüfungsbereiche. Dies ist nicht das Ergebnis einer Messung mit einem tatsächlichen Gerät, das für die gleiche Zeitdauer weiterhin Ton erzeugt.

Nehmen Sie den aus den Lautsprechern kommenden Ton auf und prüfen Sie ihn

Zusätzlich zu internen Berechnungen haben wir den tatsächlichen Sprecherklang mit einem Mikrofon etwa 1 Minute lang bei 96 BPM aufgezeichnet und analysiert.

Wir haben 88 Schläge aus dem Abschnitt mit Ausnahme vor und nach der Aufnahme erkannt und die folgenden Ergebnisse erhalten.

Unter unseren Bedingungen konnten wir bestätigen, dass das durchschnittliche Tempo etwa 96 BPM betrug. Im analysierten Intervall wurden keine langen Intervalle erkannt, die auf fehlende Schläge hinweisen.

Allerdings ist 95,998 BPM eine analytische Schätzung und garantiert keine Messgenauigkeit bis zu dieser Größenordnung. Die Erkennung erfolgt in 2-ms-Schritten und berücksichtigt Fehler im Aufzeichnungs- und Analysesystem, sodass nicht gesagt werden kann, dass alle beobachteten Abweichungen auf die App zurückzuführen sind.

Außerdem wurde der ausgegebene Ton etwa 1 Minute lang mit 96 BPM gemessen. Die Tonausgabe bei anderen Tempi und die kumulative Abweichung aufgrund langer Wiedergabe wurden nicht überprüft.

Es war besonders nützlich, nicht nur mit meinen Ohren beurteilen zu können, dass kein Problem vorlag, sondern es auch numerisch bestätigen zu können. Die Tatsache, dass wir mit der Unterstützung von KI mit der Messung und Analyse fortfahren konnten, führte zu der Tiefe der Bestätigung.

Was ich im Produktionsaufbau bestätigt habe

In diesem Produktionsaufbau wurden 109 automatisierte Tests bestanden. Abgesehen davon überprüfe ich das folgende Verhalten auf dem Terminal:

• Tempowechsel
• Wiedergabebetrieb bei ausgeschaltetem Bildschirm
• Stoppen Sie Benachrichtigungen
• Behalten Sie die Einstellungen nach dem Neustart bei

Wir haben außerdem bestätigt, dass die Audiospur auch bei ausgeschaltetem Licht funktioniert und dass der Puffermangel für diese Spur zum Zeitpunkt der Erfassung 0 beträgt. Dieses erzielte Ergebnis garantiert nicht, dass es während der gesamten Wiedergabedauer zu keinen Tonaussetzern kommt.

Obwohl die Qualität nicht allein durch die Anzahl der durchgeführten Tests bestimmt werden kann, konnten wir durch die Kombination von automatischen Tests, Terminalbetrieb und Analyse des ausgegebenen Tons die Überprüfung aus einer anderen Perspektive durchführen.

Probleme, die beim Anvertrauen bestehen bleiben

Erfordert die Vorbereitung und Wartung der Ausführungsumgebung

Wenn mehrere Emulatoren gleichzeitig ausgeführt werden, stellen die CPU und der Speicher des PCs Einschränkungen dar. Bei tatsächlichen Geräten sollten auch die Verbindungsmethode und der Kompatibilitätsstatus des Betriebstools sowie bei Cloud-Terminalumgebungen die Kosten berücksichtigt werden.

Zusätzlich zum Aufbau der anfänglichen Umgebung gibt es auch den Aufwand, Tests als Reaktion auf Änderungen an Bildschirmen und Spezifikationen zu aktualisieren.

Die Leute überprüfen auch die erwarteten Ergebnisse und Zeichnungen.

Wenn das erwartete Ergebnis selbst falsch ist, können Sie es unabhängig von der Anzahl der durchgeführten Tests nicht richtig auswerten. Wenn Entwicklung und Test derselben KI anvertraut werden, muss darauf geachtet werden, dass möglicherweise dieselbe Spezifikationsinterpretation vererbt wird.

Daher erfolgt die endgültige Bestätigung von Spezifikationen und Ergebnissen durch den Menschen. Es ist auch wichtig, dass Sie die Prüfungsaufgaben nicht bestehen, wenn Sie nicht in der Lage sind, sie auszuführen oder zu beurteilen.

Einige Zeichnungsprobleme und Unannehmlichkeiten während der Bedienung lassen sich anhand eines Standbilds nur schwer beurteilen. Wir überlassen den Prozess des Anfassens und Überprüfens der tatsächlichen Maschine, bevor wir sie der Öffentlichkeit zugänglich machen.

Spezifikationen und Bildschirme dienen auch als Informationen zur Weitergabe an Externe.

An den KI-Dienst weitergegebene Spezifikationen und Screenshots können unbekannte Funktionen und Geschäftsinhalte offenbaren. Beim Umgang mit anvertrauten Projekten oder Nutzerdaten ist besondere Sorgfalt geboten.

Wir prüfen gesondert, ob die Daten zum Lernen genutzt werden, wie lange sie gespeichert werden, wer darauf Zugriff hat und prüfen, ob der Vertrag und die zu nutzenden Einstellungen den Bedingungen des Projekts entsprechen. Auch die Verwendung von Dummy-Daten und Testkonten sollten Sie bereits bei der Implementierung festlegen.

In der Persönlichkeitsentwicklung können Sie in erster Linie für KI verantwortlich sein.

„Ist es in Ordnung, KI allein für App-Tests auf Einzelunternehmerebene zu verwenden?“

Meine Antwort, basierend auf meiner Erfahrung, ist, dass der Großteil der Testarbeit Ihnen überlassen bleibt. Die endgültige Bestätigung und Entscheidung zur Veröffentlichung bleibt jedoch der Person überlassen.

Zumindest waren die Ergebnisse besser als das, was ich alleine erreichen konnte. Dies liegt daran, dass wir einen Fehler gefunden haben, den wir übersehen hatten, und alles von internen Berechnungen bis hin zum tatsächlichen Ausgabesound überprüfen konnten.

Dies bedeutet keine Überlegenheit oder Unterlegenheit gegenüber allgemeinen Ingenieuren oder Qualitätssicherungsingenieuren. Ich habe die Erfahrung gemacht, dass ich KI nutzen konnte, um meinen Mangel an Testfähigkeiten und die Einschränkungen, die sich daraus ergeben, sowohl die Entwicklung als auch die Verifizierung selbst durchzuführen, auszugleichen.

Selbstständige Unternehmen erfordern, dass Sie in einer begrenzten Zeit mehrere Aufgaben übernehmen. KI erfordert ebenfalls Vorbereitung und Bestätigung, aber indem Sie ihr die wiederholte Ausführung, Aufzeichnung und Problemuntersuchung anvertrauen, können Sie Ihre Zeit damit verbringen, wichtige Entscheidungen zu treffen.

Möglichkeit, die Arbeitsbelastung einer Person zu erweitern und zu Bestätigungen vorzudringen, die zuvor nicht erreichbar waren. Dies ist der wichtigste Wert von KI-Tests bei der Entwicklung des Metronoms.