¿Se pueden dejar las pruebas de aplicaciones de desarrollo personal en manos de la IA? Resultados de verificación con metrónomo.

Si está desarrollando una aplicación usted mismo, no es fácil encontrar suficiente tiempo para probarla. Esto se debe a que es necesario que una sola persona implemente, verifique el funcionamiento, registre los resultados e investigue los defectos.

Como resultado del uso de IA en el desarrollo de la aplicación de metrónomo, evalúo que en el caso del desarrollo individual, la IA puede ser la principal responsabilidad de las pruebas.

No solo pudieron descubrir defectos que los humanos habían pasado por alto, sino que también pudieron confirmar la precisión del ritmo mediante cálculos y análisis de registros. Sin embargo, la confirmación final de las especificaciones y resultados y la decisión de publicarlos son tomadas por humanos.

El alcance que le queda a la IA y el alcance confirmado por los humanos

En este desarrollo, realizamos pruebas en las siguientes etapas:

En este artículo, las "pruebas utilizando IA" incluyen no solo la operación del terminal utilizando IA, sino también la verificación mediante pruebas automatizadas y procesamiento de análisis. No todo se confirmó únicamente mediante operaciones de pantalla de IA o juicio visual.

Dejamos la mayoría de las tareas a la IA, como determinar la perspectiva de las pruebas, crear especificaciones en formato Excel, operar el terminal, determinar si pasa o falla, tomar capturas de pantalla y confirmar la reproducción de defectos.

El flujo básico es el siguiente.

1. La IA identifica perspectivas de prueba y crea especificaciones de prueba en formato Excel
2. Después de la revisión de la IA, un humano confirma la versión final de la especificación
3. La IA ejecuta la prueba en el dispositivo de verificación y registra los resultados y capturas de pantalla.
4. Compare los resultados de las pruebas y la evidencia y, después de la revisión de la IA, la confirmación final por parte de los humanos.

Como prueba, utilice capturas de pantalla tomadas en el dispositivo de verificación durante la ejecución de la prueba. Las imágenes no serán generadas ni procesadas por la generación AI.

Los dibujos fueron revisados por humanos con la ayuda de IA. La IA está a cargo de la ejecución y los humanos son responsables de verificar los puntos importantes de especificaciones, resultados y apariencia.

Descubra defectos que otros pasaron por alto

Uno de los errores descubiertos por la IA fue Si realizas una operación específica, podrías pasar a una pantalla que debería haber sido descartada.

No revelaré las operaciones específicas ni la configuración de la pantalla, pero es una inconsistencia que te permite regresar a una pantalla a la que no deberías poder acceder. Hasta donde hemos confirmado, no hubo ningún daño real para los usuarios, pero determinamos que había un problema con la administración del estado de la pantalla que debía solucionarse.

Este problema no se detectó en las pruebas en humanos.

La IA incluso especificó los pasos para reproducirlo. Hacemos revisiones basadas en el contenido, lo volvemos a probar usando IA y luego realizamos la confirmación final por parte de humanos.

En pruebas anteriores, también descubrimos y solucionamos un problema por el cual la visualización del botón durante 10 a 12 tiempos rompía las líneas, y un problema de la interfaz de usuario donde las notificaciones cubrían las operaciones de entrada/confirmación.

Cuando implementas una función tú mismo, tiendes a comprobarla centrándote en la operación esperada. Con base en este resultado, siento que la IA no solo puede realizar el trabajo por mí, sino que también puede asumir la función de detectar los problemas que omití durante mis propias comprobaciones.

Verificar la precisión del ritmo mediante cálculo y registro.

El núcleo de un metrónomo es su capacidad para marcar con precisión un ritmo a un tempo determinado. Por lo tanto, verificamos la posición de sonido calculada y el intervalo real entre los sonidos.

Verificar los cálculos del reloj interno

Para el reloj interno que genera el sonido, calculamos la posición esperada del sonido utilizando un método de cálculo diferente al de la implementación y comparamos los resultados. Esto se debe a que el mismo error de cálculo no se trasladará al valor esperado.

Las pruebas anteriores del reloj interno han verificado las siguientes condiciones:

Dentro de este rango, confirmamos que el error de la posición de sonido esperada estaba dentro de una muestra y que no hubo superposición en la posición de sonido esperada.

"Equivalente a 10 minutos" y "equivalente a 30 minutos" son rangos de verificación de cálculo. Este no es el resultado de medir con un dispositivo real que continúa produciendo sonido durante la misma cantidad de tiempo.

Graba y comprueba el sonido que sale de los altavoces.

Además de los cálculos internos, grabamos y analizamos el sonido real del altavoz con un micrófono durante aproximadamente 1 minuto a 96 BPM.

Detectamos 88 latidos de la sección excluyendo antes y después de la grabación, y obtuvimos los siguientes resultados.

Bajo nuestras condiciones, pudimos confirmar que el tempo promedio era de aproximadamente 96 BPM. No se detectaron intervalos largos que indicaran latidos faltantes en el intervalo analizado.

Sin embargo, 95,998 BPM es una estimación analítica y no garantiza una precisión de medición de hasta ese orden de magnitud. La detección se realiza en incrementos de 2 ms e incluye errores en el sistema de registro y análisis, por lo que no se puede decir que todas las variaciones observadas se deban a la aplicación.

Además, el sonido de salida se midió a 96 BPM durante aproximadamente 1 minuto. No se ha verificado el sonido de salida en otros tempos ni la desviación acumulativa debido a una reproducción prolongada.

Fue particularmente útil no sólo poder juzgar con mis oídos que no había ningún problema, sino también poder confirmarlo numéricamente. El hecho de que pudiéramos proceder con la medición y el análisis con el apoyo de la IA nos llevó a una profunda confirmación.

Lo que confirmé en la versión de producción.

En esta versión de producción, se superaron 109 pruebas automatizadas. Aparte de esto, estoy verificando el siguiente comportamiento en la terminal:

• cambio de tempo
• Operación de reproducción cuando la pantalla está apagada
• Dejar de recibir notificaciones
• Conservar la configuración después de reiniciar

También confirmamos que la pista de audio funciona incluso cuando las luces están apagadas y que la escasez de búfer para esa pista es 0 en el momento de la adquisición. Este resultado obtenido no garantiza que no habrá interrupciones de sonido durante todo el período de reproducción.

Aunque la calidad no puede determinarse únicamente por la cantidad de pruebas realizadas, al combinar pruebas automáticas, operación del terminal y análisis del sonido de salida, pudimos verificar desde una perspectiva diferente.

Cuestiones que quedan al confiar

Requiere preparación y mantenimiento del entorno de ejecución.

Cuando se ejecutan varios emuladores al mismo tiempo, la CPU y la memoria de la PC son limitaciones. Para los dispositivos reales, el método de conexión y el estado de compatibilidad de la herramienta operativa, y para los entornos de terminales en la nube, también se deben considerar los costos.

Además de crear el entorno inicial, también existe la molestia de actualizar las pruebas en respuesta a cambios en las pantallas y especificaciones.

La gente también comprueba los resultados y dibujos esperados.

Si el resultado esperado es incorrecto, no importa cuántas pruebas ejecute, no podrá evaluarlo correctamente. Al confiar el desarrollo y las pruebas a la misma IA, se debe tener cuidado de que se pueda heredar la misma interpretación de las especificaciones.

Por lo tanto, la confirmación final de las especificaciones y resultados la realizan humanos. También es importante no permitir que los elementos que no pudo realizar o juzgar aprueben el examen.

Algunos problemas de dibujo y molestias durante la operación son difíciles de juzgar simplemente con una imagen fija. Dejaremos el proceso de tocar y comprobar la máquina real antes de lanzarla al público.

Las especificaciones y las pantallas también sirven como información para transmitir a terceros.

Las especificaciones y capturas de pantalla transmitidas al servicio de IA pueden revelar funciones y contenido comercial no revelados. Se debe tener especial cuidado al manejar proyectos confiados o datos de usuario.

Verificamos por separado si los datos se utilizarán para el aprendizaje, durante cuánto tiempo se guardarán y quién puede acceder a ellos, y determinamos si el contrato y la configuración que se utilizarán cumplen con las condiciones del proyecto. El uso de datos ficticios y cuentas de prueba también es algo que usted debe decidir en el momento de la implementación.

En el desarrollo personal, usted puede ser el principal responsable de la IA.

"¿Está bien utilizar la IA únicamente para probar aplicaciones a nivel de propietario único?"

Mi respuesta, basada en mi experiencia, es que la mayor parte del trabajo de prueba queda en tus manos. Sin embargo, la confirmación final y la decisión de publicar quedan en manos de la persona.

Como mínimo, los resultados fueron mejores de los que pude lograr por mí mismo. Esto se debe a que encontramos un error que habíamos pasado por alto y pudimos verificar todo, desde los cálculos internos hasta el sonido de salida real.

Esto no indica superioridad o inferioridad con respecto a los ingenieros generales o los ingenieros de control de calidad. Mi experiencia fue que pude usar la IA para compensar mi falta de habilidades de prueba y las limitaciones de realizar el desarrollo y la verificación por mi cuenta.

Las empresas que trabajan por cuenta propia requieren que usted desempeñe varias funciones en un período de tiempo limitado. La IA también requiere preparación y confirmación, pero al confiarle la ejecución, el registro y la investigación de problemas repetitivos, puede dedicar su tiempo a tomar decisiones importantes.

Capacidad de ampliar la carga de trabajo de una persona y avanzar a confirmaciones que antes eran inalcanzables. Este es el valor más importante de las pruebas de IA al desarrollar el metrónomo.