Việc thử nghiệm ứng dụng phát triển cá nhân có thể được giao cho AI không? Kết quả xác minh bằng máy đếm nhịp
Một ví dụ về phát triển máy đếm nhịp sẽ được sử dụng để cho thấy mức độ thử nghiệm ứng dụng phát triển cá nhân có thể được giao phó cho AI. Chúng tôi sẽ tóm tắt việc vượt qua 109 bài kiểm tra tự động, phát hiện lỗi chuyển tiếp màn hình, phân tích 96 bản ghi BPM và phạm vi xác nhận cuối cùng của con người.
Nếu bạn đang tự mình phát triển một ứng dụng, việc tìm đủ thời gian để thử nghiệm là điều không dễ dàng. Điều này là do cần phải thực hiện, kiểm tra hoạt động, ghi lại kết quả và điều tra lỗi bởi một người.
Nhờ sử dụng AI trong quá trình phát triển ứng dụng máy đếm nhịp, tôi đánh giá rằng Trong trường hợp phát triển cá nhân, AI có thể chịu trách nhiệm chính cho việc thử nghiệm.
Họ không chỉ có thể phát hiện ra những khiếm khuyết mà con người đã bỏ sót mà còn có thể xác nhận tính chính xác của nhịp điệu bằng cách sử dụng các phép tính và phân tích ghi lại. Tuy nhiên, việc xác nhận cuối cùng về thông số kỹ thuật, kết quả và quyết định công bố đều do con người thực hiện.
Phạm vi còn lại của AI và phạm vi được con người xác nhận
Trong quá trình phát triển này, chúng tôi đã tiến hành thử nghiệm ở các giai đoạn sau:
| giai đoạn thử nghiệm | Bản dựng đã qua sử dụng |
|---|---|
| địa phương | xây dựng phát triển |
| kiểm tra nội bộ | Bản dựng xác minh |
| kiểm tra chặt chẽ | Xây dựng sản xuất |
Trong bài viết này, "thử nghiệm bằng AI" không chỉ bao gồm vận hành thiết bị đầu cuối bằng AI mà còn bao gồm xác minh bằng cách sử dụng quá trình kiểm tra và phân tích tự động. Không phải mọi thứ đều được xác nhận chỉ thông qua các thao tác trên màn hình AI hoặc phán đoán trực quan.
Chúng tôi giao hầu hết các nhiệm vụ cho AI, chẳng hạn như xác định phối cảnh thử nghiệm, tạo thông số kỹ thuật ở định dạng Excel, vận hành thiết bị đầu cuối, xác định đạt/không đạt, chụp ảnh màn hình và xác nhận việc tái tạo các lỗi.
Dòng chảy cơ bản như sau.
- AI xác định các quan điểm kiểm tra và tạo thông số kiểm tra ở định dạng Excel
- Sau khi đánh giá AI, con người xác nhận phiên bản cuối cùng của thông số kỹ thuật
- AI chạy thử nghiệm trên thiết bị xác minh và ghi lại kết quả cũng như ảnh chụp màn hình
- So sánh kết quả kiểm tra và bằng chứng, sau khi AI xem xét, xác nhận cuối cùng của con người
Để làm bằng chứng, hãy sử dụng ảnh chụp màn hình được chụp trên thiết bị xác minh trong quá trình thực hiện bài kiểm tra. Hình ảnh sẽ không được tạo ra hoặc xử lý bởi thế hệ AI.
Các bản vẽ được con người kiểm tra với sự hỗ trợ của AI. AI chịu trách nhiệm thực thi và con người chịu trách nhiệm kiểm tra các điểm quan trọng về thông số kỹ thuật, kết quả và hình thức.
Khám phá những khuyết điểm mà người khác bỏ qua
Một trong những lỗi được AI phát hiện là Nếu bạn thực hiện một thao tác cụ thể, bạn có thể chuyển sang một màn hình đáng lẽ phải bị loại bỏ.
Tôi sẽ không tiết lộ các thao tác hoặc cấu hình màn hình cụ thể, nhưng đó là sự không nhất quán cho phép bạn quay lại màn hình mà lẽ ra bạn không thể tiếp cận. Theo như chúng tôi đã xác nhận, không có tác hại thực sự nào đối với người dùng nhưng chúng tôi xác định rằng có vấn đề với việc quản lý trạng thái màn hình cần được khắc phục.
Vấn đề này đã bị bỏ sót trong thử nghiệm trên người.
AI thậm chí còn chỉ định các bước để tái tạo nó. Chúng tôi thực hiện các sửa đổi dựa trên nội dung, kiểm tra lại bằng AI và sau đó tiến hành xác nhận cuối cùng bởi con người.
Trong thử nghiệm trước đây, chúng tôi cũng đã phát hiện và khắc phục sự cố trong đó nút hiển thị trong 10 đến 12 nhịp sẽ bị đứt dòng và sự cố giao diện người dùng trong đó thông báo sẽ bao gồm các thao tác nhập/xác nhận.
Khi tự mình triển khai một chức năng, bạn có xu hướng kiểm tra nó bằng cách tập trung vào thao tác dự kiến. Dựa trên kết quả này, tôi cảm thấy AI không chỉ có thể thực hiện công việc cho tôi mà còn đảm nhận vai trò phát hiện các vấn đề mà tôi đã bỏ sót trong quá trình tự kiểm tra.
Xác minh độ chính xác của nhịp thông qua tính toán và ghi âm
Cốt lõi của máy đếm nhịp là khả năng đánh dấu chính xác nhịp điệu ở nhịp độ đã đặt. Do đó, chúng tôi đã kiểm tra vị trí âm thanh được tính toán và khoảng thời gian thực tế giữa các âm thanh.
Kiểm tra tính toán đồng hồ bên trong
Đối với đồng hồ bên trong tạo ra âm thanh, chúng tôi đã tính toán vị trí dự kiến của âm thanh bằng phương pháp tính toán khác với cách thực hiện và so sánh kết quả. Điều này là do lỗi tính toán tương tự sẽ không được chuyển sang giá trị mong đợi.
Các thử nghiệm đồng hồ nội bộ trước đây đã xác minh các điều kiện sau:
| Mục tiêu xác minh | điều kiện |
|---|---|
| Sự kết hợp giữa nhịp độ và số lần chia | 30, 31, 96, 137, 299, 300 BPM x số lần chia từ 1 đến 4. Tương đương với mỗi lần 10 phút |
| tính toán dài | 137 BPM nốt thứ mười sáu tương đương 30 phút |
Trong phạm vi này, chúng tôi đã xác nhận rằng lỗi từ vị trí âm thanh dự kiến nằm trong một mẫu và không có sự trùng lặp ở vị trí âm thanh dự kiến.
"Tương đương 10 phút" và "tương đương 30 phút" là phạm vi xác minh tính toán. Đây không phải là kết quả của việc đo bằng một thiết bị thực tế tiếp tục tạo ra âm thanh trong cùng một khoảng thời gian.
Ghi lại và kiểm tra âm thanh phát ra từ loa
Ngoài các tính toán nội bộ, chúng tôi đã ghi lại và phân tích âm thanh loa thực tế bằng micrô trong khoảng 1 phút ở tốc độ 96 BPM.
Chúng tôi đã phát hiện 88 nhịp từ phần không bao gồm trước và sau khi ghi và thu được kết quả như sau.
| Mục | Kết quả đo |
|---|---|
| Đặt BPM | 96 BPM |
| BPM ước tính | 95.998 BPM |
| khoảng nhịp trung bình | 625,011 ms (giá trị lý thuyết 625 ms) |
| độ lệch chuẩn của khoảng nhịp | Khoảng 1,32 mili giây |
| Phạm vi khoảng nhịp | 622〜628 ms |
Trong điều kiện của chúng tôi, chúng tôi có thể xác nhận rằng nhịp độ trung bình là khoảng 96 BPM. Không có khoảng thời gian dài nào cho thấy nhịp bị thiếu được phát hiện trong khoảng thời gian được phân tích.
Tuy nhiên, 95,998 BPM là ước tính phân tích và không đảm bảo độ chính xác của phép đo ở mức độ lớn đó. Việc phát hiện được thực hiện với gia số 2 ms và bao gồm các lỗi trong hệ thống ghi và phân tích, do đó không thể nói rằng tất cả các biến thể quan sát được là do ứng dụng.
Ngoài ra, âm thanh đầu ra được đo ở tốc độ 96 BPM trong khoảng 1 phút. Âm thanh phát ra ở nhịp độ khác và độ lệch tích lũy do phát lại trong thời gian dài chưa được xác minh.
Nó đặc biệt hữu ích khi không chỉ có thể đánh giá bằng tai rằng không có vấn đề gì mà còn có thể xác nhận nó bằng con số. Việc chúng tôi có thể tiến hành đo lường và phân tích với sự hỗ trợ của AI đã dẫn đến mức độ xác nhận sâu sắc.
Những gì tôi đã xác nhận trong bản dựng sản xuất
Trong bản dựng sản xuất này, 109 bài kiểm tra tự động đã vượt qua. Ngoài ra, tôi đang xác minh hành vi sau trên thiết bị đầu cuối:
- Thay đổi nhịp độ
- Thao tác phát lại khi màn hình tắt
- Dừng thông báo
- Giữ lại cài đặt sau khi khởi động lại
Chúng tôi cũng xác nhận rằng bản âm thanh hoạt động ngay cả khi đèn tắt và mức thiếu bộ đệm cho bản nhạc đó là 0 tại thời điểm thu thập. Kết quả thu được này không đảm bảo rằng sẽ không có hiện tượng ngắt âm thanh trong toàn bộ thời gian phát lại.
Mặc dù chất lượng không thể được xác định chỉ bằng số lần kiểm tra được thực hiện, nhưng bằng cách kết hợp kiểm tra tự động, vận hành thiết bị đầu cuối và phân tích âm thanh đầu ra, chúng tôi có thể kiểm tra từ một góc độ khác.
Những vấn đề còn tồn tại khi ủy thác
Yêu cầu chuẩn bị và duy trì môi trường thực thi
Khi chạy nhiều trình giả lập cùng lúc, CPU và bộ nhớ của PC bị hạn chế. Đối với các thiết bị thực tế, phương thức kết nối và trạng thái tương thích của công cụ vận hành cũng như đối với môi trường thiết bị đầu cuối đám mây, chi phí cũng cần được xem xét.
Ngoài việc xây dựng môi trường ban đầu, còn có những rắc rối trong việc cập nhật các bài kiểm tra để đáp ứng với những thay đổi về màn hình và thông số kỹ thuật.
Mọi người cũng kiểm tra kết quả và bản vẽ dự kiến.
Nếu bản thân kết quả mong đợi là sai thì cho dù bạn có chạy bao nhiêu bài kiểm tra, bạn cũng sẽ không thể đánh giá chính xác kết quả đó. Khi ủy thác việc phát triển và thử nghiệm cho cùng một AI, phải lưu ý rằng cách giải thích thông số kỹ thuật giống nhau có thể được kế thừa.
Vì vậy, việc xác nhận cuối cùng về thông số kỹ thuật và kết quả được thực hiện bởi con người. Điều quan trọng là không để những phần bạn không thể thực hiện hoặc đánh giá vượt qua kỳ thi.
Một số vấn đề về vẽ và cảm giác khó chịu trong quá trình thao tác rất khó đánh giá chỉ từ một bức ảnh tĩnh. Chúng tôi sẽ để lại quá trình sờ và kiểm tra máy thực tế trước khi ra mắt công chúng.
Thông số kỹ thuật và màn hình cũng đóng vai trò là thông tin được chuyển cho các bên bên ngoài.
Thông số kỹ thuật và ảnh chụp màn hình được chuyển đến dịch vụ AI có thể tiết lộ các chức năng và nội dung kinh doanh chưa được tiết lộ. Phải đặc biệt cẩn thận khi xử lý các dự án được ủy thác hoặc dữ liệu người dùng.
Chúng tôi kiểm tra riêng xem dữ liệu có được sử dụng cho việc học hay không, dữ liệu sẽ được lưu trong bao lâu và ai có thể truy cập dữ liệu đó, đồng thời xác định xem hợp đồng và cài đặt được sử dụng có đáp ứng các điều kiện của dự án hay không. Việc sử dụng dữ liệu giả và tài khoản thử nghiệm cũng là điều bạn nên quyết định tại thời điểm thực hiện.
Trong quá trình phát triển cá nhân, bạn có thể chịu trách nhiệm chính về AI.
“Có thể sử dụng riêng AI để thử nghiệm ứng dụng ở cấp chủ sở hữu duy nhất không?”
Câu trả lời của tôi, dựa trên kinh nghiệm của tôi, làhầu hết công việc kiểm tra đều được giao cho bạn. Tuy nhiên, quyết định xác nhận và xuất bản cuối cùng thuộc về người đó.
Ít nhất thì kết quả cũng tốt hơn những gì tôi có thể tự mình đạt được. Điều này là do chúng tôi đã tìm thấy một lỗi mà chúng tôi đã bỏ qua và có thể xác minh mọi thứ từ tính toán nội bộ đến âm thanh đầu ra thực tế.
Điều này không biểu thị sự vượt trội hay thua kém so với kỹ sư phổ thông hoặc kỹ sư QA. Kinh nghiệm của tôi là tôi có thể sử dụng AI để bù đắp cho sự thiếu kỹ năng kiểm tra của tôi cũng như những hạn chế khi tự mình thực hiện cả quá trình phát triển và xác minh.
Các doanh nghiệp tự kinh doanh yêu cầu bạn phải đảm nhận nhiều công việc trong một khoảng thời gian giới hạn. AI cũng yêu cầu sự chuẩn bị và xác nhận, nhưng bằng cách giao cho nó thực hiện lặp đi lặp lại, ghi lại và điều tra vấn đề, bạn có thể dành thời gian đưa ra những quyết định quan trọng.
Khả năng mở rộng khối lượng công việc của một người và tiến tới những xác nhận mà trước đây không thể tiếp cận được. Đây là giá trị quan trọng nhất của thử nghiệm AI khi phát triển máy đếm nhịp.