Đặt ngưỡng kiểm tra bằng ma trận nhầm lẫn

Vấn đề cần kiểm chứng

Ngưỡng phải cân bằng lọt lỗi và loại nhầm hàng tốt. Độ đúng tổng có thể che lọt lỗi khi hàng tốt chiếm đa số.

Đây là phương pháp chạy thử không phụ thuộc hãng. Trước khi đổi thiết lập, hãy kiểm tra hướng dẫn đúng model camera, ống kính, cảm biến hoặc bộ điều khiển. Các số trong bảng chỉ là giả định, không phải kết quả đo của Deyi Vision hay thông số sản phẩm.

Điều kiện áp dụng

Định dương là lỗi và dự đoán dương là loại. Gán nhãn chuẩn độc lập; chia theo chi tiết/lô để ảnh lặp không lọt giữa tập chỉnh và kiểm.

Quy định dương tính là sản phẩm lỗi, dự đoán dương là loại bỏ và ghi mọi nơi. Nhãn thật phải độc lập detector đang chỉnh. Chốt chi phí và tỷ lệ bỏ sót/loại nhầm trước. Nhãn chưa chắc cần quy trình phân xử có hồ sơ để không nhầm tranh chấp nhãn với lỗi detector.

Thiết bị và hồ sơ

Chuẩn bị mẫu nhiều mức lỗi, vị trí và lô. Giữ điểm liên tục, ID ảnh và nhãn tranh cãi; thống nhất giới hạn trước khi xem kết quả.

Lập sổ mã sản phẩm vật lý, lô, nhãn lỗi, chứng cứ, ảnh gốc, score và tập chia. Giữ ảnh lặp cùng sản phẩm và lô liên quan trong cùng tập; để tập xác minh không dùng khi chỉnh. Ghi hướng score và phiên bản tiền xử lý để ngưỡng thấp có nghĩa rõ.

Thực hiện thử nghiệm

1. Chỉnh ngưỡng chỉ trên tập phát triển, ghi rõ dấu bất đẳng thức loại.
2. Đếm TP,FN,FP,TN theo thứ tự trục/nhãn cố định.
3. Chọn điểm theo giới hạn, khóa ngưỡng và tiền xử lý.
4. Thử tập độc lập chưa dùng và tỷ lệ sản xuất; báo số cùng mẫu số theo loại lỗi.

Đánh giá ngưỡng trên tập chỉnh, giữ dự đoán riêng từng mẫu. Ghi rõ trục thật/dự đoán, xem trường hợp lệch bằng ảnh và nhãn. Chọn theo chính sách trước rồi khóa. Nghiệm thu bằng tập chưa dùng; nếu chỉnh lại sau đó, cần chứng cứ xác minh độc lập cho ứng viên mới.

Bảng tính giả định

Giả định 100 lỗi và 1000 tốt cho TP 92,FN 8,FP 20,TN 980: recall 92%, loại nhầm 2%, precision 82.14%. Ngưỡng thấp hơn cho 98, 2, 50, 950 giảm lọt nhưng tăng loại nhầm lên 5%; không điểm nào tự được chấp nhận.

Positive = defective part; predicted positive = reject
TP=92; FN=8; FP=20; TN=980
recall = 92 / (92 + 8) = 92%
false_reject_rate = 20 / (20 + 980) = 2%
precision = 92 / (92 + 20) = 82.14%
At a second hypothetical threshold: TP=98,FN=2,FP=50,TN=950

Ví dụ đổi ít bỏ sót hơn lấy nhiều loại nhầm hơn. Recall chia mọi mẫu lỗi, loại nhầm chia mọi mẫu tốt, precision chia mọi mẫu bị loại. Giữ số đếm và mẫu số. Không tự duyệt khi chưa có giới hạn; precision của hỗn hợp thử dựng sẵn không chuyển nguyên sang tần suất lỗi sản xuất khác.

Trình tự thử nghiệm

Diễn giải bằng chứng

Xem mẫu ở cả hai ô lỗi để tìm cơ chế chung. Tách loại lỗi, vị trí và vật liệu liên quan rủi ro. Recall chung tốt có thể che lỗi hiếm bắt buộc; texture vô hại có thể chiếm loại nhầm. Sổ từng mẫu nối số tổng với trường hợp xử lý được.

Xử lý sự cố

• Độ đúng cao nhưng recall lỗi thấp là mất cân bằng lớp.
• Ảnh lặp một chi tiết ở cả hai tập là rò thông tin; chia lại theo chi tiết/lô.

Xác minh xấu sau tuning cần kiểm tra leakage, vật liệu và tiền xử lý trước khi tìm ngưỡng khác. Score đảo chiều cần sửa cách hiểu, không đổi lớp thật. Nhãn lỗi mơ hồ cần giữ bất đồng và phân xử độc lập. Không thấy bỏ sót trong tập hữu hạn không chứng minh xác suất bằng 0.

Nghiệm thu và bàn giao

Chấp nhận thiết lập khóa đạt riêng giới hạn lọt và loại nhầm trên dữ liệu độc lập. Nêu số, tỷ lệ và lớp chưa thử; không quan sát lọt trên tập hữu hạn không chứng minh xác suất 0.

Lưu dữ liệu gốc, thiết lập, mã mẫu và giới hạn quyết định trong cùng hồ sơ. Dùng các hướng dẫn chuẩn bị và sản phẩm liên quan bên dưới để trao đổi yêu cầu đã ghi với Deyi Vision.

Tập độc lập phải đạt giới hạn từng lớp và bao phủ lỗi bắt buộc. Kiểm tra pipeline thật dùng cùng hướng score, tiền xử lý, recipe và chính sách đầu vào biên/invalid. Lưu dự đoán, số đếm và ảnh lỗi. Định rõ thay đèn, vật liệu, camera hoặc quần thể lỗi khi nào phải xác minh lại.