시험으로 확인할 사항
임계값은 불량 유출과 정상품 배제를 함께 평가해야 합니다. 정상품이 많으면 전체 정확도가 유출을 숨길 수 있습니다.
이 글은 제조사에 종속되지 않는 시운전 시험 방법입니다. 설정을 변경하기 전에 실제 카메라, 렌즈, 센서 또는 제어기의 모델별 매뉴얼을 확인하세요. 계산표의 수치는 가정값이며 Deyi Vision의 실측 결과나 제품 사양이 아닙니다.
적용 조건
양성은 불량, 예측 양성은 배제로 정의합니다. 독립 정답을 정하고 반복 영상이 조정·검증에 섞이지 않도록 실제 부품·로트로 분리합니다.
양성은 결함품, 양성 예측은 배출로 정의하고 모든 표에 명시합니다. 정답은 조정 중인 검출기와 독립적으로 정합니다. 누락·과잉 배출의 비용과 허용률을 먼저 합의합니다. 불명 라벨은 기록된 판정 절차를 사용해 정답 불일치를 검출 오류와 혼동하지 않습니다.
시험 장비와 기록
결함 정도, 위치와 재료 로트를 포함한 시료를 준비합니다. 연속 점수, 영상 ID와 논쟁 라벨을 보존하며 결과 전 유출·배제 한계를 정합니다.
물리 부품 ID, 로트, 결함 라벨, 근거, 원시 영상, 점수와 분할을 기록합니다. 같은 부품의 반복 영상과 관련 로트는 같은 분할에 묶고 검증 세트는 튜닝에 사용하지 않습니다. 점수 방향과 전처리 버전으로 낮은 임계값의 의미를 명확히 합니다.
시험 절차
- 개발 세트에서만 후보를 조정하고 배제 부등호를 명시한다.
- 축과 라벨 순서를 고정하고 TP,FN,FP,TN을 센다.
- 기준으로 운전점을 선택하고 임계값과 전처리를 고정한다.
- 미사용 검증 세트와 실제 혼합비를 시험하고 결함별 수와 분모를 보고한다.
튜닝 세트에서 후보와 개별 예측을 보관합니다. 정답·예측 축을 명시하고 불일치를 영상·근거로 확인합니다. 사전 정책으로 선택하여 고정하고 미사용 세트로 인수합니다. 재조정했다면 새 후보의 독립 검증을 준비합니다.
가정값을 사용한 계산표
가정 불량100개와 정상1000개에서 TP92,FN8,FP20,TN980이면 재현율92%, 정상 배제율2%, 정밀도82.14%입니다. 낮은 임계값에서 TP98, FN2, FP50, TN950은 유출을 줄이나 배제율을5%로 늘립니다. 어느 점도 자동 합격이 아닙니다.
Positive = defective part; predicted positive = reject
TP=92; FN=8; FP=20; TN=980
recall = 92 / (92 + 8) = 92%
false_reject_rate = 20 / (20 + 980) = 2%
precision = 92 / (92 + 20) = 82.14%
At a second hypothetical threshold: TP=98,FN=2,FP=50,TN=950| 항목 | 가정값 | 의미 |
|---|---|---|
| 참양성 | 92 | 불량 배제 |
| 거짓음성 | 8 | 불량이지만 통과 |
| 거짓양성 | 20 | 정상이지만 배제 |
| 참음성 | 980 | 정상 통과 |
예는 누락 감소와 과잉 배출 증가의 교환입니다. 재현율은 전체 결함품, 오배출률은 전체 양품, 정밀도는 전체 배출품이 분모입니다. 건수와 분모를 보관하고 공정 한계 없이 승인하지 않습니다. 인위적 시험 혼합의 정밀도를 다른 생산 결함 빈도에 그대로 적용하지 않습니다.
시험 흐름
시험 흐름
실제 불량·정상과 배제·통과를 교차하여 네 셀을 모두 확인합니다.
- 불량 배제
- 불량 통과
- 정상 배제
- 정상 통과
결과 해석
결과 해석
독립 검증과 실제 혼합 시험 전에 임계값을 고정합니다.
- 정답 라벨
- 조정
- 고정
- 검증
양 오류 셀의 부품을 검토하고 위험 관련 결함 종류·위치·재질을 구분합니다. 좋은 전체 재현율이 희귀 필수 결함의 부진을 숨길 수 있고 무해한 질감이 오배출을 지배할 수 있습니다. 개별 대장으로 수치를 실제 사례에 연결합니다.
문제 해결
- 전체 정확도는 높고 결함 재현율이 낮으면 클래스 불균형을 점검한다.
- 같은 부품의 반복 영상이 양 세트에 있으면 정보 누설이므로 부품·로트로 다시 나눈다.
검증 악화는 재튜닝 전에 누출, 재질 변화와 전처리를 조사합니다. 역방향 점수는 해석을 고치고 정답 클래스를 바꾸지 않습니다. 애매한 결함은 불일치를 보관하고 독립 판정합니다. 유한 시험의 누락 0이 확률 0을 증명하지는 않습니다.
인수 판정과 인계
고정 설정이 독립 자료의 유출·정상 배제 기준을 각각 만족해야 합니다. 수, 혼합비와 미검증 결함을 명시하며 유한 시험의 유출0을 확률0으로 해석하지 않습니다.
원시 데이터, 설정, 시료 ID와 판정 한계를 함께 보관하세요. 아래 관련 제품과 준비 가이드를 참고하여 기록된 요구 사항을 Deyi Vision과 검토할 수 있습니다.
독립 세트에서 클래스별 한계와 필수 결함 커버리지를 만족합니다. 생산 점수 방향, 전처리, 레시피와 경계·무효 입력 정책을 확인합니다. 개별 예측, 건수와 오류 예를 보관하고 조명·재질·카메라·결함 모집단 변경의 재검증 조건을 정합니다.
출처와 기술 참고 자료
참고 자료는 이 안내의 방법과 한계를 설명합니다. 예시 확인 절차는 참고용이며, 생산 수락 판정에는 실제 샘플을 통한 근거가 필요합니다.
- confusion_matrixscikit-learn확인일
- Precision-Recallscikit-learn확인일
부품 및 선정 참고 자료
- 시각적 검사 시스템 설계 체크리스트
- 머신 비전 승인 테스트 체크리스트
- 자동 비전 검사
- 머신비전 시스템
- 배터리 탭 용접 높이 검사
- 발루프 비전 센서 대안
- 데이터로직 바코드 리더 대안
- Banner Vision Sensor Alternative · 영어 참고 자료
- 가시 조립 검증 실패 원인 분리 절차
- EAN-13 추적: 중복과 판독 누락
- 가시 액면 검사를 위한 카메라 설정과 촬영 조건
- 가시 액체 경계를 위한 조명과 ROI 설정 비교
- 불안정한 가시 액면 판정의 원인 구분과 진단
- 레이저 프로파일 기준면과 결측 처리를 확인하기
- OCR 라벨: 미판독과 잘못된 문자
- 개방 포장 완전성 검사를 위한 카메라 설정
- 개방 포장 내용물 조명과 ROI 선택 절차
- 포장 완전성 오판정 원인 분리 절차
- 실링·비드 외관: 틈 진단
- SKU 색상 분류: 채널과 드리프트 진단
- 표면 결함: 오경보 원인 분석

