用混淆矩陣設定檢測閾值

本測試要回答的問題

閾值調整必須在不良品漏檢與良品誤拒之間取得平衡。當大多數樣品是良品時，整體準確率可能掩蓋漏檢。

這是一份與廠商無關的現場調機方法。更改任何設定之前，請先查閱所用具體型號的相機、鏡頭、感測器或控制器手冊。文中的數值範例表為假設資料，既不是 Deyi Vision 的量測結果，也不是產品規格。

前置條件

將陽性定義為不良品，將預測為陽性定義為剔除。建立獨立的真值標籤，並按實體零件/批次切分資料，使同一零件的重複影像不會在調校和驗證之間洩漏。

把陽性結果定義為不良品，把陽性預測定義為剔除，並在每處出現該矩陣的地方都記明這一約定。真值標籤要獨立於正在調整的檢測器獲得。在選定閾值之前，先確定漏檢和誤拒各自的預期代價與允許比率。如果沒有書面記載的仲裁方法，就不要把不確定的標籤混入調校集；真值上的分歧看起來會像分類器的錯誤。

測試台與紀錄

準備帶標籤的樣品，覆蓋瑕疵嚴重程度、位置和材料批次。保留連續的檢測器分數、影像 ID 和有爭議的標籤；在看到結果之前，先商定漏檢/誤拒的限值。

建立零件清冊，包含唯一的實體零件 ID、批次、瑕疵標籤、標籤依據、原始影像、檢測器分數和所屬的資料切分。同一零件的重複影像以及相關批次的觀測，應放在同一個資料切分內，以減少洩漏。留出一個在閾值調整期間不參考的驗證集。記錄分數方向和前處理版本，這樣「閾值更低」的說法才始終有無歧義的解釋。

執行測試

1. 只在開發集上調整候選閾值，並明確寫出剔除所依據的不等式。
2. 對每個候選閾值，按固定的座標軸/標籤順序統計 TP、FN、FP 和 TN。
3. 對照約定的限值選定工作點，然後鎖定閾值和前處理。
4. 執行從未參與調整的驗證集和能代表量產的混合樣本；按瑕疵類型同時報告計數和分母。

在調校集上評估各候選閾值，並保留每一條單獨的預測結果，而不只是彙總比率。統計計數時，真實類別和預測類別的座標軸都要明確命名，並對照原始影像和真值依據，逐一核對每個預測與真值不一致的樣本。按事先聲明的運作策略選定一個候選閾值，然後凍結。驗證集只執行一次，用於驗收；如果結果促使再次修改閾值，則要為修訂後的候選閾值取得新的獨立驗證佐證。

假設範例表

假設有 100 個不良品和 1000 個良品，結果為 TP = 92、FN = 8、FP = 20、TN = 980：召回率 92%，誤拒率 2%，精確率 82.14%。把閾值調低後得到 TP = 98、FN = 2、FP = 50、TN = 950，漏檢減少，但誤拒率升至 5%；這兩個工作點都不能自動視為可接受。

Positive = defective part; predicted positive = reject
TP=92; FN=8; FP=20; TN=980
recall = 92 / (92 + 8) = 92%
false_reject_rate = 20 / (20 + 980) = 2%
precision = 92 / (92 + 20) = 82.14%
At a second hypothetical threshold: TP=98,FN=2,FP=50,TN=950

本例呈現了一種取捨：在第二個工作點，漏檢減少的同時誤拒增多。召回率以全部真正的不良品為分母，誤拒率以全部真正的良品為分母，精確率以全部被剔除的零件為分母。分母要與計數一起儲存。沒有製程限值，這兩個範例都不能自動視為可接受。在這個人為建構的測試混合樣本上測得的精確率，不應當作不同量產不良品佔比下的預期精確率來呈現。

測試流程

解讀佐證

讀取矩陣時，兩個錯誤格子都要看，再檢查每個格子中有代表性的零件，找出共同的失效原因。當瑕疵子類型、位置和材料狀態會影響風險時，應分別統計。整體召回率良好，可能掩蓋對某種必須檢出的罕見瑕疵的糟糕表現。同樣，反覆出現的無害紋理也可能成為誤拒的主要來源。這張圖有助於診斷，但要把彙總效能落實到可處理的具體案例，還需要藉助已儲存的零件清冊。

故障排除

• 準確率很高而不良品召回率很低，說明的是類別不平衡，而不是成功。
• 同一零件的多張影像同時出現在兩個集合中會洩漏資訊；在聲稱已完成驗證之前，先按零件/批次重新切分。

如果調校之後驗證效能大幅下滑，應先排查資料洩漏、材料變化和分數前處理的改動，再去找另一個閾值。如果分數極性搞反了，應更正對分數的解讀，而不是去改真值類別的標籤。如果某個所謂的不良樣品存在爭議，要保留分歧並取得獨立仲裁。在有限的樣本集中沒有觀察到漏檢，並不能證明漏檢機率為零；要如實報告測試的數量和範圍。

驗收與交接

只接受在獨立資料上分別滿足漏檢限值和誤拒限值的鎖定設定。說明計數、樣品構成以及未測試的瑕疵類別。在有限樣本集中觀察到零漏檢，並不等於漏檢機率為零。

將原始檔案、設定、樣品識別碼和判定限值一併歸檔。請參照下方相關的產品指南與準備指南，與 Deyi Vision 討論已有書面記載的需求。

只有當獨立樣本集滿足約定的各類別限值並覆蓋要求的瑕疵類型時，才批准該凍結閾值。確認量產流程使用相同的分數方向、前處理和配方版本，並確認臨界或無效的輸入按既定策略處理。歸檔每條預測結果、各類別計數和錯誤範例。明確規定照明、材料、相機設定或瑕疵構成發生哪些變化時需要重新驗證，而不是任由閾值悄悄漂移。