用混淆矩阵设定检测阈值

本测试要回答的问题

阈值调整必须在不良品漏检与良品误拒之间取得平衡。当大多数样品是良品时，整体准确率可能掩盖漏检。

这是一份与厂商无关的现场调试方法。更改任何设置之前，请先查阅所用具体型号的相机、镜头、传感器或控制器手册。文中的数值示例表为假设数据，既不是 Deyi Vision 的测量结果，也不是产品规格。

前置条件

将阳性定义为不良品，将预测为阳性定义为剔除。建立独立的真值标签，并按实物零件/批次划分数据，使同一零件的重复图像不会在调参和验证之间泄漏。

把阳性结果定义为不良品，把阳性预测定义为剔除，并在每处出现该矩阵的地方都记明这一约定。真值标签要独立于正在调整的检测器获得。在选定阈值之前，先确定漏检和误拒各自的预期代价与允许比率。如果没有书面记录的仲裁方法，就不要把不确定的标签混入调参集；真值上的分歧看起来会像分类器的错误。

测试台与记录

准备带标签的样品，覆盖缺陷严重程度、位置和材料批次。保留连续的检测器分数、图像 ID 和有争议的标签；在看到结果之前，先商定漏检/误拒的限值。

建立零件台账，包含唯一的实物零件 ID、批次、缺陷标签、标签依据、原始图像、检测器分数和所属的数据划分。同一零件的重复图像以及相关批次的观测，应放在同一个数据划分内，以减少泄漏。留出一个在阈值调整期间不参考的验证集。记录分数方向和预处理版本，这样“阈值更低”的说法才始终有无歧义的解释。

执行测试

1. 只在开发集上调整候选阈值，并明确写出剔除所依据的不等式。
2. 对每个候选阈值，按固定的坐标轴/标签顺序统计 TP、FN、FP 和 TN。
3. 对照约定的限值选定工作点，然后锁定阈值和预处理。
4. 运行从未参与调整的验证集和能代表量产的混合样本；按缺陷类型同时报告计数和分母。

在调参集上评估各候选阈值，并保留每一条单独的预测结果，而不只是汇总比率。统计计数时，真实类别和预测类别的坐标轴都要明确命名，并对照原始图像和真值依据，逐一核对每个预测与真值不一致的样本。按事先声明的运行策略选定一个候选阈值，然后冻结。验证集只运行一次，用于验收；如果结果促使再次修改阈值，则要为修订后的候选阈值取得新的独立验证证据。

假设示例表

假设有 100 个不良品和 1000 个良品，结果为 TP = 92、FN = 8、FP = 20、TN = 980：召回率 92%，误拒率 2%，精确率 82.14%。把阈值调低后得到 TP = 98、FN = 2、FP = 50、TN = 950，漏检减少，但误拒率升至 5%；这两个工作点都不能自动视为可接受。

Positive = defective part; predicted positive = reject
TP=92; FN=8; FP=20; TN=980
recall = 92 / (92 + 8) = 92%
false_reject_rate = 20 / (20 + 980) = 2%
precision = 92 / (92 + 20) = 82.14%
At a second hypothetical threshold: TP=98,FN=2,FP=50,TN=950

本例体现了一种取舍：在第二个工作点，漏检减少的同时误拒增多。召回率以全部真正的不良品为分母，误拒率以全部真正的良品为分母，精确率以全部被剔除的零件为分母。分母要与计数一起保存。没有工艺限值，这两个示例都不能自动视为可接受。在这个人为构造的测试混合样本上测得的精确率，不应当作不同量产不良品占比下的预期精确率来呈现。

测试流程

解读证据

读取矩阵时，两个错误格子都要看，再检查每个格子中有代表性的零件，找出共同的失效原因。当缺陷子类型、位置和材料状态会影响风险时，应分别统计。总体召回率良好，可能掩盖对某种必须检出的罕见缺陷的糟糕表现。同样，反复出现的无害纹理也可能成为误拒的主要来源。这张图有助于诊断，但要把汇总性能落实到可处理的具体案例，还需要借助已保存的零件台账。

故障排查

• 准确率很高而不良品召回率很低，说明的是类别不平衡，而不是成功。
• 同一零件的多张图像同时出现在两个集合中会泄漏信息；在声称已完成验证之前，先按零件/批次重新划分。

如果调参之后验证性能大幅下滑，应先排查数据泄漏、材料变化和分数预处理的改动，再去找另一个阈值。如果分数极性搞反了，应更正对分数的解读，而不是去改真值类别的标签。如果某个所谓的不良样品存在争议，要保留分歧并取得独立仲裁。在有限的样本集中没有观察到漏检，并不能证明漏检概率为零；要如实报告测试的数量和范围。

验收与交接

只接受在独立数据上分别满足漏检限值和误拒限值的锁定设置。说明计数、样品构成以及未测试的缺陷类别。在有限样本集中观察到零漏检，并不等于漏检概率为零。

将原始文件、设置、样品标识和判定限值一并归档。请参照下方相关的产品指南与准备指南，与 Deyi Vision 讨论已有文档记录的需求。

只有当独立样本集满足约定的各类别限值并覆盖要求的缺陷类型时，才批准该冻结阈值。确认量产流程使用相同的分数方向、预处理和配方版本，并确认临界或无效的输入按既定策略处理。归档每条预测结果、各类别计数和错误样例。明确规定照明、材料、相机设置或缺陷构成发生哪些变化时需要重新验证，而不是任由阈值悄悄漂移。