Prüfschwellwerte mit einer Konfusionsmatrix festlegen

Was der Test klärt

Schwellen müssen Fehlerdurchschlupf und Gutteilausschuss abwägen. Gesamtgenauigkeit kann bei vielen Gutteilen Durchschlupf verbergen.

Dies ist ein herstellerneutraler Inbetriebnahmetest. Prüfen Sie vor Änderungen das Handbuch des konkreten Kamera-, Objektiv-, Sensor- oder Steuerungsmodells. Die Zahlen sind hypothetische Rechenwerte, keine Messungen von Deyi Vision und keine Produktspezifikation.

Betriebliche Voraussetzungen

Positiv bedeutet fehlerhaft, vorhergesagt positiv bedeutet Ausschleusen. Unabhängige Referenzklassen bestimmen und nach realem Teil/Los trennen, damit Wiederholbilder keine Datenlecks erzeugen.

Positiv bedeutet fehlerhaft, positive Vorhersage Ausschuss; diese Konvention überall nennen. Wahrheit unabhängig vom einzustellenden Detektor gewinnen. Kosten und erlaubte Fehlerdurchlass-/Falschausschussraten vor Schwellenwahl festlegen. Unsichere Labels nur mit dokumentierter Klärung verwenden, da Wahrheitkonflikte Detektorfehler vortäuschen.

Prüfstand und Aufzeichnungen

Muster mit verschiedenen Fehlerstärken, Positionen und Losen bereitstellen. Scores, IDs und strittige Labels erhalten; Grenzen vorher vereinbaren.

Je physischem Teil ID, Los, Fehlerlabel, Nachweis, Rohbild, Score und Datensatzzuordnung erfassen. Wiederholbilder desselben Teils und verbundene Lose im selben Split halten. Einen unangetasteten Validierungssatz reservieren. Scorerichtung und Vorverarbeitungsstand dokumentieren, damit eine niedrigere Schwelle eindeutig interpretiert wird.

Test durchführen

1. Schwellen nur am Entwicklungssatz abstimmen und Ungleichung eindeutig halten.
2. TP,FN,FP,TN bei fester Achsen-/Klassenfolge zählen.
3. Betriebspunkt nach Grenzen wählen und Schwelle/Vorverarbeitung fixieren.
4. Unberührte Validierung und produktive Mischung prüfen; Zähler und Nenner nach Fehlerart berichten.

Kandidaten im Tuningsatz auswerten und Einzelvorhersagen behalten. Matrixachsen ausdrücklich benennen, Abweichungen am Bild und Wahrheitsnachweis prüfen. Nach vorab vereinbarter Regel wählen und einfrieren. Unberührten Satz zur Abnahme verwenden; führt er zu neuer Schwelle, erneut unabhängige Validierung beschaffen.

Hypothetisches Arbeitsblatt

Hypothetisch 100 Fehlerteile und 1000 Gutteile ergeben TP 92,FN 8,FP 20,TN 980: Erkennungsrate 92%, Gutteilausschuss 2%, Präzision 82.14%. Niedrigere Schwelle mit 98, 2, 50, 950 erhöht Ausschuss auf 5%; keiner der Punkte ist automatisch akzeptabel.

Positive = defective part; predicted positive = reject
TP=92; FN=8; FP=20; TN=980
recall = 92 / (92 + 8) = 92%
false_reject_rate = 20 / (20 + 980) = 2%
precision = 92 / (92 + 20) = 82.14%
At a second hypothetical threshold: TP=98,FN=2,FP=50,TN=950

Das Beispiel tauscht weniger Durchlass gegen mehr Falschausschuss. Recall teilt durch alle Fehlerteile, Falschausschussrate durch alle Gutteile, Präzision durch alle ausgeschleusten Teile. Nenner und Zählungen gemeinsam behalten. Ohne Prozesslimits keine automatische Freigabe; Präzision des konstruierten Testmixes nicht auf andere Produktionshäufigkeit übertragen.

Prüfablauf

Nachweise interpretieren

Beide Fehlerzellen anhand typischer Teile untersuchen. Fehlerarten, Orte und Materialien trennen, wenn sie Risiko beeinflussen. Guter Gesamt-Recall kann einen seltenen Pflichtfehler verbergen, harmlose Textur den Falschausschuss dominieren. Die Matrix hilft Diagnose; erst die Teileliste verbindet Zahlen mit konkreten Fällen.

Fehlersuche

• Hohe Gesamtgenauigkeit bei geringer Fehlererkennung zeigt Klassenungleichgewicht.
• Wiederholbilder eines Teils in beiden Sätzen sind Datenleck; nach Teil/Los neu trennen.

Einbruch nach Tuning auf Datenleck, Materialwechsel und Vorverarbeitung prüfen, bevor erneut getunt wird. Umgekehrte Scorerichtung korrigieren, nicht Wahrheit umbenennen. Zweifelhaftes Fehlerteil mit dokumentiertem Konflikt unabhängig klären. Keine beobachteten Durchlässe in endlicher Stichprobe beweisen keine Nullwahrscheinlichkeit; Zahlen und Geltungsbereich ehrlich melden.

Abnahme und Übergabe

Fixierte Einstellung muss separate Durchschlupf-/Ausschussgrenzen unabhängig bestehen. Anzahl, Mischung und ungeprüfte Fehler nennen; null beobachtete Ausreißer beweisen keine Nullwahrscheinlichkeit.

Archivieren Sie Rohdaten, Einstellungen, Musterkennungen und Entscheidungsgrenzen gemeinsam. Besprechen Sie die dokumentierten Anforderungen mit Deyi Vision anhand der verlinkten Produkt- und Vorbereitungshinweise.

Unabhängiger Satz muss klassenspezifische Grenzen und Pflichtfehlerabdeckung bestehen. Produktionspipeline auf Scorerichtung, Vorverarbeitung, Rezeptversion und Behandlung grenzwertiger/ungültiger Eingaben prüfen. Einzelvorhersagen, Zählungen und Fehlerbeispiele archivieren. Licht-, Material-, Kamera- oder Fehlerpopulationsänderungen als Neuvalidierungsanlass festlegen, statt stille Schwellenwanderung zuzulassen.