Aktualisiert Juli 2026 · 7 Min. Lesezeit · Mert Aytunur · Mechanical Engineer, University of Illinois Chicago
Warum verbirgt 99 % Genauigkeit einen schlechten Prüfer?
Genauigkeit ist der Anteil der Teile, die ein Prüfer korrekt klassifiziert, gut oder schlecht. An einer Linie mit seltenen Fehlern schmeichelt diese Einzelzahl fast jedem Prüfer, denn die meisten Teile sind gut, und ein Gutteil als gut zu bewerten ist leicht. Nehmen Sie eine Linie mit 10.000 Teilen und 100 echten Fehlern, eine Fehlerrate von 1 %. Ein Prüfer, der jedes Teil ungesehen durchwinkt, liegt 9.900-mal richtig und erreicht 99 % Genauigkeit, fängt aber null Fehler und lässt alle 100 durch.
Die Schlagzeilen-Zahl sieht exzellent aus, und der Prüfer ist nutzlos. Seltene Fehler brechen die Genauigkeit, weil die Metrik von den vielen Gutteilen dominiert wird, nicht von den wenigen Schlechtteilen, die entscheiden, ob die Linie lieferfähig ist. Je seltener der Fehler, desto mehr überzeichnet die Genauigkeit den Prüfer, und genau in diesem Regime arbeiten die meisten Qualitätslinien.
Was messen Precision, Recall und F1 an einer Linie wirklich?
Vier Zählwerte beschreiben jeden Prüfer: richtig Positive (gefangene Fehler), falsch Negative (übersehene Fehler, der Schlupf), falsch Positive (fälschlich zurückgewiesene Gutteile) und richtig Negative (korrekt durchgelassene Gutteile). Precision und Recall lesen jeweils ein anderes Paar dieser Zählwerte, und jedes beantwortet eine Frage, die einen Qualitätsleiter interessiert.
Recall, auch Trefferquote oder Sensitivität genannt, ist der Anteil echter Fehler, den der Prüfer fängt: gefangene Fehler geteilt durch alle echten Fehler. Ein niedriger Recall bedeutet Schlupf, der den Kunden erreicht. Precision ist der Anteil der zurückgewiesenen Teile, die tatsächlich fehlerhaft waren: gefangene Fehler geteilt durch alles, was der Prüfer zurückgewiesen hat. Eine niedrige Precision bedeutet Pseudoausschuss, weggeworfene Gutteile.
Der F1-Score ist das harmonische Mittel aus Precision und Recall, eine Einzelzahl von 0 bis 100 %, die nur hoch ist, wenn beide hoch sind. Weil es ein harmonisches Mittel ist, zieht eine schwache Seite die Zahl stark nach unten; ein schlechter Recall lässt sich also nicht hinter einer guten Precision verstecken, und umgekehrt. Diese Eigenschaft macht F1 zur ehrlichen Einzelzahl, wo die Genauigkeit es nicht ist.
Wie liest man F1 als Balance aus Schlupf und Pseudoausschuss?
F1 bewegt sich nur, wenn Schlupf und Pseudoausschuss beide unter Kontrolle sind, und genau deshalb entlarvt er einen Prüfer, dem die Genauigkeit schmeichelt. Zurück zur Linie mit 10.000 Teilen und 100 Fehlern, mit zwei Prüfern im selben Lauf.
| Metrik | Alles-durchwinken-Prüfer | Ausgewogener KI-Prüfer | Was sie offenlegt |
|---|---|---|---|
| Genauigkeit | 99,0 % | 99,7 % | Fast identisch, die Genauigkeit verbirgt also die Lücke |
| Recall (Trefferquote) | 0 % | 98 % | Schlupf: Fehler erreichen den Kunden |
| Precision | n/a, weist nichts zurück | 77 % | Pseudoausschuss: Gutteile werden verschrottet |
| F1-Score | 0 | 86 % | Die ehrliche Einzelzahl |
Der Alles-durchwinken-Prüfer erreicht 99 % Genauigkeit und einen F1 von null: Er weist nie etwas zurück, also fängt er nie etwas. Ein ausgewogener Prüfer, der 98 der 100 Fehler fängt und 30 Gutteile fälschlich zurückweist, erreicht 99,7 % Genauigkeit, kaum mehr, aber sein F1 liegt bei rund 86 %. Weniger als ein Genauigkeitspunkt trennt einen wertlosen Prüfer von einem funktionierenden; der F1 trennt sie um 86 Punkte. Das ist die Lücke, die Genauigkeit verbirgt und F1 zeigt.
Was bedeutet 99,65 % F1 neben einer Falsch-Negativ-Rate von 0,69 %?
Ein hoher F1 und eine niedrige Falsch-Negativ-Rate zusammen sind das Paar, nach dem sich zu fragen lohnt, denn das eine belegt die Gesamtbalance und das andere legt den Fehler fest, der Ihren Kunden erreicht. An einer laufenden Verschlussprüflinie läuft Adente Vision mit 99,65 % F1 bei einer Falsch-Negativ-Rate von 0,69 % und fängt gebrochene, nicht geschlossene und am Scharnier beschädigte Verschlüsse in rund 30 ms pro Teil. Der F1 sagt, dass Precision und Recall beide hoch sind; die Linie lässt also weder Fehler durch noch verschrottet sie Gutteile in Menge.
Die Falsch-Negativ-Rate von 0,69 % sagt, dass der eine Fehler, der am meisten zählt, ein schlechter Verschluss beim Kunden, bei rund sieben Durchrutschern pro tausend Fehlern liegt. Zusammen gelesen beschreiben die beiden Zahlen einen Prüfer, den Sie nachprüfen können, statt eines, der sich hinter der Genauigkeit versteckt. Adente Vision ist eine Edge-KI-Sichtprüfeinheit von ADENTE Advanced Engineering Technologies, Teil der Aden-Gruppe, vertrieben über Automatisierungs-Systemintegratoren.
Welche Metrik sollten Sie von einem Vision-Anbieter verlangen?
Fragen Sie nach F1, Precision, Recall und der Falsch-Negativ-Rate, jeweils gemessen an Teilen wie Ihren, und behandeln Sie ein bloßes "99 % genau" als Nicht-Antwort. Ein Anbieter, der nur Genauigkeit nennt, misst entweder nicht die Fehler, die Sie Geld kosten, oder verlässt sich auf die einfache Mathematik einer Linie mit seltenen Fehlern. Der ehrliche Satz ist klein: F1 als die eine ausgewogene Zahl, Recall und Falsch-Negativ-Rate für den Schlupf, Precision für den Pseudoausschuss, jeweils gemessen an einem repräsentativen Lauf Ihrer eigenen Gut- und Schlechtteile.
Dieselben Metriken beschreiben jede Aufgabe, die eine einzelne Einheit fährt, von der Anomalieerkennung an Oberflächenfehlern bis zu Zählung und Maßprüfung, sodass Sie Aufgaben zu denselben Bedingungen über die abgedeckten Prüfanwendungen hinweg vergleichen können. Eine Zahl, die ein Anbieter neben einen benannten Fall stellen kann, so wie der F1 von 99,65 % neben einer realen Verschlusslinie steht, ist weit mehr wert als ein unbelegter Prozentwert auf einem Datenblatt. Für die Metrik, die den Schlupf am direktesten abbildet, lesen Sie den Beitrag zur Falsch-Negativ-Rate als Prüfmetrik; für die Methode hinter Few-Shot- und Anomalieerkennung den Leitfaden zur KI-Sichtprüfung.