Wie Sie einen Bildverarbeitungs-Anbieter benchmarken: 12 Fragen und die Zahlen dahinter.

Die meisten Vision-Angebote sind in Adjektiven geschrieben: hochgenau, Echtzeit, einfach zu implementieren. Nichts davon lässt sich prüfen, und die Angaben, die es könnten, die Falsch-Negativ-Rate, die Zeit pro Teil, der Trainingsdatenbedarf und der Datenpfad, sind genau das, was ein schwaches Angebot weglässt. Die Lösung: Lassen Sie jeden Anbieter in denselben Einheiten antworten, mit denen Sie Ihre eigene Qualität beurteilen würden, und weigern Sie sich, ein Angebot nach Adjektiven zu bewerten.

Die 12 Fragen unten teilen sich in drei Gruppen: die Metrikfragen, die die echte Genauigkeit offenlegen, die praktischen Fragen, die den echten Aufwand offenlegen, und die Architekturfragen, die entscheiden, wo Ihre Daten leben. Die Antworten von Adente Vision laufen als durchgerechnetes Beispiel dafür mit, wie eine konkrete Antwort aussieht. Eine ergänzende Liste mit Fragen an einen Bildverarbeitungsanbieter deckt das Feld rund um diese zwölf ab.

Warum ist "99 % genau" keine Antwort eines Vision-Anbieters?

Genauigkeit zählt jede richtige Entscheidung, und an einer Linie, an der 1 von 100 Teilen fehlerhaft ist, ist ein System, das jedes Teil durchlässt, 99 % genau und fängt null Fehler. Diese eine Zahl versteckt die zwei Fehler, die wirklich Geld kosten: den Schlupf, der Ihren Kunden erreicht, und das Gutteil, das fälschlich abgewiesen wird. Die Zahl, die das offenlegt, ist die Falsch-Negativ-Rate, der Anteil schlechter Teile, die durchgehen, gelesen zusammen mit F1, Präzision und Trefferquote. Fragen Sie danach, und "99 % genau" ist keine Antwort mehr. Warum die Falsch-Negativ-Rate die Metrik ist, die Sie verlangen sollten, zeigt die Falsch-Negativ-Rate als Prüfmetrik.

Welche Metrikfragen legen echte Genauigkeit offen?

Die Fragen 1 bis 4 machen aus einem vagen "hochgenau" etwas, das Sie vergleichen können. Stellen Sie jede einzelne, und fragen Sie, an welchen Teilen gemessen wurde.

• 1. Wie hoch ist Ihr F1-Score an einem Fehler wie meinem, und an wessen Teilen wurde er gemessen? Der F1-Score fasst Schlupf und Pseudoausschuss in einer ehrlichen Zahl zusammen. Als Referenzpunkt erreichte Adente Vision 99,65 % F1 an einer laufenden Verschlussprüflinie, und der Kontext zählt dabei so viel wie die Zahl.
• 2. Wie hoch ist Ihre Falsch-Negativ-Rate, die Schlupfrate? Das ist die Zahl, über der ein Qualitätsleiter den Schlaf verliert. Dieselbe Verschlusslinie lief mit einer Falsch-Negativ-Rate von 0,69 %. Ein Anbieter, der sie für Ihren Fehlertyp nicht nennen kann, hat sie nicht gemessen.
• 3. Wie hoch sind Präzision und Trefferquote getrennt? F1 ist eine Zusammenfassung; Präzision (wie viele Abweisungen echt waren) und Trefferquote (wie viele Fehler gefangen wurden) zeigen, in welche Richtung das System irrt.
• 4. Wie lang ist die Prüfzeit pro Teil? Verlangen Sie eine gemessene Zahl gegen eine genannte Grenze. Adente Vision nennt eine konservative Kataloggrenze von 0,5 s pro Teil und 100+ Teilen pro Minute und weist darauf hin, dass Ihre zugesagte Zahl eine anwendungsspezifische Messung an Ihren eigenen Teilen braucht.

Beantwortet ein Anbieter eine dieser vier Fragen mit "sehr genau" oder "Echtzeit", behandeln Sie das als fehlenden Datenpunkt, nicht als bestanden.

Welche praktischen Fragen legen den echten Aufwand offen?

Die Fragen 5 bis 8 entscheiden, wie viel Ihrer Zeit und Ihres Geldes eine Einführung tatsächlich kostet, und genau dort leben viele stille Überraschungen.

• 5. Wie viele Referenzbilder brauchen Sie zum Start? Ein moderner Anomalie-Ansatz trainiert nur mit Gutteilen. Adente Vision startet mit rund 20 guten Referenzbildern, Sie sammeln also vor dem Go-live nicht monatelang einen Fehlerkatalog.
• 6. Wie lange dauert das Modelltraining, und wer führt es aus? An der Verschlusslinie war das Training in unter 48 Stunden abgeschlossen. Fragen Sie, ob Sie Daten an das Data-Science-Team eines Anbieters schicken müssen oder ob das Training an Ihrem Standort stattfindet.
• 7. Wie lange dauert die Installation, und braucht sie einen Vision-Ingenieur? Adente Vision wird in rund 30 Minuten von einer Person montiert, weil die Einheit unter 9 kg wiegt, mit der vierschrittigen Routine Montieren, Ausrichten, Konfigurieren, Verdrahten und einer Vorschau auf dem Gerät, sodass das Ausrichten keinen Laptop braucht.
• 8. Wie gehen Sie nach dem Go-live mit einer neuen Variante oder einem neuen Fehler um? Fragen Sie, ob das eine Trainingsaufgabe oder eine Re-Engineering-Aufgabe ist. Lernen aus Beispielen heißt: eine Variante hinzuzufügen ist ein Erfassen-und-Trainieren-Job, kein Neuentwurf.

Welche Architekturfragen entscheiden, wo Ihre Daten leben?

Die Fragen 9 bis 12 entscheiden, wohin Ihre Bilder gehen und wie das System zu Ihrer Steuerung passt. Für ein Werk mit sensiblem Teile-Know-how können sie die Metrikantworten überwiegen.

• 9. Läuft die Inferenz auf der Edge oder in der Cloud? Adente Vision läuft auf einem lüfterlosen Board der Jetson-Klasse, 8-16 GB, im Gehäuse; die Entscheidung fällt an der Linie, ohne Umweg über ein Rechenzentrum.
• 10. Wohin gehen meine Teilebilder, und verlassen sie die Linie? On-device-Inferenz heißt: Rohbilder bleiben im Werk. Verlangen Sie von jedem Cloud-Anbieter eine schriftliche Aussage zu Speicherort und Aufbewahrung Ihrer Bilder.
• 11. Welche Protokolle sprechen Sie zu meiner SPS oder meinem Roboter? Adente Vision überträgt Gut/Schlecht und Programmwahl über PROFINET, EtherNet/IP, Modbus TCP, EtherCAT oder OPC UA, mit 4 Eingängen und 4 Ausgängen bei 24V für diskrete Signale.
• 12. Wie werden Modelle an einer luftgetrennten Linie aktualisiert? Updates per USB-Stick unterstützen Linien ohne Netzwerk, sodass eine gehärtete Zelle nicht online gehen muss, um aktuell zu bleiben.

Wie sieht eine gute Antwort aus, und wie ein Warnsignal?

Bewerten Sie jede Antwort danach, ob sie eine prüfbare Zahl oder ein Adjektiv ist. Das Muster ist konsistent: eine gute Antwort nennt eine Zahl und die Bedingungen, unter denen sie gemessen wurde, ein Warnsignal ersetzt einen Fakt durch ein Gefühl.

Das eine Warnsignal, das alle zwölf Fragen durchzieht, ist ein Adjektiv an der Stelle, an der eine Zahl stehen sollte. Hochgenau, Echtzeit, fortschrittlich, ohne Zahl dahinter, sind das Zeichen, dass ein Anspruch nie gemessen wurde.

Wie sollten Sie die Antworten bewerten?

Bewerten Sie nach Beleg, nicht nach Präsentation. Geben Sie einen Punkt für jede Antwort, die eine Zahl mit genannten Bedingungen ist, einen halben Punkt für eine Zahl ohne Kontext und null für ein Adjektiv. Gewichten Sie die Falsch-Negativ-Rate und die Antworten zum Datenspeicherort am höchsten, denn ein Schlupf erreicht Ihren Kunden und ein Datenleck Ihre Rechtsabteilung, und beides ist schwer rückgängig zu machen.

Stellen Sie dieselben 12 Fragen jedem Anbieter und einem Automatisierungs-Integrator, und die Punktzahlen werden direkt vergleichbar; der Anbieter mit dem stärksten Beleg ist selten der mit den meisten Adjektiven, und genau darum geht es. Adente Vision ist eine Edge-KI-Einheit für die visuelle Inspektion, entwickelt von ADENTE Advanced Engineering Technologies innerhalb der Aden Group und vertrieben über Automatisierungs-Systemintegratoren, und die konkreten Antworten oben zeigen, wie eine prüfbare Antwort aussieht. Die vollständigen Daten stehen auf der System-Seite, die Methode hinter Few-Shot und Anomalieerkennung im Leitfaden zur KI-Sichtprüfung.