Pilottan üretime: bir muayene sistemine güvenmeden önce kabul testinden geçirmek.

Neden satıcının demosunda değil, kendi parçalarınızda kabul testi yapmalı?

Bir satıcı demosu, sistemin satıcının parçalarında, satıcının aydınlatmasında çalıştığını kanıtlar; bu ise yanıtlamanız gereken soru değildir. Muayenecinin üretimde hayatta kalması gereken şey, sizin parçalarınız, hat hızınız, aydınlatmanız ve kusur karışımınızdır ve bunu bileceğinizin tek savunulabilir yolu, imza öncesinde bunu o parçalarda ölçmektir. Bir kabul testi, “demoda iyi görünüyordu”yu imzalı bir sayıya dönüştürür.

Yapı, herhangi bir ölçüm sistemi kabulüyle aynıdır: başlamadan önce geçmenin ne anlama geldiğini tanımlayın, kontrollü bir parça kümesini sistemden geçirin ve sonuçları anlaştığınız kriterlerle karşılaştırın. Muayeneciyi, denediğiniz bir alet değil, nitelendirdiğiniz bir gauge olarak ele alın. Adente Vision, Aden Group bünyesindeki ADENTE Advanced Engineering Technologies tarafından geliştirilen ve otomasyon sistem entegratörleri üzerinden satılan bir edge-AI görsel muayene ünitesidir ve aşağıdaki bölümler, entegratörünüzle kendi hattınızda çalıştırabileceğiniz bir kabul testini ortaya koyar.

Pilot parça kümesini nasıl tasarlarsınız?

Pilot parça kümesinin üç grubu vardır ve üçünü de çalıştırmadan önce toplarsınız; böylece kimse sistemi sonradan teste göre ayarlamaz. Her grup farklı bir soruyu yanıtlar ve her biri kaydedeceğiniz bir metriğe eşlenir.

• Bilinen hatasız parçalar: sistemin geçirmesi gereken uygun parçalar. Bunlar, yanlış reddedilen hatasız parçalar olan yanlış-red oranını ölçer.
• Bilinen hatalı parçalar: hurda geçmişinizden çekilen gerçek kusurlu parçalar. Bunlar, kaçan kusurlar olan yanlış-negatif oranını ölçer.
• Ekilmiş kusur parçaları: önem verdiğiniz her türden, yakalanmasını istediğiniz şiddet eşiğinde kasıtlı olarak eklenmiş kusurlara sahip parçalar. Bunlar, kusur sınıfına göre tespit oranını ölçer ve sınırı yoklar.

Her grubu, sayılar anlamlı olacak şekilde boyutlandırın. Bir avuç parça bir oranı belirleyemez; kaçış ve yanlış-red rakamlarının inandırıcı olması için arkalarında yeterli parça olsun diye sayıları kalite ekibinizle anlaşın. Model yalnızca hatasız parçalar üzerinde yaklaşık 20 hatasız referans görüntüsünden eğitildiği için, eğitim görüntülerini kabul parçalarından ayrı tutun; böylece modelin ezberlediği şeyi değil, genelleştirdiği şeyi test edersiniz.

Geçme ya da kalmaya hangi metrikler karar verir?

Doğruluk sorusuna iki sayı karar verir: kaçan gerçek kusurların payı olan yanlış-negatif oranı ve yanlış reddedilen hatasız parçaların payı olan yanlış-red oranı. F1 skoru, altta yatan kesinlik ve duyarlılığı tek bir rakamda birleştirir, ancak bir kabul testinde iki hata oranının ayrı ayrı belirtilmesini istersiniz; çünkü hattınızda farklı maliyetler ve farklı sahipler taşırlar.

Bunları satıcının değil, kendi parçalarınızda kaydedin. Güçlünün neye benzediğine dair bir referans olarak, Adente Vision canlı bir kapak muayene hattında %0,69 yanlış-negatif oranıyla %99,65 F1’e ulaştı, ancak bu satıcının bağlamıdır; sizin kabul sayınız, sistemin sizin ekilmiş ve bilinen hatalı kümelerinizde aldığı puandır. Aşağıdaki aşama tablosu, her pilot grubu ürettiği metriğe ve geçmesi gereken kritere bağlar.

Gauge R&R bir görü kontrolüne nasıl uygulanır?

Gauge R&R (tekrarlanabilirlik ve yeniden üretilebilirlik), NIST/SEMATECH e-Handbook’un Measurement Process Characterization bölümünde ortaya konan ölçüm sistemi analizinin bir biçimi olarak, aynı parçanın tekrar tekrar ölçüldüğünde aynı sonucu verip vermediğini sorar ve bir kumpasa olduğu kadar bir görü muayenecisine de uygulanır. Bir dizi parçayı sistemden birkaç kez ve gerektiğinde vardiyalar ya da operatörler arasında geçirin ve parça hakkında hiçbir şey değişmediğinde geçme/kalma ya da ölçülen boyutun ne kadar değiştiğini kaydedin. Gerçek bir nedeni olmayan değişkenlik, gauge’a güvenmeden önce sınırlamanız gereken ölçüm gürültüsüdür.

Anlık bir kontrol yerine standart yöntemi kullanın. AIAG Measurement Systems Analysis referansı kabul edilen prosedürü ve yaygın kabul bantlarını verir; burada yaklaşık %10’un altındaki bir çalışma sonucu genellikle kabul edilebilir ve %10 ila %30 uygulamaya göre marjinaldir. Boyutsal kontroller için, ilgili onda bir kuralı (ya da onlar kuralı) rehberliği, ölçüm sisteminin yargıladığı toleransın kabaca onda birine kadar çözebilmesi gerektiğini savunur; dolayısıyla muayenecinizin çözünürlüğünün çizimdeki tolerans için uygun olduğuna baştan karar verin. Bunlar, Adente iddiaları değil, ölçüm literatüründen standart yöntem rakamlarıdır ve kabul testinize şirket içi bir görüş yerine dışsal bir temel verirler.

20 görüntülü bir modelin gerçekte ne öğrendiğini nasıl doğrularsınız?

Yaklaşık 20 hatasız görüntü üzerinde eğitim verimlidir ve bu, doğrulamayı daha az değil daha önemli kılar; çünkü modelin, eğitim kümesinin bir tuhaflığını değil, kusur sınırını öğrendiğini onaylamak istersiniz. Ekilmiş kusur çalıştırması bunu kontrol ettiğiniz yerdir: modelin eğitimde hiç görmediği kusurları, yakalanmasını istediğiniz şiddette ve hemen üzerinde ekleyin ve çalıştırmadan önce belirlediğiniz güven eşiğinde onları işaretlediğini onaylayın.

O güven eşiğini önce belirleyin, sonra çalıştırın; böylece sistemi geçirmek için kale direklerini oynatmıyor olursunuz. Ekilmiş çalıştırmadan gelen herhangi bir sınırdaki ya da kaçırılan durumu, yeni iyi ya da hatalı referanslar olarak modele verin, 48 saatten kısa pencere içinde yeniden eğitin ve düzeltmenin, bilinen hatasız oranını bozmadan tuttuğunu onaylamak için kabul kümesini yeniden çalıştırın. Tablodaki her aşama, kendi parçalarınızda kriterini geçtiğinde, imza savunulabilirdir. Geçme kriterlerinin ardındaki metrikler için, yanlış-negatif oranı üzerine kardeş yazıya; bir satıcıya bu sayıları baştan beyan ettirmenin yolu için, satıcı-benchmark yazısına; ve few-shot ve anomali tespitinin ardındaki yöntem için ana kılavuza bakın.