Anbieter zum Thema

MVTec Software GmbH

Schneider Electric GmbH

PSI Software SE | Business Unit Discrete Manufacturing

becos gmbH

Deep-Learning-Methoden von MVTec zur Fehlererkennung bei Schweißverbindungen

Um die Defekte verlässlich zu erkennen, werden von der Bildverarbeitungssoftware zwei Deep-Learning-Methoden genutzt. Zunächst kommt „Instance Segmentation” zum Einsatz, um auf den aufgenommenen Bildern die relevante Stelle, also die Schweißnaht, zu lokalisieren. Diese Deep-Learning-Technologie ist in der Lage, Objekte pixelgenau verschiedenen, eintrainierten Klassen zuzuordnen. Im nächsten Schritt kommt „Anomaly Detection“ zum Einsatz. Die Deep-Learning-basierte Anomalieerkennung ermöglicht die automatisierte Oberflächeninspektion und erkennt zielsicher Abweichungen, also Defekte, jeglicher Art. „Anomaly Detection hatte für uns zwei entscheidende Vorteile: Auf der einen Seite sind die Erkennungsraten sehr hoch und robust. Auf der anderen Seite war das Training der zugrundeliegenden neuronalen Netze einfach.

Denn es waren hauptsächlich „Gut-Bilder“, also Aufnahmen von Schweißverbindungen ohne Defekte, für das Training der Deep-Learning-Netze notwendig. Das Netz zur Erkennung von Anomalien wird nur mit guten Bildern trainiert. Das Vorhandensein von „Schlecht-Bildern“ ist zwar keine Voraussetzung für die Anomalieerkennung, einige wenige Schlecht-Bilder können jedoch helfen, den optimalen Schwellenwert zur Unterscheidung zwischen guten und defekten Schweißnähten zu finden. Dieser Schwellenwert wird auf den Anomalie-Score angewendet, der das Ergebnis des Anomalie-Erkennungsnetzes ist. Die Bestimmung des Schwellenwerts ist jedoch nicht Teil des Trainings. Wir haben so nur eine geringe Anzahl von Gut-Bildern benötigt. Das ist sehr praktisch, da diese schnell und einfach vorliegen.

Bilder von Defekten sind deutlich schwerer zu organisieren, ganz zu schweigen davon, dass es unmöglich ist, Bilder von sämtlichen Defekten zu erhalten. Hier hat Deep Learning einen klaren Vorteil“, erklärt Guillermo Martín. In Bildern von Schweißnähten, die sich von den eintrainierten Bildern unterscheiden, werden die Anomalien bzw. Defekte zuverlässig erkannt. Wie groß das Delta zwischen OK und NOK dabei ist, bestimmt der Schwellenwert. Der Schwellenwert ist ein Parameter innerhalb von Deep-Learning-Methoden, der regelt, bis zu welchem Wert das zu prüfende Bild von dem trainierten „Gut-Bild“ abweichen darf. Diesen Parameter kann der Nutzer frei einstellen und hat somit die Möglichkeit, Transparenz in die „Black-Box“ der Entscheidungsfindung von Künstlicher Intelligenz zu bringen.

Wichtige Vorarbeit bei Deep Learning: Das Labeln der Bilder und Trainieren der neuronalen Netze

Die Technologie Deep Learning erfordert, dass vor dem Betrieb die neuronalen Netze mit Bildern trainiert werden. Diese Bilder müssen für das Training zunächst gelabelt werden. Für diese Arbeiten im Vorfeld nutzte DGH das Deep Learning Tool von MVTec. Mit dem kostenlosen Tool können Bilddaten einfach gelabelt und anschließend bequem trainiert werden. Dazu hat DGH zunächst Bilder von Schweißnähten zusammengetragen. Hierbei kam auch Wissen der Mitarbeiter zum Einsatz. Diese prüften jedes Bild, um sicherzustellen, dass hauptsächlich „Gut-Bilder“ für das Training herangezogen werden. Ein falsch verwendetes „schlechtes Bild“ würde die Ergebnisse des Trainings verfälschen. Die „Gut-Bilder“ werden anschließend in das Deep Learning Tool geladen und dort speziell für die Technologie Instance Segmentation gelabelt. Dazu steht das Werkzeug „Smart Label Tool“ zur Verfügung. Der Anwender muss nur mit der Computer-Maus in den Bereich der Schweißverbindung klicken und das Tool umrahmt automatisch die Schweißverbindung. 

Somit ist sichergestellt, dass das Deep Learning Tool im Anschluss ausschließlich auf Basis der relevanten Bereiche des Bildes trainiert. Auch bei diesem Schritt waren die Mitarbeiter des Automobilherstellers involviert. Sie wussten, welche Bereiche innerhalb des Bildes wichtige Informationen über die Schweißverbindung enthalten und wie groß der entsprechende Rahmen um die Schweißverbindung sein muss. Nachdem die Bilder gelabelt wurden, erfolgt ein Split. Dabei wird der Bilddatensatz, in der Regel im Verhältnis 50 Prozent für das Training, 25 Prozent für die Validierung und nochmals 25 Prozent für das Testen, unterteilt. Das Training, die Validierung und auch das Testen erfolgen im Deep Learning Tool einfach und bequem per Knopfdruck. Anschließend wird das trainierte Modell gespeichert und durch die nahtlose Verbindung des Deep Learning Tools zu Halcon in die Machine-Vision-Software geladen. Nun ist die Software bereit für den Betrieb.

Machine-Vision-Software zur Inspektion von Schweißverbindungen

„Wir bei DGH arbeiten seit über zehn Jahren mit MVTec zusammen und wissen daher um die leistungsstarken Tools und Algorithmen. Deswegen haben wir uns entschieden, auch bei diesem Projekt MVTec Halcon zu vertrauen“, verrät Guillermo Martín. Die Herausforderungen bezüglich des Trainings sowie der Geschwindigkeit aufgrund der eng getakteten Zykluszeiten wurden schon genannt. Daneben gab es eine weitere Anforderung an die Machine-Vision-Software: Die Umgebung ist aufgrund von reflektierenden Metalloberflächen und den unterschiedlichen Lichtverhältnissen schwierig.

Die DGH Group war in der Lage sämtliche Herausforderungen zu meistern und eine Anlage mit der gewünschten hohen Qualität zu liefern. „Anfang 2024 wurde die erste Anlage im Werk des Automobilherstellers in Betrieb genommen. Nachdem diese erfolgreich lief, haben wir im April 2024 vom selben Hersteller eine neue Anfrage zur Umsetzung einer zweiten Anlage zur Inspektion von Schweißverbindungen erhalten“, freut sich Guillermo Martín.

Insbesondere die Ziele in Zeiten des Fachkräftemangels die Abhängigkeit von Fachkräften für Qualitätsprüfungsprozesse zu verringen und in Folge den Grad der Automatisierung zu steigern wurde erreicht. Die Automatisierung auf Basis von Machine Vision und Künstlicher Intelligenz hat nachweislich Fehler minimiert und eine konsistente und zuverlässige Erkennung von Schweißfehlern gewährleistet. Deswegen glaubt Guillermo Martín auch daran, dass es trotz einer Vielzahl von bereits im Einsatz befindlichen Bildverarbeitungssystemen in verschiedenen Branchen und Fertigungsprozessen noch Wachstumspotenziale gibt – etwa für Deep-Learning-Lösungen in besonders anspruchsvollen und komplexen Anwendungen.