»SimVision« – Simulationsgestützte visuelle Inspektion

Regelbasierte synthetische Daten treffen auf Künstliche Intelligenz

Das Entwickeln beschichteter Schneidwerkzeuge ist ein hochspezialisierter und kostspieliger Prozess. Die Beschichtung verbessert die Schneidleistung und verlängert die Lebensdauer des Werkzeugs. Doch wenn sie nicht korrekt aufgetragen wird, kann das Werkzeug nicht einwandfrei arbeiten und sogar Schäden am bearbeiteten Objekt verursachen. Da Beschichtungsfehler im Mikrometerbereich gemessen werden, sind sie in einem Daten-Katalog kaum zu erfassen. Wie lässt sich der Prüfprozess also automatisieren? Hier kommen regelbasierte synthetische Daten ins Spiel. Im »SimVision«-Projekt entwickeln Forschende der Fraunhofer-Institute ITWM, IGD und IST gemeinsam mit der TU Wien eine skalierbare Prozesskette, um Künstliche Intelligenz mit synthetischen Daten zu trainieren.

»SimVision« steht für »Simulation-Based Visual Inspection«. Ein zentraler Baustein ist das Erstellen eines synthetischen Datensatzes für Maschinelles Lernen mit synthetischen Bilddaten, die realistisch genug sind, um KI-Modelle auf die Praxis vorzubereiten. Doch wie realitätsnah müssen diese Daten sein? Wie beeinflussen sie die Inspektionsgenauigkeit?  Und wie können wir Defekte modellieren, die wir noch nie gesehen haben? Diese Fragen stehen im Mittelpunkt der Forschung.

Anwendungsbeispiel: Effizienz steigern durch automatisierte Inspektion in der Produktion

Zu den im Projekt untersuchten Komponenten gehören Schneidewerkzeuge mit Diamantbeschichtungen verschiedener Körnung, was zu einem unterschiedlichen Erscheinungsbild führt. Herkömmliche KI-basierte Methoden stoßen bei spiegelnden, strukturierten oder geometrisch komplexen Oberflächen an ihre Grenzen, und meist sind nur wenig Trainingsdaten verfügbar. Bei solchen Oberflächen ist es schwierig, Defekte wie Delaminationen (Enthaftung, sich-Ablösen von Schichten in Werkstoffverbunden), Kratzer, Risse oder Verschleiß zuverlässig zu erkennen.

In »SimVision« entwickeln wir ein flexibles Inspektionssystem, das die Oberflächenqualität in verschiedenen Stadien der Beschichtungsproduktion automatisch prüft. Das Inspektionssystem wird durch unsere regelbasierten synthetischen Daten realisiert. Die synthetischen Daten basieren auf mathematischen Modellen der Oberflächentextur, der Defekte und der Werkzeuggeometrie. Durch die Kontrolle aller Parameter erzeugen wir fotorealistische Trainingsdaten mit einer Vielzahl möglicher Oberflächenzustände – darunter auch Randfälle. So wird das Prüfsystem präziser, flexibler und kosteneffizienter.

Übergeordnete Ziele des Projekts: Flexible Qualitätsprüfung durch KI

  1. Optimierung von Bildsyntheseverfahren: Durch physikalisch fundierte Modellierung von Oberflächen, Defekten und Lichtreflektionen entstehen realistische, synthetische Trainingsdaten für KI-Modelle. 
  2. Etablieren der simulationsbasierten visuellen Inspektion als neue Forschungsdisziplin: Mit einem Fokus auf den industriellen Wissenstransfer entwickeln wir praxisnahe Lösungen, die schnell auf reale Produktionsprozesse übertragen werden können.
Vergleich von Bildern der Inspektion von Schaftfräsern
© Fraunhofer ITWM
Vergleich von Bildern der Inspektion von Schaftfräsern nebeneinander, von Links nach Rechts: reales Bild, synthetisches Bild mit Oberflächenfehlern und Referenzmaske.

Multidisziplinarität und internationale Zusammenarbeit treiben die Forschung voran

Das Entwickeln einer leistungsstarken Prozesskette zur Erzeugung synthetischer Daten erfordert Expertise aus verschiedenen Disziplinen. In diesem Projekt arbeiten Spezialist:innen für Modellierung, Rendering und industrielle Anwendungen eng zusammen. Das Fraunhofer IST bringt sein Fachwissen in der Herstellung, Beschichtung und Charakterisierung von Oberflächen ein. Wir als  Fraunhofer ITWM sind auf die Prüfplanung, Maschinelles Sehen und die Generierung synthetischer Datensätze spezialisiert. Gemeinsam mit dem Fraunhofer IGD arbeiten wir an der mathematischen Darstellung von Oberflächen, der geometrischen Modellierung und der Bildverarbeitung. Die TU Wien steuert ihre Expertise in der fotorealistischen Bildsimulation und im Rendering bei.

Synthetische Daten haben sich in den letzten Jahren als zentrales Thema in der KI-Forschung etabliert. Sie eröffnen die Möglichkeit, hochspezialisierte industrielle KI-Lösungen zu realisieren – vorausgesetzt, die Computergrafik kann Bilder mit höchster Präzision erzeugen. Das ist jedoch zeitaufwendig: Wenn mehrere zehntausend hochauflösende Bilder benötigt werden, sind die Optimierungsstrategien entscheidend. Hier kommt die TU Wien mit ihrer Pfadführung und fortschrittlichen Entrauschungsalgorithmen ins Spiel.

Simulation von Kantenfehlern und Unebenheiten in der Beschichtung
© Fraunhofer ITWM
Um den Einfluss der großen Variation von Beschichtungsparametern auf das Erscheinungsbild besser zu verstehen, haben wir im Projekt Dutzende von Beschichtungsmustern erstellt, die verschiedene Produktionsstufen, Defekte und Beschichtungsparameter abbilden.
Simulation von Kantenfehlern und Unebenheiten in der Beschichtung
© Fraunhofer ITWM

Virtuelle Inspektion der nächsten Generation mit V-POI

Auf bewährten Lösungen aufbauen und dabei neue Einsatzgebiete erschließen – auf diese Vorgehendweise setzen wir im Projekt . Ein zentrales Werkzeug dafür ist V-POI, eine bei uns am Fraunhofer ITWM entwickelte Software zur virtuellen Inspektionsplanung. Mit der Software können Beleuchtungen, Kamerapositionen und Prüfabläufe virtuell getestet werden, bevor das Prüfsystem überhaupt gebaut wird. Aus dem Prüfplan werden dann fotorealistische, sehr gut beschriftete, synthetische Daten erzeugt. Innerhalb des Projekte »SimVision« wurde V-POI nicht nur um Oberflächentexturen und werkzeugspezifische Defekte bei beschichteten Werkzeugen erweitert, sondern erstmals auch um die Kontrolle über geometrische Merkmalsvariationen wie Kantenverrundungen, Dickentoleranzen und geometrische Verformungen, die vom Fraunhofer IGD entwickelt wurden.

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Die parametrische CAD-Geometrieverformung ermöglicht kontrollierte Geometrievariationen innerhalb und außerhalb der Fertigungstoleranzen. Angesichts der hohen Präzision des Produktionsprozesses zeigen wir zur Veranschaulichung auch übertriebene Werte. © Fraunhofer IGD

Ausblick: Neue Standards für KI in der automatisierten Qualitätsinspektion

»SimVision« leistet Pionierarbeit auf dem Gebiet der simulationsbasierten visuellen Inspektion (»Simulation-Based Visual Inspection«) für die hochdetaillierte visuelle Inspektion. Die im Projekt entwickelten und getesteten Simulationsmethoden eröffnen nicht nur neue Wege in industriellen Inspektionsprozessen, sondern tragen auch dazu bei, KI-Systeme transparenter und zuverlässiger zu machen – besonders beim Einsatz in industriellen Umgebungen, in denen Defekte selten sind, aber kritisch, wenn sie auftreten.

Projekt-Treffen am Fraunhofer IST
© Fraunhofer IST
Projekt-Treffen am Fraunhofer IST: (Von links nach rechts) Dr. Petra Gospodnetic, Hiroyuki Sakai, Dr. Christian Stein, Juraj Fulir, Dr. Johannes Sebastian Mueller-Roemer, Marcus Stegemann, Dr. Markus Höfer, Natascha Jeziorski, Runzhou Mao, Dr. Dennis Barton. Nicht auf diesem Foto: Dr. Prof. Michael Wimmer, Sarah Baron, Christian Freude, Jasmin Heyser.

Unsere Projektpartner

Förderung und Laufzeit des Projektes

»SimVision« wird als ICON-Projekt gefördert. ICON steht für »Integrated Collaboration for Optical and Non-Destructive Testing«. Die Laufzeit von »SimVision« beträgt drei Jahre und startete im März 2024.