Mit Künstlicher Intelligenz Defekte auf Oberflächen besser und schneller erkennen

BMBF-Projekt »SynosIs«: Synthetische, optisch realistische Bilddaten von Oberflächenstrukturen für KI-basierte Inspektionssysteme

Im Projekt »SynosIs« entwickeln wir gemeinsam mit unseren Forschungspartner:innen ein Inspektionssytem, das auf Künstlicher Intelligenz (KI) beruht und Defekte auf Oberflächen schnell und automatisiert erkennt. Das Projekt wird vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.

Bildverarbeitungssysteme zur Qualitätskontrolle in der Produktion lösen zunehmend komplexere Aufgaben und müssen aufgrund kurzer Entwicklungszyklen immer schneller auf neue Produkte und Fehlerbilder reagieren. Typische Prüfaufgaben sind die Detektion von Oberflächenfehlern und Abweichungen von der Sollgeometrie. Künstliche Intelligenz (KI) kommt in Bilderkennung, -verarbeitung und -verstehen zwar zum Teil erfolgreich zum Einsatz. Das Training eines robusten, automatischen, KI-basierten Inspektionssystems erfordert jedoch eine große Menge manuell annotierter Bilddaten, die insbesondere für alle Fehlertypen repräsentativ sein müssen.

Über SynosIs: Herausforderungen eines KI-basierten Inspektionssystems

  1. Viele Fehler treten sehr selten auf. Insbesondere Fehler, die kritisch für die Sicherheit von Bauteilen sind, werden seltener beobachtet, da sie in der Produktion möglichst vermieden werden.
  2. Die manuelle Annotation von beispielhaften Fehlern ist daher nicht nur aufwändig, sondern führt teilweise auch zu inkonsistenten Ergebnissen.
  3. Insbesondere sind die Entscheidungen des trainierten Systems dann durch das Fehlen von Fehlerbildern im Training verzerrt.

Es ist daher wünschenswert, automatisch realistische, synthetische Bilddaten zusammen mit den entsprechenden Annotationen zu erzeugen. Die Simulation solcher Bilddaten erfordert derzeit aber noch mehrfach manuelle Interaktion, ist also nicht automatisiert. Zudem ist das synthetische Erzeugen von Oberflächendefekten ein offenes Forschungsthema, das es gilt in Zukunft weiter zu untersuchen.

Häufig gestelle Fragen

Warum ist es so schwierig, KI zu trainieren, um eine bearbeitete Oberfläche zuverlässig zu inspizieren?

Weil die Texturvariationen und -merkmale die KI oft dazu verleiten, einen Defekt zu vermuten, wo keiner ist, oder die Defekte in bestimmten Situationen zu verdecken.

Warum trainieren wir das Netz nicht mit mehr Fehlerbeispielen, um es robuster zu machen?

Weil das Beschaffen und Annotieren einer solchen Menge an Daten meist teuer und nicht praktikabel ist.

Warum verwenden wir nicht einfach korrekte Oberflächen als Training?

Die Algorithmen zum Erkennen von Auffälligkeiten sind noch nicht in der Lage, mit der durch komplexe Texturen verursachten Abweichung umzugehen, und konzentrieren sich auf die oft geringfügigen Veränderungen, die durch Oberflächenfehler verursacht werden.

Können wir künstlich erzeugte Bilder verwenden, um die KI zu unterstützen?

Ja, dies ist auch der neueste Stand der Entwicklung. Es gibt eine Menge offener Fragen, und viele davon werden von uns mit unserer Software SynosIs angegangen. Unsere Kernmotivation ist dabei, dass keine zwei produzierten Objekte genau gleich sind und die Bildsimulationspipeline in der Lage sein muss, genau diesen Gedanken zu reproduzieren. Außerdem soll sie die Kontrolle über die wichtigsten Produktionsparameter behalten.

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Die SynosIs »Pipeline«

Mit KI automatisiert der Realität nähern und Bilddatenportfolio aufbauen

In diesem interdisziplinären Projekt werden Methoden aus Physik, Mathematik und Informatik vereint, um synthetische Bilder typischer Defekte auf metallischen Oberflächen zu erhalten – in einer Realitätsnähe, die aktuell noch nicht erreicht wurde. Diese Bilddaten sind offen zugänglich und können für das Training und die Validierung von KI-Modellen zum Einsatz kommen. Das vereinfacht und beschleunigt die Entwicklung von KI-Modellen für die optische Oberflächeninspektion.

Erstmals werden mit dem Bilddatenportfolio garantiert korrekt und objektiv annotierte Fehlerbilder zur Verfügung stehen. Darüber hinaus ermöglichen diese synthetischen Daten einen objektiven quantitativen Vergleich verschiedener Lösungen sowie die Vorhersage der Auffindewahrscheinlichkeit (Probability of Detection, POD) von Oberflächendefekten in Abhängigkeit von Fehler, Bauteil und Inspektionssystem.

Unsere Expertise: Defekte definieren, klassifizieren, KI trainieren

Im Anfangsstadium entwerfen unsere ITWM-Expert:innen in enger Zusammenarbeit mit dem Fraunhofer IOF für die Validierung zwei Freiformprobekörper mit komplexer Geometrie. Einzubringende Defekte werden so definiert, das einerseits typische Defektklassen wie Schlagstellen, Kratzer, (Öl-) Verschmutzung vertreten sind, andererseits der Herstellungsaufwand vertretbar bleibt. Im nächsten Schritt trainieren die Forschenden das KI-basierte Inspektionssystem anhand synthetischer Bilddaten. Eine weitere Aufgabe besteht in der Validierung der Inspektionslösung und der Simulation eines repräsentativen Portfolios synthetischer Bilddaten in Zusammenarbeit mit der Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau.

Dieses Projekt hat ein klares Anwendungsszenario, ist aber trotzdem als Grundlagenforschungsprojekt angelegt, weil wir in allen drei Fachrichtungen neue Methoden entwickeln. Neben Datensynthetisierung adressiert das Projekt den Themenbereich »Kenngrößen zur Messung von Eignung, Güte oder Bias-Freiheit der Daten«, da sowohl für die defektfreien Oberflächen als auch für die einzubringende Defekte Eignung, Güte und Bias-Freiheit der Daten fortlaufend überprüft und garantiert werden.

Aktueller Stand im Projekt »SynosIs«

Im ersten Jahr von »SynosIs« haben wir als Team festgestellt, dass es zu wenig kontrollierte Datensätze und Modellierungsverfahren für physikalische Oberflächen gibt. Wir haben im Projekt deshalb eine Prozesskette entwickelt, um den Bedarf zu decken. Dabei hat das Team einen Datensatz von zehn Aluminium-Testkörpern entworfen, der sich auf schwierige Oberflächen konzentriert, die Texturen enthalten, die durch Spiralfräsen, Parallelfräsen oder Sandstrahlen entstanden sind.

Auf Basis von Topologiemessungen der hergestellten Oberflächen haben wir Modelle erstellt, die in der Lage sind, das Aussehen der Oberflächen mit Hilfe stochastischer Geometriemodellierungstechniken kopieren. So erzeugen wir digital eine beliebige Anzahl von Oberflächen, die bei gleichbleibenden Eigenschaften trotzdem ein unterschiedliches Aussehen aufweisen. Darüber hinaus steuern wir die Modelle so durch produktionsrelevante Parameter, die die endgültige Oberfläche beeinflussen.  

Die entwickelten Modelle zur Oberflächenerzeugung kann man immer wieder einsetzen und kombiniert auf jedes 3D-Modell anwenden.

Im zweiten Projektjahr konzentriert sich das Team auf:

  • das Modellieren von Defekten
  • das Erstellen öffentlicher Datensätze
  • das Untersuchen der Vorteile und Herausforderungen der simulationsbasierten Bildverarbeitung