Kaum ein Fachgebiet hat sich in den letzten Jahren derart rasant und erfolgreich entwickelt wie Machine Lerning, zu dem auch Deep Learning gehört. Darunter versteht man Entwurf und Training immer komplexerer künstlicher Neuronaler Netze. »Diese für viele praktische Anwendungen erfolgreiche Vorgehensweise erfordert allerdings einen enormen Rechenaufwand und sehr viel Trainingsdaten«, so Dr. Janis Keuper, Spezialist für Machine Learning am Competence Center High Performance Computing des Fraunhofer ITWM. »Daher hängt die weitere Entwicklung des Deep Learning wesentlich an der Entwicklung von Methoden und Infrastrukturen, welche auch in Zukunft eine praxistaugliche Berechenbarkeit immer komplexerer Neuronaler Netze sicherstellen.«

Ziel: dreistellige Anzahl von Rechenknoten

Um Wissenschaftlern und Entwicklern einen einfachen Zugang zu existierenden und zukünftigen Hochleistungsrechensystemen zu ermöglichen, soll ein neues Software-Framework entwickelt werden, welches die hochkomplexe Parallelisierung des Trainings von großen Neuronalen Netzen auf heterogenen Rechenclustern automatisiert. Ziel ist es, das Training von in bestehenden Frameworks entworfenen Netzen ohne zusätzlich Nutzeraufwand über eine dreistellige Anzahl von Rechenknoten zu skalieren. Die Basis dafür bildet das am ITWM entwickelte Parallelisierungs-Framework GPI-Space.

Koordiniert wird das BMBF-Projekt am Fraunhofer ITWM; weitere Projektpartner sind das Deutsche Forschungszentrum für Künstliche Intelligenz DFKI (Standort Saarbrücken), das Zentrum für Informationsdienste und Hochleistungsrechnen an der TU Dresden und das Heidelberg Collaboratory for Image Processing (HCI); dort werden die Forschungsergebnisse zum Training neuer Systeme genutzt. »Wir entwickeln das System gemeinsam«, betont Janis Keuper, »Der High Performance Computing-Schwerpunkt liegt in Kaiserslautern und Dresden – hier steht auch die Hardware von derzeit 500 GPUs. Die Deep Learning-Experten sitzen an ITWM, DFKI und HCI.«