Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM
Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM
Eisberg DeTol
© iStockphoto
Eisberg DeTol

Deep Topology Learning

Durch datengetriebene Entwurfsalgorithmen soll der Entwurfsprozess für Deep-Learning-Lösungen beschleunigt und vereinfacht werden.

© iStockphoto

Automatisches Design von tiefen neuronalen Netzen

BMBF-Projekt »Deep Topology Learning« (DeTol)

Die Entwicklung der letzten Jahre zeigt, dass Maschinelles Lernen und insbesondere der Teilbereich Deep Learning zukünftig ein maßgeblicher Baustein sowohl im wissenschaftlichen als auch im industriellen Bereich sind. Im BMBF-Projekt »Deep Topology Learning« arbeiten wir gemeinsam mit anderen Instituten an der Beschleunigung von Entwurfsalgorithmen.

Von der Spracherkennung über die automatische Bildanalyse bis hin zu Prototypen automatisch fahrender Autos oder »Go«-spielender Algorithmen auf Weltmeister-Niveau: Fast immer stehen hinter den Erfolgsmeldungen sogenannte Deep-Learning-Verfahren. Diese Familie von Lernverfahren verwendet typischerweise überparametrisierte und meist sehr große künstliche neuronale Netze (DNN) zur Modellierung der Lernprobleme. Das Training solcher Netze bedarf nicht nur sehr großer Datenmengen, sondern auch enormer Rechenleistung. Trotz der teilweise beeindruckenden Ergebnisse, die mit DNNs erreicht werden, haben diese noch einige Nachteile, die aktuell oft noch den breiten Einsatz in der Praxis behindern: Neben den typischerweise benötigten sehr großen Datenmengen, ist dies vor allem der aufwendige Entwicklungsprozess.

Entwurfsalgorithmen ersetzen Trial and Error

Der Entwurf neuer, problemspezifischer Netztopologien ist ein sehr zeit- und rechenaufwendiger Prozess. Bisher erfolgte die Entwicklung neuer Deep Learning-Lösungen in einem rein heuristischen und erfahrungsgetriebenen »trial-and-error«-Ansatz. Ziel des BMBF-Projektes »Deep Topology Learning« (DeToL) ist es, dieses Entwurfsverfahren für Deep-Learning-Lösungen durch automatische, datengetriebene Entwurfsalgorithmen entscheidend zu beschleunigen und zu vereinfachen.

Nächster Schritt: Automatisierung

Das Anwendungsgebiet von Deep Learning ist breit gefächert: Vom maschinellen Sehen über autonomes Fahren bis hin zu Spracherkennung, Musikgenerierung oder Kunst – Deep Learning trägt immer mehr wesentliche Anteile zur Entwicklung bei. Gleichzeitig ist die Menge an Expertinnen und Experten, die tiefe neuronale Netze für einen bestimmten Teilbereich designen könnten, begrenzt.

Ein logischer nächster Schritt ist, den Menschen so wenig wie möglich an der Entwicklung von Netzarchitekturen beteiligen zu müssen. Da diese Automatisierung sehr rechenaufwendig ist, kommen an dieser Stelle HPC-Systeme ins Spiel. Die menschliche Interaktion wird auf das Design eines Suchraumes aller für ein bestimmtes Problem möglichen Topologien begrenzt. Anhand einer gegebenen Suchstrategie wird dann im nächsten Schritt die Architektur optimiert.

Hauptmerkmale des Projekts

  • Automatisches Design von tiefen neuronalen Netzen für gegebene Datensätze
  • Integration verschiedener Suchstrategien
  • Nahtlose Integration in bestehende Deep Learning Frameworks
  • Bereitstellung großer Benchmark Datensätze aus vollständig trainierten tiefen neuronalen Netzen,
    Hyperparameter Optimierung und der genauen Vorhersage von Performanzmassen

Projektpartner

Zur Umsetzung dieses Projekts haben sich fünf Partner zusammengeschlossen, die auf ihren jeweiligen Arbeitsgebieten international führend sind:

Das könnte Sie auch interessieren: