Digitaler Vortrag

Abstract – Neural Architecture Search

Die Suche nach guten tiefen neuronalen Netzen (DNN) für eine Anwendung kann sich als recht langwierige Aufgabe erweisen, da zusätzlich zum eigentlichen Training des Modells auf den Daten verschiedene Kombinationen von Entwurfs- und Trainingsparametern berücksichtigt werden müssen. Dabei handelt es sich um ein zweistufiges Optimierungsproblem, bei dem die DNN-Designparameter oft als Hyperparameter bezeichnet werden, um sie von den Modellparametern zu unterscheiden, die beim Training des Modells angepasst werden. Glücklicherweise kann die Suche nach Hyperparametern automatisiert werden. Die verschiedenen Methoden zur Automatisierung dieses Prozesses sind als 'Auto-ML' bekannt, die sich im eigentlichen Gegenstand der Suche unterscheiden, z.B. nur die Trainingshyperparameter für ein festes DNN zu betrachten. Neural Architecture Search (NAS) betrachtet das DNN selbst, d.h. die Struktur des Netzes, als Suchgegenstand. Die Herausforderung bei NAS ist die extrem hohe Anzahl von Hyperparametern, da jede einzelne DNN-Schicht neue Hyperparameter einführt, so dass die Gesamtzahl der Auswahlmöglichkeiten mit der Tiefe des DNN wächst. Außerdem müssen die neuen DNNs trainiert werden, um ihre Leistung zu bewerten, was recht kostspielig ist.

Dieser Vortrag stellt die Hauptkomponenten von NAS vor und zeigt anhand von Beispielen aus dem Stand der Technik, wie die verschiedenen Herausforderungen in NAS angegangen werden können. Eine eigene Implementierung namens NASE (Neural Architecture Search Engine) wird am Ende vorgestellt.