Digital / Machine und Deep Learning Seminar  /  27. April 2023, 14:00 – 15:00 Uhr

Können wir CNN's trainieren ohne Filter zu lernen?

Referent: Paul Gavrikov (Hochschule Offenburg, Institute for Machine Learning and Analytics (IMLA))

Zusammenfassung

Moderne Convolutional Neural Networks (CNN's) lernen die Gewichte einer großen Anzahl von Faltungsoperatoren. In diesem Vortrag stellen wir die fundamentale Frage ob dies tatsächlich notwendig ist. Wir zeigen ebenfalls, dass es selbst im extremen Fall bei welchem die Gewichte nur zufallsbasiert initialisiert und niemals aktualisiert werden, möglich ist, gewisse CNN Architekturen so zu trainieren, dass sie die Genauigkeit eines Standardtrainings übertreffen.

Zusätzlich stellen wir einen neuen Mechanismus des »weight sharings« vor, welcher es erlaubt einzelne Gewichtstensoren über alle Faltungsoperatoren hinweg zu teilen, so dass die Anzahl der zu trainierenden Gewichte deutlich reduziert werden kann.