Für die Handhabung großer Datenmengen haben wir das parallele Filesystem BeeGFS entwickelt und für Hochleistungsrechner optimiert. BeeGFS ist ein wichtiger Bestandteil mehrerer EU-Projekte, die sich mit speziellen Computerarchitekturen für den Exascale-Bereich beschäftigen. Dazu zählen zum Beispiel DEEP und das Nachfolgeprojekt DEEP-ER: Hier wird eine Cluster-Booster-Architektur entworfen und prototypisch umgesetzt. Das Gesamtsystem setzt sich aus einem Cluster von Rechenknoten mit vielen Rechenkernen und einem Booster zusammen. In einer solchen Kombination kann sowohl das Hauptcluster als auch der Booster-Teil individuell skalieren.

DEEP-EST erweitert Konzept um modulare Supercomputer-Architektur

Das kürzlich gestartete Projekt DEEP-EST erweitert dieses Konzept nun um eine modulare Supercomputer-Architektur. Dabei besteht ein Clustersystem nicht mehr aus fest definierten homogenen Einheiten, sondern aus heterogenen Modulen unterschiedlichster Architekturen. Jedes dieser Module kann einzeln als Spezial-Cluster gesehen werden, optimiert für spezielle Anwendungsbereiche. Gemeinsam bilden die Einzelteile dann einen Cluster, bei dem einzelne Rechenaufgaben auf der jeweils bestmöglichen Spezialhardware bearbeitet werden können.

»Interessant wird dies vor allem bei Anwendungen aus interdisziplinären Bereichen, in denen verschiedene physikalische und mathematische Verfahren gleichzeitig eingesetzt werden oder z.B., wenn Berechnung und Analyse von Daten in einem Arbeitsgang erfolgen sollen«, so BeeGFS-Entwickler Christian Mohrbacher. Das ist zum Beispiel bei der Vorhersage des Weltraumwetters oder der Simulation neuronaler Netze der Fall. Natürlich müssen dazu alle Module schnellstmöglich auf einen gemeinsamen Datenbestand zugreifen können.

Cluster mit unterschiedlichen Architekturen

Da BeeGFS bereits für viele Hardware-Architekturen (darunter auch ARM und OpenPower) verfügbar ist, bildet es auch in DEEP-EST die Grundlage für das hochperformante Massenspeicher-System. Die notwendigen Anpassungen auf die modulare Architektur werden im Projekt gemeinsam mit den Partnern durchgeführt und evaluiert. DEEP-EST hat eine Laufzeit von drei Jahren.