Skalierbare parallele Programmierung

Gemeinsam mit 13 weiteren europäischen Partnern waren wir am Projekt ExaNoDe (European Exascale Processor Memory Node Design) beteiligt, welches im Juni 2019 abgeschlossen wurde. Dieses Projekt prüfte, entwickelte und steuerte einen Prototypen für einen effizienten, hochskalierbaren Rechenknoten, der auf Exascale Computing ausgerichtet ist.

Unsere Aufgabe dabei war es, die Fraunhofer GASPI/GPI Programmierschnittstelle zu erweitern, die eine Open-Source Kommunikationsbibliothek zwischen Computerknoten darstellt. Die API wurde so ausgearbeitet, dass sie eine Vielzahl von möglichen Speichergrößen aufnehmen kann. GASPI /GPI stellt konfigurierbare Speichersegmente zur Verfügung, die die Hardwarekonfiguration abbilden und sie für Anwendungen bereitstellen.

• Mehr zu ExaNoDe
• Zum Interview »ExaNoDe Builds Groundbreaking 3D prototype of Compute Element for Exascale« von inside HPC

Das 2016 abgeschlossene EXA2CT-Projekt vereinte Experten an der Spitze der Entwicklung von Lösern, verwandten algorithmischen Techniken und HPC-Softwarearchitekten für Programmiermodelle und Kommunikation.

Im Rahmen des Projektes wurden modulare Open-Source-Proto-Anwendungen produziert, die die im Projekt entwickelten Algorithmen und Programmierungstechniken demonstrieren, um die Schaffung von echten Exascale-Codes zu unterstützen. Technologien, die in EXA2CT entwickelt wurden, sind beispielsweise fortgeschrittene Bibliotheken wie ExaShark und GASPI / GPI, die dazu beitragen, massiv parallele Maschinen zu programmieren, um Algorithmen zu verbessern, die durch eine bessere überlappende Kommunikation und Berechnung und durch Erhöhung der arithmetischen Intensität verbessert werden. All dies wurde auf branchenrelevanten Prototypen verifiziert.

Tom van der Aa (ExaScience Lifelab am imec in Belgien) erklärt, dass im Projekt gezeigt werden konnte, dass das Programmier-API GPI-2 von Fraunhofer ITWM das MPI übertrifft.

Das Projekt INTERWinE befasste sich mit dem Problem der Modellierung von Modelldesign und Implementierung für die Exascale. Die ersten Exascale-Computer werden sehr hochparallele Systeme sein, die aus einer Hierarchie der architektonischen Ebenen bestehen.

Wir brachten das Programmiermodell GASPI und deren Implementierung GPI in das Projekt ein und evaluierten die Interoperabilitätsanforderungen mit einer Reihe von Anwendungen wie dem Computational Fluid Dynamics Code TAU des DLR (Deutsche Luft- und Raumfahrt) zur aerodynamischen Simulation. Im Rahmen des Projektes ist an der Interoperabilität von Programmiermodellen gearbeitet worden. Insbesondere MPI und GASPI/GPI arbeiten nun besser zusammen und Legacy Codes können nun auch GASPI/GPI nutzen. Es wurde auch ein erster Prototyp zur Zusammenarbeit zwischen GASPI/GPI und dem task-based runtime system OmpSs des Barcelona Supercomputing Centers entwickelt worden. Das Projekt wurde im November 2018 abgeschlossen.

• Mehr zu INTERWinE

Das 2016 abgeschlossene EPiGRAM Projekt beschäftigte sich mit Programmiermodellen für Exascale Systeme. Der erste Exascale Rechner wird wahrscheinlich in den nächsten zehn Jahren gebaut werden. Während sich die genauen Systemarchitekturen noch weiterentwickeln, kann man davon ausgehen, dass sie weitgehend auf multicore CPUs mit hierarchischem Speicher basieren, die von Beschleunigern unterstützt werden.

Programmiermodelle sind erforderlich, um Anwendungen auf diesen Plattformen effizient ablaufen zu lassen. Das Message Passing Interface (MPI) hat sich als De-facto-Standard für die parallele Programmierung auf aktuellen Petascale-Maschinen erwiesen. Partitionierte Global Address Space (PGAS) Sprachen und Bibliotheken werden zunehmend als Alternativen oder Ergänzungen zum MPI betrachtet. Diese Modelle werden auch in Exascale-Systemen eine wichtige Rolle spielen. Im EPiGRAM Projekt haben wir einige der Beschränkungen von MPI- und PGAS-Programmiermodellen studiert.

Das GASPI-Programmiermodell mit seiner GPI-Implementierung, die von Fraunhofer ITWM entwickelt und gepflegt wird, ist der EPiGRAM PGAS Vertreter. Im Rahmen von EPiGRAM haben wir Lücken geschlossen, die für Exascale Rechner entscheidend sind, und GASPI und GPI-2 kompletter und robuster gemacht. Innerhalb des EPiGRAM wurde gezeigt, dass die RTM-Applikation bis zu 60k-Cores am SuperMUC Supercomputer nahezu linear skaliert.