Das Ziel des Projekts ist die Bereitstellung von GPU-Ressourcen für wissenschaftliche Anwendungen im Bereich des Maschinellen Lernens bzw. Künstlicher Intelligenz mit einem Schwerpunkt in der Bildanalyse in lebenswissenschaftlichen Anwendungen, insbesondere den Neurowissenschaften und dem Bioimaging. Das System soll bestehende Prozesse wesentlich beschleunigen und somit neue Methoden bzw. Anwendungen ermöglichen, während gleichzeitig die Ressourcennutzung optimiert wird.
Der Einsatz von Maschinellem Lernen ist eine wichtige Grundlage für Anwendungen sowohl in der Wissenschaft als auch in der Wirtschaft. Hierzu ist der Einsatz effizienter Algorithmen von zentraler Bedeutung. Es gibt zahlreiche Verfahren, die jedoch nicht unkritisch eingesetzt werden können, sondern signifikante Anpassung, Optimierung und Weiterentwicklung erfordern. Der Anwendungsschwerpunkt der beantragten Geräte liegt insbesondere in den Lebenswissenschaften und der KI-basierten Bildanalytik. Hier neue Lösungen zu entwickeln, erlaubt die Entwicklung neuer Verfahren und Produkte in Zusammenarbeit mit der regionalen Wirtschaft, die in Göttingen einen traditionellen Schwerpunkt in der Mess- und Medizintechnik hat (bspw. im Measurement Valley). Eine Anwendung der Medizin erlaubt neue Diagnose- und Therapie-Verfahren.
Der Einsatz von GPU-Systemen und KI/maschinellen Lernens zieht hohen Ressourcenverbrauch nach sich, welches zunehmend zu einer Herausforderung bei steigenden Energieverbrauch und CO2-Produktion wird. Mit den beantragten Geräten soll daher auch die Optimierung der Ressourcennutzung vorangetrieben werden. Hierzu zählt die Verbesserung der Auslastung durch Parallelisierung und Datenmanagement, aber auch durch aktives Ressourcen-Management zur Optimierung von Kühlung- und Stromverbrauch von GPU-Ressourcen.

Die Forschungsziele mit Hilfe der Hardware und beteiligte Personen aus dem CIDAS sind den drei folgenden Forschungsprojekten aufgeschlüsselt.

Digital Zwillinge in Neurobiologie und Medizin (Sinz/Ecker)

Die voranschreitende Entwicklung der Mess- und Sensortechnik und die damit einhergehende Digitalisierung von Forschungs- und Patientendaten in den Lebenswissenschaften erzeugt eine Flutwelle von Daten. Beispielsweise generierte das von der U.S BRAIN Initiative geförderte MICrONS Projekt, an dem Profs. Sinz und Ecker maßgeblich beteiligt waren, mehr als sechs Petabyte von neuroanatomischen und neurophysiologischen Daten aus einem Kubikmillimeter Kortex einer Maus (https://s.gwdg.de/Iq3Ggm). Das entspricht ungefähr dem Volumen von 137 Jahren Video in 4K-Qualität (bei 12min/GB UHD Video; https://s.gwdg.de/QKs3N4). Solch enorme Mengen an Daten sind Fluch und Segen zugleich: Auf der einen Seite enthalten sie einen Schatz an Informationen über die Abläufe in biologischen Systemen, wie z.B. dem Kortex der Maus, auf der anderen Seite sind die Informationen in riesigen Mengen unstrukturierter, multi-modaler Daten wie z.B. Verhaltensvideos, Mikroskopiedaten, Zeitreihen und anderer Messungen verborgen und können oft nur mit Hilfe moderner Methoden des maschinellen Lernens extrahiert werden.
Ein Ansatz, den die Gruppe von Prof. Sinz verfolgt, ist die Entwicklung von „Digitalen Zwillingen“ (Digital Twins), mathematischer Modelle die aus den Daten eine „digitale Kopie“ des biologischen Systems lernt, die dann für weitere Untersuchungen herangezogen werden kann. In einem solchen Digitalen Zwilling können verschiedenste Messungen aus demselben System kombiniert werden und somit zu einer besseren Vorhersage über dessen Eigenschaften führen. Beispielsweise kann ein Digitaler Zwilling des visuellen Kortex einer Maus lernen, wie Nervenzellen auf beliebige Bildreize reagieren und wie ihre Antworten vom derzeitigen Verhalten der Maus abhängen (Sinz et al. 2018, NeurIPS; Lurz et al. 2021, ICLR). Mit seiner Hilfe können dann mit mathematischen Optimierungsverfahren neue Bildreize generiert werden, auf die bestimmte Nervenzellen besonders gut reagieren. Diese Bildreize können dann in einem weiteren Experiment gezeigt und verifiziert werden. Mit dieser Methode konnten Prof. Sinz und Kollegen bereits neue, unerwartete Eigenschaften des Sehsystems der Maus aus Aufnahmen von mehreren tausend Nervenzellen extrahieren (Walker, Sinz et al. 2019, Nature Neuroscience). Weitere Resultate werden derzeit in verschiedenen Manuskripten zusammengefasst (Franke, Willeke et al.; Fu et al.; Bashiri et al.).
Eine besondere Stärke von digitalen Zwillingen ist, dass sie eine Vielzahl von unterschiedlichen Daten zusammenführen können und insbesondere Untersuchungen ermöglichen, die faktisch unmöglich wären. Z.B. ist die Optimierung eines besten Stimulus für ein Neuron im Kortex der Maus aus zeitlichen und experimentellen Gründen im biologischen System nicht möglich. Im digitalen Modell kann diese Suche für tausende Nervenzellen gleichzeitig ausgeführt werden. Die experimentelle Verifikation des besten Stimulus wiederum ist möglich. Diese Muster von – experimentell schwieriger – Suche von Eigenschaften im digitalen Zwilling und experimenteller Verifikation im biologischen System ist ein wirkungsvolles Instrument, mit dessen Hilfe komplexe Zusammenhänge in biologischen Systemen verstanden werden können.
Die Arbeitsgruppe von Prof. Sinz ist derzeit in verschiedenen Forschungskooperationen und -anträgen involviert, um die Methode digitaler Zwillinge voranzutreiben. Gerade werden zum Beispiel digitale Zwillinge für den Kortex der Maus auf Videodaten verbessert und Zwillinge für höhere Gehirnregionen im Affen entwickelt. Geplant sind die Einbeziehung von virtuellen (gerenderten) Stimuli sowie komplexerer Verhaltensmuster. Darüber hinaus baut die Forschungsgruppe gerade eine Kooperation mit der Universitätsmedizin Göttingen (insb. Ihr stellv. Direktor Prof. Saager) auf, um mit anonymisierten Patientendaten aus der Intensivstation digitale Zwillinge zu erstellen, die durch Vorhersage von kritischen Situationen und Einordnung von klinischen Alarmen zu verbesserten Behandlungschancen für Patienten und besseren Arbeitsbedingungen für klinisches Personal sorgen sollen.
Bestandteile digitaler Zwillinge sind in der Regel tiefe neuronale Netzwerke, deren Training ohne die geeignete GPU Infrastruktur nicht möglich ist. Insbesondere das Training von Netzwerken auf Video und sog. Bayesianischer Netzwerke, die zusätzlich eine Abschätzung über die Unsicherheit der Vorhersagen abgeben können, sind rechen- und speicherintensiv und benötigen somit schnelle GPU Karten mit ausreichend Arbeitsspeicher. Parallelisiertes Training bzw. die Suche nach geeigneten Trainingssettings (sog. Hyperparameter) schaffen die Notwendigkeit zur Anschaffung einer Vielzahl solcher Karten.


Multiscale Bioimaging (Moser, Fernandez Busnadiego, Huisken, Salditt)
Ziel des Exzellenzclusters Multiscale Bioimaging: from Molecular Machines to Networks of Excitable Cells (MBExC) ist es, krankheitsrelevante Mechanismen in kardialen und neuronalen erregbaren Zellen zu entschlüsseln. Sowohl im Herzen als auch im Gehirn kann dieses Ziel nur durch einen skalenübergreifenden Ansatz übertroffen werden. Aus diesem Grund baut die Universität Göttingen und das MBExC eine „Multiscale Bioimaging-Plattform“ auf, die den Zugang zu hochmodernen Licht- und Elektronenmikroskopie-Instrumenten und zur innovativen Bildanalyse bietet. Innovative Bildgebung und Bildanalyse sind dabei wichtige Schwerpunkte.
Durch die neuen Verfahren im Exzellenzcluster fallen umfangreiche Bilddaten im Petabyte-Bereich an, deren Wert erst durch geeignete KI-basierte Analyse- und Auswerteverfahren erschlossen werden kann. Neben der Nutzung von Elektronenmikroskopie zur Proteinstrukturanalyse bzw. zellbiologischen Analyse soll daher der Bereich der automatisierten KI-basierten Bildanalyse, gemeinsam mit der GWDG und dem Campus Institute Data Science (CIDAS), vorangetrieben werden.
Das Hauptziel des Projekts ist die Entwicklung eines neuartigen Ansatzes für Deep Machine Learning, um biomedizinischer Bildgebung zu verbessern. Der Schwerpunkt liegt insbesondere auf Methoden, die zwischen verschiedenen Anwendungen, Datenmodalitäten und Skalen übertragbar sind. Durch die Analyse analoger Klassifikations- und Regressionsprobleme in deutlich unterschiedlichen Maßstäben lassen sich Lösungen nicht nur spezifisch für einzelne Maßstäbe verbessern, sondern auch universellere Bioimaging-Werkzeuge entwickeln, die in der Lage sind, verschiedene Maßstäbe und Modalitäten zu verbinden.
Auch in diesem Forschungsschwerpunkt werden aufgrund von Annotationen Referenzdatensätze erstellt, die als Trainingsdaten für Maschinelles Lernen genutzt werden. Es sind geeignete Verfahren auszuwählen und zu parametrisieren, um Zusammenhänge von Proteinen bzw. Zellbiologische Abläufe erkennen zu können.
Methodische Entwicklungen erfolgen in diesem Kontext in verschiedenen MBExC Forschungsgruppen. Im Institut für Röntgenphysik (Salditt/Köster) wird mit Untersuchungen am 3D-Röntgenmikroskop (PETRA IV, DESY) an der Segmentierung von Tomogrammen gearbeitet. Am Dritten Physikalischen Institut (Enderlein/Betz, Biophysik) werden Verfahren des maschinellen Lernens zur Untersuchung der Entfaltung von großen 3D Datensätzen eingesetzt (https://doi.org/10.7554/eLife.60145, https://doi.org/10.1101/2021.04.25.441311).
Für die effiziente Weiterentwicklung und Anwendung dieser Methoden ist der Einsatz von leistungsfähiger lokaler GPU-Cluster Infrastruktur unerlässlich. Das Trainieren der neuronalen Netzwerke erfordert sowohl eine Optimierung des Datenmanagements als auch die Parallelisierung auf viele Knoten, um in akzeptabler Zeit durchgeführt werden zu können. Dem folgt eine Überführung der so gefundenen ML- und DML Verfahren in den praktischen Einsatz zur Bildauswertung neuer Daten aus der Licht-, Röntgen- und Elektronenmikroskopie.


Ressourcen-Optimierung bei der GPU-basierten Bildanalyse (Yahyapour/Kunkel)
Der Einsatz von GPU- und HPC-Systemen ist immens kostenintensiv und erfordert neben der Investition in solche Hardware häufig Betriebskosten in ähnlicher Größenordnung. Die Optimierung in der Nutzung solcher Systeme ist daher ein hoch relevantes Forschungsfeld mit unmittelbarer Auswirkung auf die Verfügbarkeit von GPU-Ressourcen für andere Forschungsbereiche.
Ein Teil der Optimierung liegt in der effizienten Ausführung von solchen ML/DML-Anwendungen auf den verfügbaren GPU-Knoten. Hierfür entscheidend ist das Scheduling zur Entscheidung, wann und wo die jeweiligen Jobs zur Ausführung kommen, als auch die Auslastung der Grafikkarten, welche maßgeblich von der Parallelisierung der Anwendung aber auch von der Optimierung des Datenzugriffs abhängt. Wartezeiten durch Kommunikation führen zu einer geringen Auslastung der GPU-Cores, was zu einer längeren Job-Ausführung führt. An der GWDG/Lehrstuhl für Praktische Informatik gibt es Vorarbeiten, die insbesondere die Optimierung von Scheduling, I/O-Verhalten und Datenmanagement betreffen. Mit dem beantragten GPU-Cluster soll dies in Kooperation auf die Forschungsschwerpunkte 1 und 2 für die verwendeten DML-Verfahren eingesetzt werden. Ziel ist eine Reduktion der Ausführungszeit und Erhöhung der Auslastung der einzelnen Knoten.
Da der Energieverbrauch eine weitere wesentliche Komponente in der Gesamtbilanz darstellt und im Hinblick auf Green IT und CO2-Reduktion eine hohe Bedeutung gewonnen hat, soll in diesem Schwerpunkt auch die Verringerung des Stromverbrauchs durch innovative Methoden verbessert werden. Dies beinhaltet die Verknüpfung eines Monitorings von Ressourcenverbrauch für einzelne Applikationen und des aktiven Schedulings unter Berücksichtigung und Optimierung der Kühl- und Stromkapazitäten für relevante Workloads. Für einzelne Applikationen kann so eine Prädiktion für das Verhalten auf den CPU/GPU-Ressourcen und dem daraus folgenden Stromverbrauch erstellt werden. Diese Profile können genutzt werden, um den Ressourcenverbrauch ganzheitlich zu minimieren, indem der Start von Applikationen und das Co-scheduling von parallellaufenden Anwendungen optimiert wird.
In Göttingen wurde im Juni 2021 ein neues hochmodernes Rechenzentrum in Betrieb genommen, das von der GWDG für den Betrieb von HPC- und GPU-Rechner optimiert wurde. Es gibt hier neue Möglichkeiten im Bereich der Datenerfassung, aber auch in der Steuerung von Kühlsystemen. Es ist ein integriertes Infrastruktur-Management unter Berücksichtigung der spezifischen Applikationsanforderungen vorgesehen. Es ist so ein energieeffizientes Ressourcenmanagement möglich, welches über die gängigen Verfahren hinausgeht. Das ganzheitliche Co-Management von der Applikation bis zur Infrastruktur erlaubt so neue Möglichkeiten Kühlung und Stromverbrauch zu optimieren, indem der Workload durch Job- und Applikations-Scheduling im Hinblick auf Temperaturen und Stromkontingente angepasst wird.