I supercomputer della fusione

di Francesco Iannone, Silvio Migliori, Massimo Celino

DOI 10.12910/EAI2019-019

Il supercalcolo scientifico (HPC-High Performance Computing), da sempre dominio di scienziati teorici e sviluppatori di computer e software, è diventato uno strumento di ricerca strategico nel campo della fusione termonucleare controllata per simulare fenomeni complessi con un ottimo grado di attendibilità. In questo settore ENEA ha sviluppato solide competenze e, in partnership con Cineca, ha conquistato un ruolo da protagonista a livello europeo per la fornitura dei servizi di calcolo ad alte prestazioni a tutta la comunità della fusione nei prossimi cinque anni

Francesco Iannone, Silvio Migliori, Massimo Celino, ENEA, Divisione ICT

Il supercalcolo scientifico (HPC-High Performance Computing), da sempre dominio di scienziati teorici e sviluppatori di computer e software, sta diventando in misura crescente uno strumento di ricerca strategico per la comprensione e la modellazione di fenomeni fisici complessi riguardanti la fluidodinamica, le interazioni molecolari, i calcoli astronomici e la progettazione ingegneristica, ma anche per migliorare prodotti, ridurre i costi di produzione e accelerare i tempi di sviluppo. L’HPC viene ora frequentemente utilizzato in aree disciplinari quali le fonti rinnovabili, le reti dei social media, la semantica, la geologia, l’archeologia, la pianificazione urbana, la genomica, l’ economia, oppure le scienze biomedicali quali l’ imaging cerebrale. Il calcolo ad alte prestazioni e le sue applicazioni hanno via via assunto un ruolo di crescente rilievo nel campo della fusione nucleare; in ENEA da oltre un decennio gli esperti di ICT lavorano al fianco dei ricercatori e, dallo scorso anno, ENEA insieme a Cineca sono riuscite a vincere il bando Eurofusion per aggiudicarsi la realizzazione, gestione e messa in servizio, almeno fino al 2023, di una infrastruttura HPC per il settore computazionale della fusione europea che lo sfrutterà per le nuove sfide tecnologiche poste dal progetto ITER.

I supercomputer della fusione

La storia del calcolo ad elevate prestazioni per la fusione è iniziata nel 2008 con una piccola infrastruttura da 1 Tflop/s gestita dall’ENEA nel suo centro di calcolo CRESCO, a Portici. Questa infrastruttura, denominata Gateway, è stata utilizzata dalla comunità fusionistica dei ricercatori europei come piattaforma di lancio per supercomputer più grandi come HPC For Fusion (HPC-FF), il primo grande supercomputer da 100 Tflop/s realizzato nel 2009 e localizzato presso il Jülich Supercomputing Centre fino al 2012. Dedicato esclusivamente alla fusione, è stato finanziato da Euratom. Successivamente, in base ad un accordo con il Giappone nell’ambito del Progetto ITER, la Francia, attraverso il CEA, ha finanziato nel 2012 Helios, un supercomputer da 1,5 Pflop/s. Grazie all’aggiudicazione di una gara internazionale frutto di una collaborazione fra ENEA e Cineca, attualmente il consorzio EUROfusion sta finanziando MARCONI Fusion (Figura 1) un supercomputer costituito da una partizione di MARCONI, il TIER-0 del Cineca, esclusivamente dedicato all’esecuzione di progetti di calcolo selezionati in ambito fusionistico.

MARCONI Fusion è stato rilasciato a EUROfusion attraverso una roadmap che ha consentito di utilizzare le più recenti tecnologie di processori Intel. Si è partiti nel luglio 2016 con una partizione da 1 Pflop/s basata su processori Intel convenzionali, denominati Broadwell, a cui si aggiunta una partizione accelerata da 1 Pflop/s basata su processori MIC (Many-In-Core) denominati Knights Landing. Successivamente nel luglio 2017, la partizione Broadwell è stata sostituita da una partizione da 5 Pflop/s basata su processori convenzionali denominati Skylake. Infine, in seguito all’aggiudicazione di una successiva gara internazionale di EUROfusion, ENEA in collaborazione con Cineca ha espanso la partizione convenzionale di MARCONI Fusion a 8 Pflop/s con oltre 2400 nodi basati su Skylake, aggiunto una infrastruttura di calcolo ad elevate prestazioni da 1 Pflop/s basata su GPGPU Nvidia P100 e realizzato la nuova piattaforma Gateway dedicata allo sviluppo del software rilevante per le future operazioni di ITER. I livelli di servizio formalizzati attraverso un Project Implementing Agreement, permetteranno di utilizzare questa infrastruttura di calcolo avanzato in modalità esclusiva fino a dicembre del 2023. Di fatto, nell’ultimo decennio la comunità scientifica impegnata esclusivamente nella ricerca sulla fusione ha potuto disporre di infrastrutture di calcolo avanzato di dimensioni sempre maggiori (Figura 2).

La R&S europea sulla fusione nucleare per scopi energetici è sempre stata coordinata dall’Euratom, che nel tempo ha utilizzato vari strumenti operativi, l’ultimo dei quali è il consorzio EUROfusion. È già da circa 10 anni che l’Euratom approva investimenti sulla simulazione numerica della fisica dei plasmi di rilevanza reattoristica attraverso il supporto allo sviluppo dei modelli di calcolo.

Nel periodo 2016-2018 MARCONI Fusion ha reso disponibile oltre 1500 milioni di core-ore di cui circa il 70% utilizzati da centinaia di progetti selezionati rilevanti per la fusione. Nell’ultimo ciclo di allocazione delle risorse di calcolo di MARCONI Fusion la ripartizione per tipologie di codici è mostrata in Figura 3, dove predominano i codici di turbolenza basati sui modelli della fisica cinetica insieme alla pletora di modelli ibridi.

La collaborazione di ENEA con il Cineca, sviluppatasi in ambito EUROfusion, ha portato al riconoscimento, da parte di quest’ultimo, di ENEA come tier-1 nazionale per i servizi di calcolo ad alte prestazioni. Operativamente questo si è tradotto nella realizzazione, presso il centro di calcolo CRESCO di ENEA Portici, di un supercomputer da 1,4 Pflop/s di picco, basato sulla stessa soluzione tecnologica di MARCONI. Il supercomputer ENEA, denominato CRESCO6 (Figura 4), segue la lunga evoluzione dei supercomputer CRESCO, operativi presso il centro di Portici dal 2008. Nel novembre 2018 il supercomputer CRESCO6 si è classificato nella lista dei 500 supercomputer più potenti del mondo (al 420° posto) e costituisce dopo il Cineca la maggiore risorsa di supercalcolo a disposizione della comunità scientifica italiana.

I supercomputer dell’ENEA della generazione CRESCO hanno una architettura SMP multicore con una rete di interconnessione a bassa latenza e un filesystem parallelo ad elevate prestazioni. Come tutte le risorse di calcolo ENEA, anche i supercomputer CRESCO sono integrati nella infrastruttura denominata ENEAGRID basata sulla condivisione dei dati distribuiti geograficamente. Le risorse di calcolo sono prevalentemente al servizio delle attività progettuali dell’ENEA, ma numerose sono le collaborazioni con Università, Enti di Ricerca Pubblici e soggetti privati che hanno l’opportunità di accedere ai servizi di calcolo ad alte prestazioni avendo a disposizione tutti gli strumenti per lo sviluppo software e un supporto di elevato livello professionale. Tanto per dare una stima sull’utilizzo delle risorse di calcolo dell’ENEA nell’anno 2018, dove CRESCO6 era operativo per metà della sua potenza di calcolo, ben 42,5 milioni di core-ora sono stati utilizzati dagli utenti. Con un costo standard di circa 0,02 EUR a core-ora sarebbero stati necessari circa 850k € di fondi per coprire le esigenze di calcolo ad elevate prestazioni in ENEA nel solo 2018.

L’ENEA è partner del Centro di Eccellenza europeo EoCoE (Energy Oriented Centre of Excellence) nel settore HPC finanziato dal progetto H2020 EoCoE-II, finalizzato allo sviluppo e ottimizzazione di applicazioni numeriche in campo energetico per le nuove generazioni di supercomputer exascale, includendo i codici gyro-cinetici rilevanti per i reattori a fusione nucleare[7].Questi evolveranno in nuove versioni completamente riformulate, con I/O ottimizzato dall’ENEA e nuovi solutori paralleli, per rendere possibile simulare l’intero tokamak con accuratezza mai raggiunta prima. Inoltre ENEA è full member dell’European Technology Platform for High Perfomance Computing (ETP4HPC) costituito da tutti gli stakeholder europei impegnati nel definire i piani di azione evolutiva nel campo del calcolo ad elevate prestazioni.

Inoltre, insieme a Cineca e INFN, l’ENEA partecipa all’Associazione BigData in progetti di integrazione di infrastrutture digitali federate fornite come servizio capaci di consentire l’accesso a tecnologie ad elevate prestazioni: calcolo, reti e dati, da parte di comunità pubbliche e private. L’integrazione fornirà una piattaforma open science in grado di supportare le comunità di ricerca nazionali, lo sviluppo di nuove metodologie computazionali e la partecipazione a progetti congiunti [9].

Infrastrutture di calcolo dedicate

Ma in che cosa consiste il contributo del supercalcolo alla ricerca sulla fusione? Tutti i fenomeni fondamentali della fisica dei plasmi sono dovuti all’interazione di un gran numero di particelle cariche attraverso la forza di Coulomb. Quando il numero di particelle cariche è relativamente grande rispetto ai volumi dello spazio, esse tendono a raggiungere una configurazione di equilibrio di quasi-neutralità sviluppando un comportamento collettivo quasi ‘ordinato’ che predomina sull’agitazione termica. Talvolta, però il comportamento collettivo può degenerare in fenomeni di instabilità che, di fatto, costituiscono il maggiore ostacolo alla realizzazione di un reattore a fusione. Le temperature in gioco nel plasma e le velocità con cui si propagano i fenomeni all’interno di esso impongono ai modelli numerici di risolvere equazioni con una accuratezza sia spaziale che temporale altissima, altrimenti ogni piccola incertezza numerica rischia di propagarsi rapidamente e in modo imprevedibile durante le simulazioni, conducendo a conclusioni errate. I supercomputer in grado di risolvere tali equazioni dinamiche devono avere caratteristiche ben precise in termini di processori, memoria, software, compilatori e reti di comunicazione, tanto che è necessario realizzare infrastrutture di calcolo dedicate.

Modelli numerici

I plasmi confinati magneticamente costituiscono la principale linea di ricerca dei reattori a fusione. In essi si possono soprattutto sviluppare processi non lineari attraverso l’interazione di vari fenomeni singoli su larghe scale spazio temporali. A causa di queste enormi scale spazio temporali vengono definiti differenti modelli in cui specifici comportamenti del plasma vengono simulati. Due di questi modelli vengono principalmente usati nel campo della fusione termonucleare controllata a scopi energetici: la magnetoidrodinamica (MHD) e la teoria cinetica. Esiste inoltre una pletora di modelli ibridi che usano approssimazioni di entrambi per studiare i comportamenti del plasma e che non possono essere simulati indipendentemente da ciascuno di essi.

La magnetoidrodinamica (MHD)

La maggior parte dei fenomeni macroscopici visti dagli esperimenti possono essere descritti dalla MHD. I codici di calcolo dei modelli MHD non sono particolarmente onerosi dal punto di vista computazionale e riescono a simulare le instabilità su larga scala dei plasmi confinati magneticamente. I modelli MHD sono usati sia nella progettazione, sia negli scenari operativi dei plasmi reattoristici sperimentali dei tokamak su cui si basa la configurazione magnetica di ITER. I principali codici numerici adottati eseguono la discretizzazione delle equazioni MHD con metodi alle differenze o agli elementi finiti su architetture a memoria condivisa SMP (Symmetric MultiProcessing) con il parallelismo implementato a livello di compilatore basato sullo standard OpenMP.

La Figura 5 mostra la tipica instabilità “a dente di sega”, ottenuta mediante la simulazione numerica di un modello MHD nella tipica configurazione magnetica dei tokamak. Mentre questa instabilità è ben conosciuta sperimentalmente dal 1975, le sue cause e la dinamica non sono ancora ben conosciute. Per questo le simulazioni numeriche giocano un ruolo determinante nel confrontare i modelli MHD con i dati sperimentali [1-3].

La teoria cinetica

Mentre la MHD descrive i comportamenti macroscopici dei plasmi, questi, nelle applicazioni reattoristiche, mostrano regimi di turbolenza su scale spazio temporali piccole tanto da richiedere un differente modello per evidenziarne le proprietà (Figura 6). Questo modello si basa sulla teoria della cinetica fisica dove gioca un ruolo fondamentale l’equazione di Boltzmann per la funzione di distribuzione nello spazio delle fasi a 6 dimensioni. Nei modelli numerici di plasmi confinati magneticamente rilevanti per i reattori a fusione, di notevole successo rivestono i codici gyro-cinetici, in cui si riduce la complessità utilizzando una rappresentazione dello spazio delle fasi a 5 dimensioni [5]. I modelli della fisica cinetica vengono sempre maggiormente utilizzati nella ricerca sulla fusione nucleare a scopi energetici, grazie alla crescente disponibilità di risorse di calcolo di cui hanno un enorme bisogno. Le attuali architetture di supercomputer si basano su migliaia di nodi SMP di CPU multi-core, interconnessi da reti ad alte prestazioni con bassa latenza e grandi larghezze di banda.

Alcuni codici gyro-cinetici 5D eseguono grandi simulazioni su supercomputer della classe petascale (milioni di miliardi di operazioni in virgola mobile al secondo), fino a 65k cores grazie alla programmazione parallela ibrida MPI (Message Passing Interface) per la comunicazione fra i nodi, e OpenMP per il parallelismo SMP a memoria condivisa. I codici gyro-cinetici sono inseriti nel processo di ottimizzazione per le prossime architetture exascale di supercomputer (miliardi di miliardi di operazioni in virgola mobile al secondo) [7]. Accanto ai modelli deterministici formulati dalle equazioni costitutive introdotte precedentemente, esistono, nel campo della simulazione numerica applicata alla progettazione dei futuri reattori a fusione, codici di calcolo basati sui metodi Monte Carlo, quali ad esempio MCNP sviluppato presso i laboratori nazionali di Los Alamos [8]. Dal punto di vista del calcolo parallelo, i metodi Monte Carlo presentano una maggiore scalabilità nell’ambito della programmazione ibrida MPI+OpenMP, in quanto la comunicazione intra-nodi con MPI è irrilevante. Questo fa sì che tali metodi possono accoppiarsi agli algoritmi di deep-learning utilizzati con eccellenti prestazioni sulle nuove architetture di supercomputer accelerati basati su GPGPU (General Purpose Graphic Processor Unit).

Conclusioni

I supercomputer sono uno strumento importante per la ricerca sulla fusione termonucleare controllata, in quanto capaci di simulare fenomeni complessi con un ottimo grado di attendibilità. La collaborazione fra ENEA e il Cineca ha consentito di posizionarsi con un ruolo da protagonisti nell’ecosistema del supercalcolo dedicato alla ricerca sulla fusione nucleare per scopi energetici. Si tratta di una partnership solida che continuerà a fornire i servizi di supercalcolo a tutta la comunità europea della fusione fino al 2023. Le ricadute di questa attività per l’ENEA sono particolarmente importanti, in quanto essa consente di mantenere un ruolo di primo piano nel panorama nazionale del calcolo ad alte prestazioni, e di assicurare importanti risorse computazionali ai gruppi di ricerca ENEA e ai loro partner su un ampio spettro di attività di R&S.

Ringraziamenti

Si ringraziano i colleghi del Cineca Carlo Cavazzoni, Elda Rossi, Sanzio Bassini, i colleghi ENEA Aldo Pizzuto e Maria Laura Sansovini e gli ex ENEA Giovanni Bracco e Andrea Quintiliani per il loro contributo alla realizzazione dell’infrastruttura HPC dedicata esclusivamente alla ricerca e sviluppo europea sulla fusione nucleare a scopi energetici.