Destination Earth: il ruolo di Hewlett Packard Labs nella creazione di un gemello digitale globale

I gemelli digitali sono meraviglie ingegneristiche che permettono di simulare determinate condizioni a distanza. Offrono agli esperti di diversi settori l'opportunità di osservare e misurare ciò che accade in un ambiente senza la necessità di essere fisicamente sul posto. I casi d'uso dei gemelli digitali spaziano dalla pianificazione urbana all'agricoltura, fino allo sviluppo di auto a guida autonoma.

Sebbene queste applicazioni siano innovative e importanti, soddisfano solo gli interessi specifici di determinati gruppi. Come sarebbe creare un gemello digitale che possa riguardare tutti? E se un gemello digitale potesse simulare le condizioni climatiche, sia su scala locale che globale? E se potesse simulare le condizioni reali del passato, basandosi su dati reali? E se potessimo creare un gemello digitale che proietta le condizioni climatiche nel futuro sulla base dei dati climatici passati e attuali?

A primo acchito, sembra una cosa impensabile, ma invece sta accadendo. Un gruppo di agenzie governative e istituti di ricerca ha avviato un progetto pluriennale per creare un gemello digitale che simuli le condizioni climatiche dell'intera Terra.

Pensateci per un momento. Immaginate la complessità del problema, la quantità di dati già raccolti nei modelli climatici, per non parlare di tutte le informazioni che stiamo raccogliendo ogni giorno e che raccoglieremo in futuro. Dovranno essere creati dei modelli per generare insight sull'andamento dei venti, delle correnti e delle temperature. Come è possibile far sì che questi modelli si colleghino tra loro? Si tratterebbe di sfruttare, creare, archiviare e gestire una quantità impressionante di dati.

Hewlett Packard Labs è un fornitore in subappalto di un progetto finanziato dall'UE, noto come Destination Earth, che mira a costruire una replica digitale del sistema Terra entro il 2030. Il team del Labs European Research Center sta lavorando per implementare un meccanismo di orchestrazione dei dati in grado di risolvere il problema logistico della gestione di petabyte di informazioni ogni giorno e di trasferirle strategicamente agli esperti quando ne hanno bisogno. Un supercomputer in Finlandia costruito da HPE sta inoltre eseguendo la maggior parte dei calcoli effettivi nelle prime fasi del progetto.

Vediamo in dettaglio il progetto e il coinvolgimento dei Labs.

Il progetto in sintesi

Destination Earth, conosciuto nel settore come "DestinE", mira a sviluppare un modello digitale della Terra estremamente accurato che monitori, simuli e preveda l'interazione tra i fenomeni naturali e le attività umane.

Il progetto consiste in due gemelli digitali che costituiscono la base per un insieme interconnesso di gemelli riguardanti vari aspetti della fisica terrestre. Un gemello è stato progettato per fornire simulazioni di scenari climatici a livello globale, nazionale e locale. L'obiettivo è garantire ai ricercatori strumenti migliori per seguire e comprendere i cambiamenti climatici. Questo, a sua volta, può aiutare la società, i decision maker e gli utenti dei settori sensibili al clima a reagire in modo positivo, sostenendo le strategie di adattamento e mitigazione. Il lavoro di Hewlett Packard Labs sulla parte del progetto relativa ai dati viene utilizzato nel gemello digitale del cambiamento climatico.

Il secondo gemello simula gli effetti di condizioni meteorologiche estreme. L'obiettivo è quello di supportare il processo decisionale in tempo reale per la limitazione dell'impatto e la valutazione del rischio dei sempre più frequenti eventi meteorologici estremi.

La prima fase del lavoro su Destination Earth si è conclusa nell'aprile 2024. Gli oltre 30 partner hanno consegnato modelli di lavoro di entrambi i gemelli digitali del sistema Terra, oltre a un motore software e hardware del gemello digitale che gestisce l'ambiente tecnologico di DestinE per il futuro, un data lake per archiviare le informazioni e una piattaforma di servizi di base per controllare l'ecosistema complessivo di applicazioni e risorse.

L'iniziativa sarà attuata congiuntamente da tre enti incaricati: il Centro europeo per le previsioni meteorologiche a medio raggio (ECMWF), responsabile della creazione dei primi due gemelli digitali e del motore del gemello digitale; l'Agenzia spaziale europea (ESA), responsabile della costruzione della piattaforma di servizi di base; l'Organizzazione europea per l’esercizio dei satelliti meteorologici (EUMETSAT), per la supervisione e la creazione del data lake.

Ora DestinE sta entrando nella sua seconda fase. I partner lavoreranno per migliorare il sistema, completare la piattaforma principale, rendere operativi i due gemelli digitali e accrescere il ruolo dell'apprendimento automatico e dell'intelligenza artificiale (ML/AI) in tutto il progetto.

Come funziona Destinazione Terra

L'impatto degli eventi e dei fenomeni meteorologici estremi è in aumento. Il livello dei mari si sta innalzando, le calotte polari si stanno sciogliendo e siccità, incendi gravi, inondazioni e tempeste catastrofiche si verificano con maggiore frequenza. Ciò mette sotto pressione i leader mondiali affinché sviluppino piani a lungo termine per adattarsi a questi cambiamenti e, se possibile, rallentarne l'impatto.

I sistemi di simulazione climatica esistenti, come il Copernicus Climate Change Service o il Coupled Modelling Intercomparison Project (CMIP), forniscono informazioni che vengono utilizzate nei modelli locali. Ma questi sistemi faticano a fornire informazioni vitali a livello globale e con la scala e la risoluzione necessarie per ricavare misure di adattamento e mitigazione dei cambiamenti climatici.

DestinE intende creare una nuova generazione di sistemi informativi sul clima basati sulle più recenti ricerche scientifiche e abilitati da nuove tecnologie digitali. Questo sistema informativo fornirà maggiori dettagli e precisione e introdurrà la configurabilità e l'interattività tra gli utenti per migliorare l’acquisizione delle informazioni da parte della popolazione.

Migliorare la risoluzione delle simulazioni climatiche può anche aumentarne radicalmente l'efficacia. DestinE è stato progettato per simulare i modelli climatici utilizzando risoluzioni spaziali più elevate. In sostanza, si concentra su punti distanti 5 chilometri l'uno dall'altro, anziché sui 25-50 o più dei modelli attualmente in uso.

In questo modo gli scienziati hanno la possibilità di simulare modelli climatici a lungo termine ad un livello molto più specifico. Possono simulare gli effetti di determinati cambiamenti di policy sul clima di una certa area. La possibilità di simulare la velocità del vento, ad esempio, fornirà dati più precisi alle comunità che pianificano dove costruire i parchi eolici e che tipo di rendimenti potrebbero generare in futuro.

Tutto questo richiede una straordinaria potenza di calcolo. I partner di DestinE si sono posti l'obiettivo di riuscire a simulare un anno solare di dati per modello in un solo giorno di calcolo sul supercomputer LUMI in Finlandia. Ogni giorno di simulazione produce 290 terabyte di dati per 1-2 anni simulati. Con tre diversi modelli che simulano il gemello climatico, ci aspettiamo una generazione di circa 1 PB al giorno di tempo di calcolo. Ciò equivale a circa 1.000 dischi rigidi personali pieni di documenti, immagini e musica registrata.

Il coinvolgimento di HPE Labs

La semplificazione del flusso di tutti questi dati è il punto in cui entra in gioco l'esperienza di HPE Labs. HPE Labs ha creato un modo per collegare i dati in modo che possano essere trasmessi strategicamente agli esperti che ne hanno bisogno.

In un’azienda convenzionale, i dati vengono gestiti con file archiviati in una serie di sistemi e sono spesso difficili da trovare e da spostare da un posto all'altro. È necessario un componente middleware che consenta una programmazione coordinata e automatica dei lavori in base al luogo in cui si trovano e al modo in cui devono essere spostati.

I coordinatori di DestinE hanno trovato una soluzione al problema e si sono rivolti a Hewlett Packard Enterprise Labs per implementarla. Nel 2018 Cray Inc. (in seguito acquisita da HPE) ha sviluppato un progetto di middleware chiamato Maestro con un gruppo di partner europei. Il team di Cray che ha realizzato Maestro ha finito per essere integrato negli Hewlett Packard Enterprise Labs. Tra i partner con cui Cray ha costruito Maestro c'era anche l'ECMWF, l'ente che gestisce il finanziamento dei gemelli digitali di DestinE. Nel 2019 gli sviluppatori hanno reso Maestro disponibile su base open source. Quando il CSC, il centro nazionale di supercalcolo della Finlandia, e il coordinatore del progetto climate twin, hanno cercato un partner per guidare la componente di movimento dei dati del progetto complessivo, hanno coinvolto HPE.

Come funziona Maestro

Negli ambienti di archiviazione tradizionali, le connessioni fra i dati possono avvenire in diversi modi. Può esserci un sistema di archiviazione centrale di dati o un database. Oppure ci può essere un collegamento stretto tra due processi che possono connettersi l'uno con l'altro, ma non con nessun altro.

Maestro contiene un nucleo centrale che tiene conto di tutti i dati che vengono creati o richiesti, ma non agisce in modo specifico come archivio, non c'è un archivio centrale coordinato. Maestro consente a un'applicazione di trovare i dati da inviare a un'altra applicazione. Se l'applicazione produce dati che non servono a nessuno, non saranno mai spostati da nessuna parte, ma verranno eliminati. Può accadere a parti dei dati, lasciando intatte solo le parti limitate di cui hanno bisogno altri processi  in un particolare flusso di lavoro.

Allo stesso tempo, se i dati devono essere spostati da un luogo all'altro, non devono necessariamente condividere lo stesso canale di comunicazione con altre trasmissioni di dati. Questo permette ai dati di fluire più liberamente tra i vari siti degli ecosistemi DestinE, il che è fondamentale quando si ha a che fare con dati su così vasta scala. Grazie a Maestro, l’accoppiamento delle applicazioni di DestinE consente di effettuare connessioni fra i dati senza dover cercare il dato corretto sui vari supporti.

Maestro esegue lo streaming dei dati lungo il percorso più efficiente. Se le applicazioni dispongono determinate serie di dati in memoria in una particolare applicazione, quella successiva può considerare la memoria in modo diverso e richiederla in un livello di memoria diverso. Potrebbe essere programmata per esaminare un insieme di parametri (latitudine e longitudine) mentre l'altra è programmata per esaminarne un altro. Una terza applicazione potrebbe essere solo di archiviazione. Maestro può accoppiare le applicazioni in modo tale che la riorganizzazione dei dati avvenga automaticamente senza che le applicazioni debbano programmarsi.

Perché è importante

È diventato un cliché per i politici e gli imprenditori dichiarare che il loro vero obiettivo è "rendere il mondo un posto migliore". Un gemello digitale della Terra aiuterà davvero a farlo. Quando arriverà, tra pochi anni, fornirà ai leader informazioni che potranno essere utilizzate per prendere decisioni migliori. Potranno utilizzare i dati meteorologici e le previsioni climatiche per giustificare investimenti che andranno a beneficio degli elettori e dei clienti nel futuro, oltre i limiti del prossimo trimestre o del prossimo ciclo elettorale.

Il fatto che dipenda dal calcolo ad alte prestazioni (HPC) gioca sui punti di forza di HPE nello sviluppo di questa importante tecnologia. Dopo tutto, ogni lavoro di calcolo a un certo punto è limitato da input e output. Gli scienziati possono cercare di elaborare più velocemente, ma hanno comunque bisogno di supercomputer per costruire, elaborare e spostare grandi quantità di dati. I ricercatori hanno bisogno di apparecchiature specializzate ed è per questo che esistono sistemi di rete come HPE Slingshot, che consentono di creare sistemi più grossi a blocchi, come se si trattasse semplicemente di aggiungere qualche processore in più. 

Conclusioni

Visualizzare i climi in un panorama grande come la Terra è una sfida notevole. È questo che la rende interessante per i ricercatori di Labs. I miglioramenti algoritmici che abbiamo apportato al movimento dei dati, alla programmazione, alla minimizzazione dell'accesso, ai dati e al loro riutilizzo invece di estrarli più volte da dove si trovano, costituiscono la spina dorsale di questo tipo di progetti tecnologici su larga scala. Il futuro della nostra ricerca è in questo ambito. Ecco perché è così stimolante per i nostri scienziati essere al centro di un progetto come questo, per sviluppare soluzioni organizzative che aiutino a risolvere i problemi più grandi dell'umanità.