I dati rappresentano un problema critico per gli scienzati ed, in particolare, per gli astronomi. Strumenti di osservazione (telescopi, satelliti, ecc...) producono enormi quantità di immagini e informazioni. Computer e simulazioni numeriche generano un'enorme quantità di dati. Tutti questi dati devono essere memorizzati, gestiti ed analizzati. Questi passi richiedono un notevole sforzo umano, grandi impianti e strumenti efficienti e potenti.
Sfida
VisIVO (che sta per Visualization Interface for the Virtual Observatory) è un pacchetto per il supporto alla visualizzazione e l'analisi di dati astronimici in 3-dimensioni. Questo strumento fornisce una visualizzazione grafica in 3D dei dati sfruttando le più avanzate tecnologie di visualizzazione ed ha diversi strumenti all'interno che forniscono un modo efficace ed intuitivo di gestire ed analizzare una grande quantità di dati prodotti con le osservazioni e le simulazioni numeriche. VisIVO può trattare dati sia osservazionali che teorici (es. prodotti attraverso simulazioni numeriche) ed è particorlarmente efficace nella manipolazione dei dataset multidimensionali (es. cataloghi, maglie di calcolo, ecc...). Può essere utilizzato sia come applicazione stand-alone, che agisce sui file locali, sia come un'interfaccia per il framework Virtual Observatory, da cui si possono recuperare i dati.
La suite di software VisIVO era disponibile prima sul progetto EDGeS in due forme: una suite software stand-alone per desktop ed una versione per grid. Se utilizzato come un'applicazione stand-alone, l'utente può lavorare sui file locali in un ambiente Windows con una semplice interfaccia. La versione grid è stata portata ed eseguita sul Cometa Consortium Grid precedentemente al progetto EDGeS. La motivazione del porting dell'applicazione alla piattaforma EDGeS è stata quella di utilizzare il grande numero di risorse a livello di produzione comparate le soluzioni esistenti.
Utenti
La communità scientifica ha mostrato un grande interesse negli strumenti scientifici di visualizzazione. Gli utenti primari di questa applicazione sono astrofisici, chi può utilizzare lo strumento per comprendere effettivamente la distribuzione tre-dimensionale dei campi, la loro geometria, topologia o specifici modelli. Visualizzare ed analizzare i dati astrofisici è a livello di elaborazione intenso e potrebbe richiedere giorni o settimane su un singolo pc per essere completate. La versione Grid dell'applicazione permette lo sfruttamento della potenza di calcolo sufficiente per comprendere le simulazioni su una larga scala ed in un tempo minore che permettono a grandi communità di ricercatori di utilizzare la suite di software VisIVO Server.
Soluzione
L'applicazione VisIVO Server ha tre componenti. Solo una delle applicazioni nella suite richiede notevole potenza computazionale: VisIVO Viewer. Gli altri due componenti (VisIVO Importer, VisIVO Filters) possone essere eseguiti dall'utente sul suo PC visto che il loro tempo di esecuzione è relativamente breve. L'utente prima esegue VisIVO Importer per convertire i dati di input in un formato dati interno (VisIVO Binary Table, VBT). Ulteriori modifiche e trasformazioni possono essere effettuate sul file VBT con l'applicazione di vari VisIVO Filters su di esso. Con il VBT file ed altri file di input necessari, l'utente è pronto per eseguire il VisIVO Viewer. Eseguire il VisIVO Viewer è il compito più intensivo a livello di elaborazione. Questo componente renderizza i frame dal file VBT.
L'implementazione EDGeS utilizza il principio di parallelizzazione master-worker adatto all'infrastruttura DG. L'applicazione master ricevi in ingresso la tabella dati ed il file parametro e crea diversi file di parametro uguali dipendenti dal numero di workunit. L'applicazione master spedisce il numero di frame iniziale e finale in quei file parametro all'applicazione worker. Quest'ultima (che esegue VisIVO Viewer) renderizza i file immagine specifici e rispedisce all'applicazione master il video che ha creato da loro. Il tipo di parallelizzazione master-worker è possibile quando i singoli frame possono essere renderizzati indipendentemente da ogni altro.
Risultati
L'applicazione è stata testata con successo ed è disponibile per l'esecuzione su un desktop grid basato su BOINC ed anche in entrambe le direzione sul EDGeS EGEE BOINC bridges.
L'applicazione è stata sviluppata a livello di produzione sul Westminster Local DG (WLDG) e le versioni EGEE e BOINC sono scaricabili dal EDGeS Application Repository.
Le prestazioni dell'applicazione sono state testate e valutate sulla piattaforma WLDG. Le prestazioni di un singolo processore di un PC test sono state comparate con un grande ma non determinato numero di computer (circa 1500) utilizzati nel desktop Grid sperimentale. Durante i test la versione DG dell'applicazione è stata eseguita 300 volte più velocemente della versione originale.
Background
L'EDGeS Application Development Method (EADM) è un metodo che standardizza il porting delle applicazioni ad un complesso ambiente Grid. Il metodo assicura che è il miglior percorso possibile da scegliere per il porting.
La metodologia EDGes Application Development utilizzata nel porting dell'applicazione al Grid.
Il progetto EDGeS mantiene una infrastruttura Grid che connette Desktop Grid e Service Grid.
L'infrastruttura Grid di EDGeS.