ARGOMENTO:

Ciao a tutti, ultimamente mi e' venuta voglia di provare a usare boinc su un cluster presente da noi in sede lavorativa, dopo aver avuto il via libera mi sono seduto di fronte alla macchina e..... niente, non sono riuscito nel mio intento. Passiamo alle informazioni tecniche:
il cluster e' formato da un head (2x Xeon exa+60GB di ram+GTX470) e 4 nodi slave (Core 2 Quad + GTX470+ram imprecisata), su ogni macchina e' installato XP 64-bit ed e' presente il proprio disco rigido,i 4 nodi sono collegati in GLAN con l'head e l'head ha accesso a internet. Ho provato a installare BOINC sull'head, ma con tutto il marchingegno acceso riconosce solamente l'head del cluster. Quindi mi sorgono piu' dubbi, per far si' che il tutto venga visto come un'unica entita' cosa dovrei fare? Installare e lanciare BOINC su tutte le macchine? Oppure ci sono problemi di incompatibilita' perche' head e nodi montano diverse tipologie di processore? Oppure XP non e' proprio adibito a lavorare in una situazione del genere? Ho provato a googlare un po', ma tutte le guide all'utilizzo di BOINC e cluster, ovviamente, fanno riferimento a Linux e non ho la piu' pallida idea di cosa fare. Se c'e' qualcuno che mi puo' schiarire le idee sono tutt'orecchi

Happy crunching a tutti!

Uhm... La soluzione più semplice che mi viene in mente è installare boinc su tutte le macchine, separatamente. Poi, se vuoi, puoi gestirle tutte in una volta con un boinc manager (es BAM), ma spesso bam crea difficoltà specie a chi è all'inizio.
Un appunto: xp 64? Vi volete far del male da soli? E' compatibile solo con sè stesso (forse), non è stato sviluppato praticamente nulla per xp a 64 bit...

Scelte aziendali, piu' che altro dettate dalla quantita' spropositata di RAM da gestire (60GB) che un 32-bit non riuscirebbe a vedere e dall'applicazione sviluppata dall'azienda presso cui abbiamo comprato la macchina da tomografia In ogni caso fosse per me girerebbero sono GNU/Linux in azienda provero' a installare BAM, ma mi viene subito un altro dubbio, essendo i nodi non connessi a internet, ma solo alla GLAN, come scaricherebbero il lavoro?

Se per uscire su internet usate un proxy, e non ti riesce il ping del proxy dai sotto-nodi, non serve neanche che ci installi BOINC.

Pero' un'alternativa potrebbe essere quella di aggiungere una regola di route (statica) alla macchina che vede sia il proxy che i sotto nodi per consentire l'accesso di questi al proxy. In questo caso ti conviene chiedere il premesso / consulenza all'amministratore della rete. Se la route statica non funziona, (sempre col premesso dell'amin) puoi installare sulla macchina che vede sia i sotto-nodi che il proxy un altro proxy locale (se la macchina e' window ti consiglierei il programma free freeproxy).

Ho scritto in fretta, spero di essermi spiegato, altrimenti chiedi pure ...

astroale ha scritto:

Se per uscire su internet usate un proxy, e non ti riesce il ping del proxy dai sotto-nodi, non serve neanche che ci installi BOINC.

Pero' un'alternativa potrebbe essere quella di aggiungere una regola di route (statica) alla macchina che vede sia il proxy che i sotto nodi per consentire l'accesso di questi al proxy. In questo caso ti conviene chiedere il premesso / consulenza all'amministratore della rete. Se la route statica non funziona, (sempre col premesso dell'amin) puoi installare sulla macchina che vede sia i sotto-nodi che il proxy un altro proxy locale (se la macchina e' window ti consiglierei il programma free freeproxy).

Ho scritto in fretta, spero di essermi spiegato, altrimenti chiedi pure ...

Le macchine che hanno accesso a internet mi riferiscono ora che hanno accesso diretto e non via proxy, devo provare a pingare qualcosa dai nodi?

Prova da fare un ipconfig /all sulla macchina con accesso internet.
Dovresti vedere qual'e' il default gateway della lan con accesso diretto. Se dalla sotto rete dei nodi puoi pingare il deafult gateway della rete principale dovrebbe gia' esistere un routing tra le due reti e quindi disporre gia' della connessione internet dai sotto-nodi.

Altrimenti le strade sono due, configurare una route statica come dicevamo prima (per far parlare le due lan) o installare freeproxy sul nodo comune e configurare sui BOINC dei sotto nodi l'indirizzo del freeproxy come proxy. In questo caso (accesso diretto) rispetto a quanto detto prima dovrebbe cambiare solo il fatto che su freeproxy non hai piu' bisogno di configurare l'IP del proxy internet.

Maciej ha scritto:

provero' a installare BAM

Da veterosclerotico, per la gestione di criceti multipli sulla stessa lan, ti consiglierei BoincView o il piu' recente BoincTask.

astroale ha scritto:

Prova da fare un ipconfig /all sulla macchina con accesso internet.
Dovresti vedere qual'e' il default gateway della lan con accesso diretto. Se dalla sotto rete dei nodi puoi pingare il deafult gateway della rete principale dovrebbe gia' esistere un routing tra le due reti e quindi disporre gia' della connessione internet dai sotto-nodi.

Altrimenti le strade sono due, configurare una route statica come dicevamo prima (per far parlare le due lan) o installare freeproxy sul nodo comune e configurare sui BOINC dei sotto nodi l'indirizzo del freeproxy come proxy. In questo caso (accesso diretto) rispetto a quanto detto prima dovrebbe cambiare solo il fatto che su freeproxy non hai piu' bisogno di configurare l'IP del proxy internet.

la seconda strada potrebbe essere un problema piu' serio da attuare, parlo di installare freeproxy su tutte le macchine, forse su questo potrei non ricevere il via libera. Provero' in ogni caso a pingare il default gateway prima e vedere i risultati, l'unico problema sara' quando, i 4 nodi oltre a fare un macello inverosimile, attualmente si trovano in una posizione provvisoria e andranno spostati non si sa quando. Spero settimana prossima di riuscire a combinare qualcosa.

Quello che non capisco pero e': su un cluster normale (o super computer) impegnato con boinc i nodi non ricevono il lavoro dalla testa del sistema? Perche' forse io sono partito dal concetto sbagliato di elaborazione cluster su BOINC

Maciej ha scritto:

su ogni macchina e' installato XP 64-bit

Ricordati di installare la versione 64 bit di BOINC altrimenti (per i progetti che ne dispongono) non potrai usare il client a 64 bit. Es. il SIMAP dispone del client windows x86_64.

Installare e lanciare BOINC su tutte le macchine?

Direi di si, immagino che siano connesse via erthernet su una rete locale propria, altrimenti tutti i miei precedenti post sull'argomento saltano.

Inoltre, se (e solo se) su ogni sotto nodo disponi di una una scheda video utilizzabile da BOINC devi ricordarti di installare BOINC in modalita' non protetta per poterla utilizzare. Questo inoltre ti obbligera' a fare il logon per fare partire BOINC perche' in questa modalita' non partira' come servizio al boot del sotto-nodo.
Le GTX470 sono utilizzabili da BOINC, sono solo sul nodo principale a anche sugli altri ?

astroale ha scritto:
Ricordati di installare la versione 64 bit di BOINC altrimenti (per i progetti che ne dispongono) non potrai usare il client a 64 bit. Es. il SIMAP dispone del client windows x86_64.

Yop

Direi di si, immagino che siano connesse via erthernet su una rete locale propria, altrimenti tutti i miei precedenti post sull'argomento saltano.

sisi, hanno una propria GLAN

Inoltre, se (e solo se) su ogni sotto nodo disponi di una una scheda video utilizzabile da BOINC devi ricordarti di installare BOINC in modalita' non protetta per poterla utilizzare. Questo inoltre ti obbligera' a fare il logon per fare partire BOINC perche' in questa modalita' non partira' come servizio al boot del sotto-nodo.
Le GTX470 sono utilizzabili da BOINC, sono solo sul nodo principale a anche sugli altri ?

Le GTX sono su tutti e 5 i terminali, pero' la cosa della modalita' non protetta me la devo studiare, perche' non ne ero a conoscenza. E' un opzione dell'installazione?

Maciej ha scritto:

la seconda strada potrebbe essere un problema piu' serio da attuare, parlo di installare freeproxy su tutte le macchine

Il freeproxy andrebbe installato solo su una macchina, quella che vede internet e contemporaneamente anche la rete dei sotto-nodi.
Questo se ho capito bene, a meno che tu non abbia enne cluster, con enne nodi principali e 4 * enne sotto-nodi (4 per ogni nodo principale). Sarebbe un bel botto, specie con un enne alto a piacere

Quello che non capisco pero e': su un cluster normale (o super computer) impegnato con boinc i nodi non ricevono il lavoro dalla testa del sistema? Perche' forse io sono partito dal concetto sbagliato di elaborazione cluster su BOINC

Dipende da cosa intendi per cluster, se intendi enne macchine collegate con un bus speciale ad alta velocita' che permente di mettere in share le risorse distribuite in modo da vedere da task manager (o top) tutte le CPU, la RAM e i dischi sotto lo stesso kernel. Allora BOINC basta installarlo sul nodo principale. Se invece e' una semplice "pila" di macchine collegate tra loro via ethernet, allora non si tratta di un vero "cluster" e BOINC va installato su ogni nodo. Ma in genere anche le macchine in "cluster virtuale" dovrebbero avere qualche applicativo che ti consente di fare installazioni multiple in parallelo su tutti i sotto nodi ... va beh che nel tuo caso sono solo 4 quindi ...

Maciej ha scritto:

Inoltre, se (e solo se) su ogni sotto nodo disponi di una una scheda video utilizzabile da BOINC devi ricordarti di installare BOINC in modalita' non protetta per poterla utilizzare. Questo inoltre ti obbligera' a fare il logon per fare partire BOINC perche' in questa modalita' non partira' come servizio al boot del sotto-nodo.
Le GTX470 sono utilizzabili da BOINC, sono solo sul nodo principale a anche sugli altri ?

Le GTX sono su tutti e 5 i terminali

Ottimo, nonche'

pero' la cosa della modalita' non protetta me la devo studiare, perche' non ne ero a conoscenza. E' un opzione dell'installazione?

Allora la cosa diventa un poco complicata ...
si e' un opzione di installazione (mi sembra tra le avanzate) viene proprio specificato che in modalita protetta puoi installare come servizio e quindi basta il boot a far partire BOINC. Mentre per usare la GPU devi usare la modalita' non protetta e quindi BOINC parte solo al logon sul desktop.

La cosa si complica se come immagino non hai monitor / tastiera collegati ai sotto-nodi, perche':
1) dovrai fare il logon via remote descktop e poi scollegarti con la X per non chiudere il collegamento (e quindi BOINC)
2) durante una sessione di remote desktop tipicamente va in pappa la GPU e si schianta il client per GPU che stava girando errorando tutte le WU in coda, quindi la sequenza dovrebbe essere:

a] partire con condizione iniziale di progetto GPU in suspend
b] dopo il boot del sotto nodo, lanciare BOINC entrando via remote desktop (da cmdline mstsc /console)
c] scollegarsi con X in modo la lasciare la sessione attiva e lockata
d] da BoincView o BoincTask o boincmanager classico collegato da remoto (dal nodo principale) fare il resume del progetto GPU

z] ricordarsi prima di fare un qualsiasi reboot dei nodi di fare il suspend del progetto GPU per riportarsi nella condizione [a]

Maciej ha scritto:

il cluster e' formato da un head (2x Xeon exa+60GB di ram+GTX470) e 4 nodi slave (Core 2 Quad + GTX470+ram imprecisata), su ogni macchina e' installato XP 64-bit ed e' presente il proprio disco rigido,i 4 nodi sono collegati in GLAN con l'head e l'head ha accesso a internet. Ho provato a installare BOINC sull'head, ma con tutto il marchingegno acceso riconosce solamente l'head del cluster.

Scusa, forse ho capito male, ma almeno l'head del cluster avrà un sistema operativo SERVER, immagino (sia esso un win server o un linux server). Che io sappia NON si può fare un cluster con macchine client.
Ovvero, le risorse sono duplicate correttamente? Il tutto viene visto in rete come una unica "entità"?

astroale ha scritto:

Dipende da cosa intendi per cluster, se intendi enne macchine collegate con un bus speciale ad alta velocita' che permente di mettere in share le risorse distribuite in modo da vedere da task manager (o top) tutte le CPU, la RAM e i dischi sotto lo stesso kernel. Allora BOINC basta installarlo sul nodo principale. Se invece e' una semplice "pila" di macchine collegate tra loro via ethernet, allora non si tratta di un vero "cluster" e BOINC va installato su ogni nodo.

Ah, ecco. Mi sa che lui intende la seconda opzione, una semplice impilata di macchine client senza nessun requisito per dirsi cluster (attivo/passivo, risorse condivise, quorum, ecc, ecc)

Ti sarebbe comodo un prodottino del genere...

HPC
Non costa neppure cifre astronomiche

boboviz ha scritto:
Scusa, forse ho capito male, ma almeno l'head del cluster avrà un sistema operativo SERVER, immagino (sia esso un win server o un linux server). Che io sappia NON si può fare un cluster con macchine client.
Ovvero, le risorse sono duplicate correttamente? Il tutto viene visto in rete come una unica "entità"?

Scusate, sono un piciurlo, ho dato una controllata in quanto non l'avevo fatto prima, sulla testa c'e' XP pro x64, basato su win server 2003 ma altra storia.... Addio "cluster", mi limitero' a usarlo come 5 normali pc scaccolatori. L'applicazione per elaborazione che ci hanno propinato e la pila di macchine mi hanno tratto in inganno in quanto effettivamente ogni macchina lavora per conto suo e poi riporta i dati alla "testa"

Chiedo venia

Mi raccomando vogliamo vedere il tuo RAC impennarsi a livelli impossibili

astroale ha scritto:

Mi raccomando vogliamo vedere il tuo RAC impennarsi a livelli impossibili

Aspetto solamente che sbattano la pila dei 4 "nodi" nel seminterrato, poi potro' iniziare crunching veramente selvaggio

c'è solo una cosa che non mi torna: le gtx.
Se le hanno installate nella macchina, spero sapessero bene come funzionano, indipendentemente da boinc che ne subisce solo le conseguenze... E cioè che è necessario fare il login e il remote desktop per utilizzarle con i driver convenzionali.
Quello che non so, ma penso che sia possibile, è se le gtx possono usare i driver Tesla Computing, che permettono di usare la GPU indipendentemente dal login e anche dai servizi, perché non sono viste dal sistema operativo come schede video, ma come dei "coprocessori".
Se fosse così, allora le gpu vanno sempre, con o senza desktop remoto, con o senza login. L'unica cosa è che ancora il client boinc non sa usare le gpu in questa configurazione..... Ma comunque non c'è installazione che tenga, in questo caso. L'unica è mandare una mail a david anderson e chiedergli di implementare la funzionalità in boinc.

Sono talmente fuso che temo di non essermi affatto spiegato chiaramente...

@ Cenit: dunque, se ho capito, dici che con questi driver un'applicazione puo' usare la GPU in remoto senza bisogno di fare il logon. Tuttavia questo non cambia il funzionamento di BOINC che comunque richiede il logon.
In pratica rispetto a quello che avevamo detto prima non cambiarebbe nulla lato BOINC, se non il fatto che l'applicativo nativo che sfrutterebbe le GPU potrebbe fungere anche senza logon.


@ Maciej: Volevo invece specificare che i passi [a-b-c-d] che avevo dato nel mio precedente messaggio, non sono sicuro al 100% che funzionino, nel senso che se li avevo provati l'avevo fatto tempo fa' su una configurazione che adesso non ho piu' e quindi non posso fare un ri-verifica diretta (in particolare non sono sicuro che chiudendo il remote desktop con la X, quindi lasciando la sessione aperta, la GPU diventi di nuovo disponibile per BOINC). Quindi sono da provare.

Spero, anzi sono abbastanza confidente, che fare il logon sui sotto-nodi non distrurbi in alcun modo l'applicazione nativa (quella per cui avete comprato il sistema). Invece potrebbe farlo quasi sicuramente, lasciare girare BOINC sulle GPU in contemporanea a questa applicazione, per cui ti consiglio un bel suspend del progetto GPU BOINC prima di usare l'applicativo. Anzi potresti usare il cc_config.xml per fare la cosa in automatico ( vedi la guida ). Il tag da impostare sarebbe questo: <exclusive_gpu_app>.