ARGOMENTO:

morse ha scritto:

La tua scheda video la puoi sfruttare con collatz, primegrid nel sotto progetto AP26 (è in fase di test però) e penso un altro progetto, ma non sono sicuro.

c'è anche seti astropulse (sempre in fase di test, quindi con le applicazioni da mettere manualmente, poi per astropulse c'è pochissimo lavoro) ad avere una variante in singola precisione dell'applicazione.

Sbaglio o al MW stanno sbulaccando con i crediti ?
Ogni tanto arrivano delle mini WU che durano 1/10 di quelle standard e danno piu' o meno gli stessi crediti.

shhhhh....

non dirlo a nessuno che per adesso non sembra se ne siano accorti.. ... a parte un 3D sul loro forum.

ciao a tutti ho un problema con milky, nelle ultime wu passa il tempo di elaborazione ma la percentuale resta sempre a 0. da cosa può dipendeRE?

credo siano quelle in cui dice free nel testo della wu

accade anche a me

Gabry ha scritto:

ciao a tutti ho un problema con milky, nelle ultime wu passa il tempo di elaborazione ma la percentuale resta sempre a 0. da cosa può dipendeRE?

anche a me, ma poi si concludono tutte bene

Gipsel/Cluster Physik ha aggiornato l'app ottimizzata sistemando questo problema delle percentuali ferme a lungo sullo 0 che poi vanno oltre il 100% e riscendono lentamente, disponibile QUI .

A breve verrà aggiornata anche sul server.

nb: il bug è solo estetico, l'app vecchia funziona correttamente

occorre qualche procedura per installarlo?

Stamattina sono capitato nelle preferenze di milky ed ho trovato questa opzione

Amount of concurrent blocks(NVIDIA GPUs Only)
Higher values lead to shorter completion times at the expense of interface lag (1 .. 50000, default is 128

Cosa vuol dire?

Sta succedendo un po' un casino...

Si sono accorti che molti dei risultati ottenuti dalle WU non potevano essere ritenuti validi perché non abbastanza "precisi" ma non hanno capito l'origine del problema

Allora hanno riscritto il validator (che poi è anche più veloce bla bla) e hanno messo un quorum a 3 per capire dove sia il problema

solo che quello che sta venendo fuori è una sostanziale incompatibilità tra i risultati dati dalle CPU, dalle ATI serie 4xxx, dalle ATI serie 5xxx, dalle NVIDIA

forse è anche colpa dei vari client che ci sono ingiro

forse è anche il validator che non ha idea di quale sia il risultato giusto e comparando la 2a, 3a WU con la prima "fallata" sputa fuori un risultato negativo

qualcuno asseriscew che non si dovrebbero confrontare i risultati di sistemi non simili... ed infatti non si capisce se il problema di "precisione" sia assoluto (cioè riferito ad un risultato CORRETTO che non si sa quale sia) o "relativo" (cioè tra le varie CPU/GPU/Client che eseguono i calcoli)

Aspettatevi un sacco di WU invalidate e un calo pauroso di RAC

Si in effetti è un bel porcaio.
Se la stessa Wu viene elaborata da schede diverse i risultati sono diversi ed il problema è che non si sà se viene cancellato veramente il risultato sbagliato.

A dir la verità avevo avuto dubbi sulla veridicità dei risultati dato che a me alcune volte mi dava risultati validi nonostante avessi avuto palesi errore di elaborazione (crash, overclock troppo spinto etc).
Cioè non capivo come potessi avere risultati validi per MW e errati per collatz con il solito (esagerato, con evidenti artefatti grafici) overclock della scheda video.

Però chi sono io per mettere in dubbio i mostri sacri? E quindi rimettevo a default e continuavo per la mia strada.

Mi sà che per un pò ritorno a Collatz e le applicazioni Ati per le Astropulse.

c'è un problema che a Gipsel era sfuggito sotto mano, descritto QUI

Praticamente le ATi serie 58x0 non eseguono correttamente i calcoli in doppia precisione se si dà loro in pasto codice scritto per le ATi 48x0, 47x0, 38x0.
In sostanza, tutti i conti che le ATi 58x0 hanno fatto finora su milkyway sono stati sempre sbagliati e nessuno se ne era mai accorto perché le wu non sono mai state controllate (quorum=1).
Questo può essere veramente tragico pensando a quanta corrente sia stata sprecata. Non è certo colpa di Gipsel, se proprio si vuole trovare un colpevole, quanto al max degli admin di milkyway@home che nn si sono mai premurati di verificare i risultati che ricevevano.

Il validator e il quorum=2 (per un paio di giorni è stato =3) sono stati introdotti per debellare una piaga che da qualche giorno flagellava milkyway, cioè i furbetti che avevano taroccato l'applicazione per farla andare in singola precisione. Questo non per sfruttare schede meno potenti (comunque sarebbe un danno scientifico al progetto) quanto per fare ancora più crediti con le loro 5870/5970. Purtroppo introducendo il quorum si è scoperto che anche l'app ufficiale ha un problema con le nuove schede.
Gipsel ha promesso che entro oggi dovrebbe sistemare il bug.

Resta da vedere se sarà necessario ricalcolare TUTTO quanto fatto finora su milkyway, da quando sono uscite le nuove Radeon basate su Cypress (quasi 7 mesi, no?)...

cenit ha scritto:

Praticamente le ATi serie 58x0 non eseguono correttamente i calcoli in doppia precisione se si dà loro in pasto codice scritto per le ATi 48x0, 47x0, 38x0...

vabbè, non ho mai capito perché non ci avevano già pensato ad impostare QUORUM=2 visto che hanno potenza da vendere e il codice a disposizione di tutti (vedi discorso dei "furbetti" in singola precisione)

ma almeno un po' di verifiche a campione

Occorre elaborare le WU nuovamente con l'applicazione corretta e vedere la rilevanza degli errori...

Speriamo non sia lavoro sprecato...certo che un quorum a 1 è ridicolo per un'applicazione scientifica

Ma questa cosa mica sara un baco "zero day" ? non ditemi che risale all'inizio dell'applicazione per GPU!

Se e' giusto quello che avevo capito, cioe' che l'applicazione ha bisogno dei risultati delle WU precedenti per andare avanti, allora basta che un certo numero di result sia toppato e si dovrebbe propagare una divergenza totale globale verso risultati fallati ?

Cmq in attesa di chiarimenti, per non sprecare GPU time ho fatto lo switch sul Collatz, meglio di niente.

astroale ha scritto:

Ma questa cosa mica sara un baco "zero day" ? non ditemi che risale all'inizio dell'applicazione per GPU!

Se e' giusto quello che avevo capito, cioe' che l'applicazione ha bisogno dei risultati delle WU precedenti per andare avanti, allora basta che un certo numero di result sia toppato e si dovrebbe propagare una divergenza totale globale verso risultati fallati ?

Cmq in attesa di chiarimenti, per non sprecare GPU time ho fatto lo switch sul Collatz, meglio di niente.

l'applicazione scritta da Gipsel è stata controllata in modo super approfondito sulle ATi 48x0, 47x0 e 38x0, tanto che dà risultati PIU' PRECISI dell'applicazione standard della CPU.
Il problema risiede nel fatto che i controlli non sono mai stati fatti sulle GPU della serie 58x0 (cypress), soprattutto perché all'inizio Gipsel non la possedeva. Siccome il codice gira molto bene, a dir la verità, penso che nemmeno lui si sia mai posto il problema di ricontrollare i valori ottenuti con le nuove schede grafiche, d'altra parte funzionava perfettamente sulle vecchie!
E' risultato invece che sulle nuove cypress i buffer vanno letti correttamente (nuovo modo CAL 1.4), mentre invece lui li leggeva con un modo standard CAL 1.3. Questo, terribilmente, non causava alcun errore ma la scheda grafica leggeva molti buffer a precisione ridotta, trascurando dei numeri.
Hai ragione nel dire, come ho proposto, che forse il danno è notevole nei risultati scientifici che milkyway ha elaborato da quando ci sono in giro le nuove ATi (7 mesi?), perché da allora le WU sono vittime di risultati sbagliati (e in milkyway le wu sono generate dai risultati delle precedenti). Ma sicuramente il problema non è nato con le versioni GPU

Sembra che comunque, ammesso l'errore, gli admin passeranno oltre avviando nuove ricerche. Certo che è una cosa paradossale, che passerà però molto in sordina. Finché dai i crediti, dei risultati a pochi interessa.


ps: il danno potenzialmente si sarebbe dovuto verificare anche con collatz, ma una serie fortunata (tragica con senno di poi?) di coincidenze ha fatto sì che i buffer venissero letti in quel caso senza i controlli che la GPU invece fa con i numeri in doppia precisione. Se anche lì si fosse notata una differenza nei risultati ottenuti con le nuove GPU, forse Gipsel avrebbe avuto modo di correggere molto tempo fa il baco! Collatz infatti da sempre ha un quorum = 2 e si sarebbe subito notato un problema...

Chissà a questo punto se quelli di DNETC e di Lunatics sanno del problema (ma non penso li riguardi, dato che dubito scrivessero applicazioni in CAL come invece è riuscito a fare Gipsel/CP - iperottimizzandole - se non sbaglio le loro app sono scritte in Brook+ e solo l'ultima lunatics è uno stranissimo ibrido OpenCL/Brook+)

Ah beh 7 mesi sono tanti ma non e' il disastro totale ...
quindi se ho capito hanno gia' trovato il problema, che sembra colpa del tool di sviluppo e dell'assenza di test piu' che del loro codice ... a quando il rilascio della release corretta ?

E speriamo che da questa volta per ogni nuova card in uscita facciano dei test vero ?

A proposito, gli errori si propagano ad "albero" andando via via a interessare l'intero flusso di calcolo o solo linearmente e quindi solo le WU che stanno "davanti" alla prima errata ? Cioe' dovranno azzerare gli ultimi 7 mesi completi o cmq riusciranno a recupare parzialmente ?

Grazie per le news.
Che bello che ci sia qualcuno che legge il loro forum anche per noi

cenit ha scritto:

ps: il danno potenzialmente si sarebbe dovuto verificare anche con collatz, ma una serie fortunata (tragica con senno di poi?) di coincidenze ha fatto sì che i buffer venissero letti in quel caso senza i controlli che la GPU invece fa con i numeri in doppia precisione. Se anche lì si fosse notata una differenza nei risultati ottenuti con le nuove GPU, forse Gipsel avrebbe avuto modo di correggere molto tempo fa il baco! Collatz infatti da sempre ha un quorum = 2 e si sarebbe subito notato un problema...

BTW, mi sembra che per il Collatz le WU sono indipendenti tra loro, quindi anche nel caso si fosse verificato un problema avrebbero semplicemente dovuto cassare le WU fallate e rimetterle sul server senza ricominciare dal principio, giusto ?

Gipsel (che ricordo non ha nulla a che fare con milkyway, è solo un nick che copre un abilissimo fisico/informatico e che ha scritto l'applicazione ATi gpu per collatz e milkyway da APPASSIONATO, non prendendo soldi) ha detto che se non ci saranno particolari problemi, e se il problema risiede davvero in questo bug che gli è stato segnalato (lui appunto non riusciva a capire dove fosse il problema, visto che lo stesso codice funzionava sulle vecchie schede ma sulle nuove dà problemi), l'applicazione corretta uscirà stasera o al limite domani.

Sembra comunque che quelli di milkyway se ne freghino dei problemi che possono esserci stati negli ultimi mesi, butteranno tutto al macero probabilmente e ricominceranno con nuove ricerche (entro la prossima settimana dovrebbero avviare nuovi tipi di ricerche con ulteriori nuove applicazioni)

Per i problemi che ci sono stati, se si volessero recuperare (ma sembra appunto che non lo si farà) purtroppo bisognerebbe ricalcolare tutto daccapo, dato che non si saprebbe mai se quel risultato era stato ottenuto da una gpu affidabile o no. Non sono informazioni che memorizzi, se l'hai accettato poi sono "cazzi tuoi" se invece era da rifiutare!

Per collatz, sì, tutte le wu sono indipendenti, ma se ci fosse stato un problema e non avessi avuto il quorum per trovarlo, anche lì avresti dovuto ricalcolare tutte le wu degli ultimi 7 mesi, dato che tutti i risultati che avevi ricevuto non sapevi se te li aveva dati una gpu affidabile o meno... Sufficientemente chiaro?