ARGOMENTO:

DEV Status : ALPHA

---

Homepage	Articolo sul portale	Pagina delle statistiche	Pagina delle applicazioni	Join del Team	Stato del server

---

Ciao a tutti amici di Boinc Italy!
Chissà se qualcuno qui dentro ancora si ricorda di me: sono stato abbastanza attivo qualche anno fa, più a livello di passione che potenza di calcolo visto che le mie macchine sono sempre state un bel po' limitate. Poi purtroppo ho notato, specie nel periodo successivo al Covid, un progressivo abbandono di Boinc da parte di tanti progetti che apprezzavo molto, principalmente in ambito biomedico.

Nel frattempo le cose sono cambiate anche nella mia vita e da studente di filosofia ed informatica (percorso strano, lo so ) sono diventato ricercatore all'Università di Torino, al momento junior (borsista) ma spero presto di ottenere un dottorato qui o altrove, forse già quest'anno.

Mi occupo di Intelligenza Artificiale, in particolare Large Language Models (quindi tutto quello che è dietro ChatGPT). La mia ricerca "ufficiale" è relativa allo sviluppo di dataset e benchmark per la lingua italiana, su cui stiamo lavorando in un ambiente molto stimolante. Nel frattempo, però, mi sto avvicinando molto di più agli studi di "interpretabilità", ovvero cercare di capire come e perchè i modelli effettivamente funzionano.

Nonostante abbia spesso accesso a delle buone risorse fornite dall'Università o dal Cineca, penso che Boinc possa essere utilizzato alla grande per aiutare ancora di più la ricerca visto che non sempre si riescono ad usare i server, specie per progetti troppo lunghi o troppo sperimentali.

Sto per cominciare studi di interpretabilità sulla lingua italiana e vorrei usare Boinc per far girare i vari esperimenti necessari. Si tratterebbe della prima volta in cui Boinc viene usato in questo tipo di ambito.

Ancora è decisamente troppo presto per dire se il progetto effettivamente partirà, comunque ci tengo a dire che non ho intenzione che questo progetto rimanga solo "il mio" progetto: non avrei nè le capacità nè le risorse per gesitrlo. Ho già accennato dell'idea alle persone che mi seguono e quindi, se tutto l'aspetto tecnico funziona correttamente, è molto probabile che diventi un progetto ufficiale o di Unito o di un altro gruppo pubblico dedito alla ricerca sull'AI. Di conseguenza gli esperimenti non saranno solo i miei esperimenti, ma idealmente esperimenti inviati anche da altri ricercatori sparsi per l'Italia.

Il progetto Boinc dovrebbe inserirsi anche in un progetto più ampio di collaborazione "umana" e non legata alla mera potenza di calcolo, invitando i volontari ad "insegnare" ai modelli italiani del futuro come maneggiare correttamente temi e discipline evitando così un appiattimento totale sulla cultura angloamericana, aspetto sicuramente critico del modo in cui vengono addestrati i modelli attuali. Si potrebbero ad esempio "donare" tesi, appunti, dispense... in modo da creare dataset di qualità per l'addestramento di modelli open source. Sto dando un'occhiata a BUDA, altro progetto del creatore di Boinc, e sembra molto interessante per pensare a qualche applicazione di "distributed thinking" legata all'IA

Ci tengo inoltre a dire che questi progetti sono pensati non solo per gli "entusiasti" dell'IA ma anche per le persone che hanno un atteggiamento più critico nei confronti di questa tecnologia: possa piacere o no, è innegabile che si tratta di un qualcosa dalla portata vastissima e di conseguenza collaborare al suo sviluppo come comunità evitando che uno strumento del genere sia monopolio esclusivo di pochi gruppi privati dagli interessi opachi è in generale un modo per controllare e arginare eventuali sviluppi dannosi e pericolosi promuovendo alternative sviluppate in modo aperto e condiviso.

Ho già preparato un server boinc di test! Le prime applicazioni saranno "llama-boinc", che fa girare una versione modificata di LLama.CPP (quindi niente Python) e "geppetto-test" che riesce, sfruttando il nuovo sistema "BUDA" di Boinc, ad eseguire un container Docker contenente Python, Pytorch e le note librerie di HuggingFace. In tal modo è possibile facilmente eseguire modelli. In questa applicazione di test proviamo a far girare Geppetto, un piccolo modello Italiano sviluppato qualche anno fa, con dei prompt di prova. Al momento tutto gira su CPU ma in realtà il passaggio alle GPU, chiaramente più adatte a questo tipo di task, dovrebbe essere estremamente semplice.
Questo primo batch è totalmente inutile dal punto di vista dei risultati, ma si tratta di un primo necessario passo per avere un server boinc funzionante e capace di far girare del lavori utili. È stato faticossissimo far funzionare il server boinc

Spero che questa idea vi piaccia e aspetto con molto piacere critiche e suggerimenti da tutti voi
Avrei bisogno del supporto di qualcuno come beta-tester, che provi a far girare l'applicativo e macinare un po' di WU di test. C'è qualche volontario?
Vorrei anche chiedere se ci fosse qualcuno a cui questo progetto piace e magari è appassionato del tema: c'è tutta una squadra da formare! Sviluppatori, beta-tester, moderatori, amministratori... E servono tante, tante belle idee...
Inoltre, al momento non posso purtroppo darvi un indirizzo perchè non ho un server dove copiare il tutto (gira solo in locale). Fossi ancora a Roma, mia città natale, non avrei problemi a collegare un vecchio PC in casa da usare come server, ma qui a Torino non ne ho la possibilità in quanto mi collego da casa con i dati del cellulare. Non appena il progetto parte, credo di riuscire a migrare il tutto sui server di Unito.
Nel frattempo pensavo di usare un VPS ma intanto mi chiedo: c'è per caso qualcuno che potrebbe mettermi a disposizione un accesso SSH su una piccola macchina virtuale o fisica accessibile dall'esterno? Il server, privo di molte protezioni di sicurezza, sarebbe da tenere attivo per due/tre settimane ai fini di test, distribuendo l'indirizzo solo all'interno di Boinc Italy e ai miei colleghi dell'Università.

Intanto vi incollo, nel prossimo post, la descrizione breve che ho scritto nella home del progetto. Ancora è tutto super temporaneo, sia il nome che la descrizione.

Fare ricerca sui Large Language Models è particolarmente dispendioso in termini di risorse computazionali, un aspetto che può rendere difficoltoso condurre ricerche su questi interessanti modelli. Per questo motivo, LLMentorGrid propone l’utilizzo della piattaforma di calcolo distribuito “Boinc” al fine di utilizzare i computer dei volontari per eseguire applicazioni utili a far avanzare la ricerca scientifica relativa a tali modelli.

Effettuare l’addestramento di un modello utilizzando un paradigma distribuito come quello di Boinc, purtroppo, non è facilmente realizzabile: l’addestramento procede in modo sequenziale, ed è quindi difficilmente parallelizzabile in una serie di “workunit” perché, in pratica, la workunit “successiva” dipenderebbe da quella “precedente” e così via, facendo svanire i benefici derivanti dall’avere tante macchine a disposizione. Questo aspetto, unito alle richieste eccessive in termini tanto di potenza di calcolo, quanto di memoria, quanto di input/output e banda, hanno scoraggiato fino ad oggi l’utilizzo di Boinc nel campo dei Large Language Models, nonostante il grande impatto che questi modelli stanno avendo nel panorama contemporaneo.
LLMentorGrid, invece, propone la creazione di una piattaforma Boinc per l’esecuzione di esperimenti sui LLM che non siano direttamente l’addestramento o l’adattamento di grandi modelli.

In primo luogo, LLMentorGrid si propone di impiegare la potenza di calcolo gentilmente offerta dai volontari per eseguire compiti di inferenza ovvero esecuzione di modelli già esistenti al fine di raccogliere contenuti generati dai modelli. Questo può servire per vari scopi, come la generazione di vari tipi di dati sintetici (come riassunti, coppie domanda/risposta, catene di ragionamento…) preziosi per il successivo addestramento di nuovi modelli.

LLMentorGrid è sicuramente una piattaforma adatta per eseguire il benchmark dei modelli ovvero sottoporre delle batterie di test per verificare e valutare le loro prestazioni.
Infine, LLMentorGrid è un progetto avente come fine principale quello di far avanzare le ricerche legate al tema dell’interpretabilità ovvero il tentativo di aprire la “scatola nera” costituita dai “pesi” di un modello già addestrato, oscura perfino agli stessi sviluppatori del modello, al fine di rispondere alle domande legate al “perché” un modello si comporta in un certo modo e che tipo di circuiti emergono al suo interno al fine di svolgere i vari compiti di cui è capace. Si tratta di uno studio affascinante e fondamentale per quanto riguarda il problema dell’allineamento ovvero garantire che i modelli seguano gli scopi prefissati da chi li sviluppa evitando comportamenti pericolosi o nocivi. A tal fine LLMentorGrid può essere utilizzato per far girare librerie come “transformerlens” per raccogliere ed analizzare gli stati di attivazione del modello, oppure eseguire autoencoder sparsi per cercare di individuare quali “neuroni” di un modello si attivano nelle varie situazioni. A differenza dell’addestramento dei modelli, difficile da parallelizzare e quindi da eseguire tramite Boinc, le ricerche di interpretabilità si prestano benissimo a una architettura distribuita in quanto gli esperimenti sono facilmente scomponibili in elementi di piccole dimensioni che possono poi essere aggregati.

Contribuisci anche tu!

Credo che quando darai il via operativo al progetto, ci saranno molti che vorranno partecipare.
Mi offro intanto come beta tester, non vado più in là, visto anche la mia non più giovane età e la molta ruggine come sviluppatore, prevalentemente amatoriale, in ambito C/C++

Per le altre competenze sicuramente ci sono un po di persone adatte.

Dai !!!! Forza !!!! Evviva con questo nuovo progetto

manalog ha scritto:

Ciao a tutti amici di Boinc Italy!
Chissà se qualcuno qui dentro ancora si ricorda di me: sono stato abbastanza attivo qualche anno fa, più a livello di passione che potenza di calcolo visto che le mie macchine sono sempre state un bel po' limitate.

Certo che ci ricordiamo di te!!!!

Nel frattempo le cose sono cambiate anche nella mia vita e da studente di filosofia ed informatica (percorso strano, lo so )

E lo vieni a dire a me?? :-P

Questo primo batch è totalmente inutile dal punto di vista dei risultati, ma si tratta di un primo necessario passo per avere un server boinc funzionante e capace di far girare del lavori utili. È stato faticossissimo far funzionare il server boinc

Strano, ci son riuscito pure io...

Avrei bisogno del supporto di qualcuno come beta-tester, che provi a far girare l'applicativo e macinare un po' di WU di test. C'è qualche volontario?
Vorrei anche chiedere se ci fosse qualcuno a cui questo progetto piace e magari è appassionato del tema: c'è tutta una squadra da formare! Sviluppatori, beta-tester, moderatori, amministratori... E servono tante, tante belle idee...

Dacci l'URL e noi arriviamo!!

Inoltre, al momento non posso purtroppo darvi un indirizzo perchè non ho un server dove copiare il tutto (gira solo in locale). Fossi ancora a Roma, mia città natale, non avrei problemi a collegare un vecchio PC in casa da usare come server, ma qui a Torino non ne ho la possibilità in quanto mi collego da casa con i dati del cellulare. Non appena il progetto parte, credo di riuscire a migrare il tutto sui server di Unito.

Ah, ok

Nel frattempo pensavo di usare un VPS ma intanto mi chiedo: c'è per caso qualcuno che potrebbe mettermi a disposizione un accesso SSH su una piccola macchina virtuale o fisica accessibile dall'esterno? Il server, privo di molte protezioni di sicurezza, sarebbe da tenere attivo per due/tre settimane ai fini di test, distribuendo l'indirizzo solo all'interno di Boinc Italy e ai miei colleghi dell'Università.

Provo a vedere se trovo qualcosa....

Grazie Zio e Bobo per le risposte incoraggianti
In realtà le difficoltà non sono derivate tanto da far girare il server Boinc: a parte qualche noia di capire alcuni passaggi della configurazione, è stato tutto tranquillo. Ad avermi creato problemi è stato utilizzare BUDA e Docker. Mi sembra che il supporto da parte di Boinc sia ancora piuttosto acerbo, ma credo che questi esperimenti che sto facendo siano un bene per Boinc affinchè questa utilissima nuova funzione si possa migliorare ulteriormente. Ho aperto una segnalazione sul Github di Boinc in modo da confrontarmi su queste difficoltà. Al momento la cosa più noiosa è legata al nome dell'immagine Docker, nulla di irrisolvibile per fortuna.

Il server di prova, locale, comunque funziona meravigliosamente e questo mi fa ben sperare Ora sto lavorando all'integrazione di Minerva, il modello Italiano sviluppato dalla Sapienza, nella libreria "Transformer Lens" molto usata per gli studi di interpretabilità e facilmente "dockerabile".

Volevo metter su il VPS oggi ma purtroppo non ho avuto tempo. Spero di riuscirci a brevissimo in modo che possiamo almeno completare il primo batch di prova che consiste nel completamento di prompt usando il modello "Geppetto" (ottimo pure su CPU). Nel frattempo, se spuntasse un serverino, fatemi sapere! Sarebbe un grande aiuto anche per non stare con lo stress della fatturazione oraria su un cloud. Credo che perfino un Pentium 4 64 bit sarebbe più che sufficiente allo scopo.

@bobo Si ho visto che anche tu hai studiato Filosofia! Che figo siamo un sacco di persone poi a metterci a lavorare con l'informatica anche la mia prof qui a Torino ha seguito un percorso simile

manalog ha scritto:

In realtà le difficoltà non sono derivate tanto da far girare il server Boinc: a parte qualche noia di capire alcuni passaggi della configurazione, è stato tutto tranquillo. Ad avermi creato problemi è stato utilizzare BUDA e Docker. Mi sembra che il supporto da parte di Boinc sia ancora piuttosto acerbo

E ci credo che è ancora acerbo, è in beta e devono ancora rilasciarlo!!!
Anche te, però :-P

P.S. Nell'eventualità che riuscissi a recuperare un pò di hw, ti serve, immagino, linux sopra...

zioriga ha scritto:

Credo che quando darai il via operativo al progetto, ci saranno molti che vorranno partecipare.
Mi offro intanto come beta tester, non vado più in là, visto anche la mia non più giovane età e la molta ruggine come sviluppatore, prevalentemente amatoriale, in ambito C/C++

Per le altre competenze sicuramente ci sono un po di persone adatte.

Dai !!!! Forza !!!! Evviva con questo nuovo progetto

Se serve, mi offro anch'io come beta tester, ho un po' di criceti dormienti da svegliare...

Ottimo!!!
Non vedo l'ora che il tutto parta. In realtà è cosa semplice ormai, però sono stato preso da tantissimi altri lavori e inoltre sto cercando di adattare più applicazioni possibile (llama.cpp, hugging face, transformer lens, sae lens) in modo da avere un pacchetto completo di applicativi da poter usare.

Già mi sono proprio lanciato nell'ignoto usando Docker Il fatto è che avevo cominciato a sviluppare l'applicazione classica, ma poi mi sono accorto che gestire tutta la miriade di librerie necessarie in python puro adattandosi al pc di ciascun utente era davvero complicato. Forse anche per questo ci sono stati pochi progetti di Deep Learning/NLP su Boinc? Avrei dovuto rintracciare pianoman di MLC@Home ma non ho trovato i suoi contatti in giro. Lui in qualche modo aveva fatto girare PyTorch nativamente su Boinc, anche su GPU.
Credo che grazie anche alla collaborazione di David Anderson su Github ci siamo quasi e le cose dovrebbero funzionare (almeno in teoria, poi in pratica vedremo!).
Sicuramente ci saranno dei comandini personalizzati che gli utenti dovranno eseguire. Una cosa noiosa che andrebbe risolta. Ma intanto procediamo per gradi

@Bobo grazie mille! Vediamo per ora credo di noleggiare un server virtuale su Netsons, costano intorno ai 7€ al mese. Dopodichè o server dell'Uni oppure potrei pensare a una soluzione casalinga. Da quanto ho capito il server boinc gira pure sui tostapane se il traffico non è eccessivo. Comunque se il progetto dovesse avere successo credo proprio che il server ufficiale dell'Uni dovrebbe arrivare. Comunque se trovi qualcosa fammi sapere così evito proprio di prendere un server virtuale e almeno comincio subito da un ambiente più stabile.

Contatemi pure come beta-tester!

Per il discorso server, volendo ho un pc usabile. Un vecchio optiplex 7010 con un i3-3220. Ma non ho modo di esporlo facilmente e soprattutto tenere in sicurezza la mia rete domestica
Se qualcuno ne sa di più, sono disponibile a fare un tentativo

Di nuovo un saluto caloroso a tutti!

Finalmente ho avviato il server di prova, per adesso ne ho affittato uno su Netsons a 5€ al mese: è molto minimale ma dovrebbe bastare per questa fase di "alpha" test.
È proprio super alpha, per ora solo 3 workunits validate correttamente

Mi raccomando leggete le istruzioni sul forum, che riassumo qui:

1) Installare docker (es. apt-get install docker.io)
2) Far partire docker (es. systemctl enable docker)
3) Eseguire ln -s /usr/bin/docker /bin/unknown

E vediamo cosa succede.
Ecco il link:
boinc.llmentor.org/LLMentorGrid/

Grazie!!!

Pronto ed operativo.
Le prime WUs sono andate in errore subito per problemi di permessi (problema "mio") , poi risolto
al momento sono all0 0,2% ...vedo che è una app multithread
boinc.llmentor.org/LLMentorGrid/show_host_detail.php?hostid=4

Avanti !

manalog ha scritto:

Mi raccomando leggete le istruzioni sul forum, che riassumo qui:

1) Installare docker (es. apt-get install docker.io)
2) Far partire docker (es. systemctl enable docker)
3) Eseguire ln -s /usr/bin/docker /bin/unknown

Mi sa che è meglio se aspetto un applicativo per Windows.
Nel frattempo io l'account l'ho creato....

manalog ha scritto:

Di nuovo un saluto caloroso a tutti!

Finalmente ho avviato il server di prova, per adesso ne ho affittato uno su Netsons a 5€ al mese: è molto minimale ma dovrebbe bastare per questa fase di "alpha" test.
È proprio super alpha, per ora solo 3 workunits validate correttamente
[...]

Ecco il link:
boinc.llmentor.org/LLMentorGrid/

Grazie!!!

Ciao Matteo, complimenti per l'iniziativa ed in bocca al lupo per il tuo progetto BOINC!
Ho provato a creare il team ma da questo errore:

Mi sa che c'è qualche variabile da settare nella configurazione. Ogni tanto esce qualche errore o warning navigando nel profilo.....ti allego quello che è uscito alla creazione del profilo.
Se hai modo di documentare un pò i passaggi per setup e gestione del nuovo meccanismo BUDA possiamo farci poi dei contenuti da condividere (guide/articoli/tutorial) sul portale.

Buon lavoro!

sabayonino ha scritto:

Pronto ed operativo.
Le prime WUs sono andate in errore subito per problemi di permessi (problema "mio") , poi risolto

Come l'hai risolto? Perchè credo di avere lo stesso problema

username=boinc

oppure il tuo utente

dipende come hai configurato boinc

boboviz ha scritto:

Mi sa che è meglio se aspetto un applicativo per Windows.
Nel frattempo io l'account l'ho creato....

Siamo due...

I tried testing on an old test system but received a computational error with no stdout or stderr produced. The system log showed "unsupported container technology" messages. This was on an AMD Phenom II X6 which probably doesn't support all the virtualization features. I will try it again on the AMD EPYC server which is a little more recent technology.

Update: Successful on the EPYC server. Since it is multi-threaded, I'm not sure how I'm going to be able to run it without interfering with other work. There doesn't seem to be any option to limit the number of processors used or the number of tasks downloaded. It used as many as 26 processors on the server. Does it need that many or will the app use only what is available?

Tasks ready to send 0

Il Popolo ha fame !!!

Ciao a tutti!
Questo primo batch di test è stato importantissimo perchè mi ha permesso di raggruppare i problemi in, fortunatamente, poche categorie ricorrenti:

Dave:
Permessi
Fabrizio:
Non ha ricevuto task
Anandbath:
Permessi
Corla99:
Permessi
Entity:
Problema sconosciuto
Spot T:
GLIBC vecchie

Nella stragrande maggioranza dei casi il problema è, per fortuna, semplicissimo: boinc non ha i permessi per usare docker e di conseguenza le WU vanno in errore. La soluzione perfetta è quella proposta da sabayonino che ora ho messo anche nelle note in home page

Un altro problema facile da risolvere è quello che ha ottenuto Spot T: ho compilato l'applicativo su una aggiornatissima Arch ma ancora ci sono in giro distribuzioni con versioni più vecchie di GLIBC. È praticamente impossibile far girare un applicativo compilato per una GLIBC più recente su una GLIBC più vecchia quindi quello che farò è ricompilare l'applicativo in modo che supporti anche versioni più vecchie della libreria.

Entity: the problems you had are a little bit more serious: 1) I didn't understand what happened on the Phenom; CPU age should not be a problem at all: I am developing everything on a computer of the same age of your phenom and it runs everything with no problems, Phenom II X6 has the virtualization support but in general this should be irrelevant as Docker employs container technology and doesn't require virtualization. Until now I have no clue about what is happening. Are you confident with docker? What I would try is to check if docker runs correctly on that machine or not 2) Multithreading is an issue indeed: it's on top priority of stuff to be solved for the next release. The app can run even with lesser threads but it performs better with multithreading. So probably I am going to use the plan class "mt" as other projects do (milkyway if I remember well).

@Ghz: Cosa da risolvere assolutamente! Si devo sistemare la configurazione in modo che si possano creare i team.

@Saba: Grazie!!! Ti sei praticamente pappato tutte le workunits Ora ci sono altre prove da fare, ma per stasera rimanderò un batch molto simile (prompt su geppetto) in modo da vedere se spuntano fuori altri problemi. A quel punto vorrei muovermi su un modello più grande e vedere come va dal punto di vista delle performance. Sto inoltre mettendo a punto due esperimenti di interpretabilità provenienti da paper noti ma mai eseguiti sull'italiano: sarà il primo lavoro scientifico "vero" del progetto.

@Ghz: molto volentieri posso raccontare di Buda! Tuttavia devo ancora decidere se valga effettivamente la pena utilizzarlo per questo progetto o no. Docker_wrapper, uno degli elementi fondamentali di Buda, sembra essere tranquillamente staccabile da buda e utilizzabile come app a parte. Potrebbe darsi che sia più conveniente perchè al momento Buda ha ancora delle grosse mancanze, come la difficoltà di far coesistere più applicazioni diverse insieme, che possono creare problemi in un progetto come questo in cui è previsto l'utilizzo di molti applicativi diversi insieme (lasciando all'utente la possibilità di sceglierli in base al proprio hardware)

Una nota tecnica per utenti Linux , da mettere da parte e tenere in considerazione per varie ed eventuali.
Avrai notato che c'era un pc (nello specifico questo in cui tutte le WU andavano in errore segnalandomi che il docker non era in funzione.

Il problema non è legato alla tua configurazione ma ad un filesystem specifico , nel mio caso XFS (molto utilizzato in RedHat)
Nello specifico :
Il servizio docker non voleva sapere di avviarsi , crashava sempore nonostante la compilazione fosse medesima degli altri host utilizzati.
Dopo ore di smad...ricerche tra log e logghetti vari ... sono incappato in questo: relativo al servizio containerd
il log riportava
In pratica il filesystem XFS doveva essere riformattato con la flag ftype=1 , mentre io stavo utilizzando il filesystem con la flag disabilitata.

Nel mio caso , la root è su sda3:
boot da live , backup della partizione / e riformattazione del filesystem con:ftype è ora settata ad 1

riprisitno del backup , reinstallazione del bootloader (quasi sicuramente richiesto)

avvio del sistema , docker ora parte e sta allegramente scaccolando il progetto...

come si dice , impara l'arte e mettila da parte ...
fatti un appuntino che un giorno può sempre tornare utile,