Care sunt avantajele unui calculator care rulează inteligența artificială local. Nu are nevoie de internet și este gratuit
Așa arată viitorul. Cel puțin asta ni se tot spune. Un calculator scump poate să ruleze inteligența artificială local, fără să mai fie nevoie de un abonament ChatGPT.
Alături de noi este Mihai Masala, cercetător. Apare o categorie nouă de produs, la ce ne ajută de fapt.
Mihai Masala, cercetător: Un astfel de calculator ne permite să rulăm modele de AI de dimensiuni variate acasă sau la birou, nu mai avem nevoie neapărat de un server. Putem să facem experimente mai repede, să rulăm inferențe când avem nevoie. Eu lucrez la antrenarea unor astfel de modele pentru limba română.
De ce nu ar fi bune ChatGPT sau Gemini
Mihai Masala, cercetător: Costă și nu le putem folosi gratis. Poate avem nevoie de modele care sunt open, în care știm arhitectura, pe ce au fost antrenate, avem detalii despre ele, putem să le rulăm pe calculator.
Calculatorul este practic derivat dintr-un produs NVIDIA DGXpark și este produs acum de mai mulți producători și el costă vreo 3.000 de dolari și pot fi folosite și mai multe în același timp.
Mihai Masala, cercetător: Putem, de exemplu, să folosim calculatorul pentru o analiză a sentimentelor dintr-un comentariu pe social media. Știe să rezolve o tonă de probleme, el nu este conectat la internet, totul se întâmplă local și este și sigur pentru date sensibile. Poate fi folosit și pentru generare de imagini.
Site-ul proiectului este OpenLLM.ro. Acolo se găsește și o descriere tehnică a ceea ce am făcut.
