Digiter reduce costurile de utilizare a AI cu optimizarea GPU

Dígitro Tecnologia a implementat un sistem de orchestrare a modelelor de limbaj care reduce cererea de GPU-uri (unități de procesare grafică, create inițial pentru imagini și utilizate în prezent în inteligența artificială). Inovația asigură eficiență, scalabilitate și costuri mai competitive în aplicații, de la servicii digitale la analiza avansată a datelor.

GPU-ul este un circuit electronic specializat conceput inițial pentru a accelera crearea de imagini și videoclipuri. Capacitatea sa imensă de a efectua calcule mari într-un mod agil și sarcini care necesită un volum mare de date sunt utilizate în resurse cu inteligență artificială.

Potrivit Agenor Pacheco Junior, manager de produse și inovații la Dígitro, modelele lingvistice mari sunt extrem de grele. GPU-ul este scump și consumă multă energie. “Odată cu orchestrația, am reușit să activăm doar modelul necesar la momentul potrivit, folosind aceeași infrastructură. Acest lucru face ca inteligența artificială să fie viabilă din punct de vedere economic pentru o varietate de aplicații. Scopul nostru a fost să ne confruntăm cu una dintre cele mai mari provocări ale inteligenței artificiale din lumea corporativă: costul, optimizarea resurselor și furnizarea de inteligență artificială într-un mod accesibil, eficient și scalabil“. ; explică executivul.

Potrivit Agenor Junior, marea provocare depășită în acest proiect a fost aceea de a aduce economii de performanță, optimizând utilizarea GPU-urilor și prezentând timpi scurti de răspuns, solicitați de aplicațiile în timp real.

Inovația sprijină serviciile AI

În practică, orchestrarea sprijină serviciile AI deja încorporate în soluțiile companiei. Printre caracteristicile disponibile se numără procesarea limbajului natural (PLN) pentru a interpreta întrebările deschise, RAG (Retrieval-Augmented Generation), care creează o bază de cunoștințe specifică pentru fiecare organizație, și viziunea de calcul, capabilă să extragă informații din imagini, cum ar fi datele de pe cardurile de plan de sănătate pentru programarea întâlnirilor.

Dezvoltarea a început în octombrie 2024 și este acum în funcțiune, disponibilă pentru utilizare în toate soluțiile Dígitro, dar cu un accent deosebit pe automatizarea serviciului și analiza dialogurilor în centrele de contact, unde utilizarea inteligenței artificiale este deja parte din zi cu zi a operațiunilor.