Dígitro Tecnologia ha implementato un sistema di orchestrazione dei modelli linguistici che riduce la domanda di GPU (unità di elaborazione grafica, originariamente create per le immagini e oggi utilizzate nell'intelligenza artificiale). L'innovazione garantisce efficienza, scalabilità e costi più competitivi in applicazioni che vanno dall'assistenza digitale all'analisi avanzata dei dati.
La GPU è un circuito elettronico specializzato originariamente progettato per accelerare la creazione di immagini e video. La sua immensa capacità di eseguire grandi calcoli in modo agile e compiti che richiedono un elevato volume di dati viene utilizzata in funzionalità di intelligenza artificiale.
Secondo Agenor Pacheco Junior, Product and Innovation Manager di Dígitro, i grandi modelli linguistici sono estremamente pesanti. La GPU è costosa e consuma molta energia. “Con l'orchestrazione, riusciamo ad attivare solo il modello necessario al momento giusto, utilizzando la stessa infrastruttura. Ciò rende l'IA economicamente sostenibile per varie applicazioni. Il nostro obiettivo era affrontare una delle maggiori sfide dell'intelligenza artificiale nel mondo corporate: i costi, ottimizzando le risorse e offrendo intelligenza artificiale in modo accessibile, efficiente e scalabile“. ", spiega il manager.
Secondo Agenor Junior, la grande sfida superata in questo progetto è stata conciliare il risparmio con le prestazioni, ottimizzando l'uso delle GPU e garantendo tempi di risposta brevi, richiesti dalle applicazioni in tempo reale.
L'innovazione sostiene i servizi di IA
Nella pratica, l'orchestrazione sostiene i servizi di IA già integrati nelle soluzioni aziendali. Tra le funzionalità disponibili vi sono l'elaborazione del linguaggio naturale (NLP) per interpretare domande aperte, il RAG (Retrieval-Augmented Generation), che crea una base di conoscenza specifica per ogni organizzazione, e la visione artificiale, in grado di estrarre informazioni da immagini, come ad esempio i dati dalle tessere sanitarie per la prenotazione di appuntamenti.
Lo sviluppo è iniziato nell'ottobre 2024 ed è già operativo, disponibile per l'uso in tutte le soluzioni Dígitro, ma con un focus particolare sull'automazione dell'assistenza e l'analisi dei dialoghi nei contact center, dove l'uso dell'intelligenza artificiale fa già parte della routine operativa.
