Digiter reduserer AI-brukskostnadene med GPU-optimalisering

Digitro Tecnologia har implementert et system for orkestrering av språkmodeller som reduserer etterspørselen etter GPUer (grafikkbehandlingsenheter, opprinnelig laget for bilder og i dag brukt i kunstig intelligens).Innovasjonen sikrer effektivitet, skalerbarhet og mer konkurransedyktige kostnader i applikasjoner som spenner fra digital tjeneste til avansert dataanalyse.

GPU, er en spesialisert elektronisk krets opprinnelig designet for å akselerere etableringen av bilder og videoer. Dens enorme evne til å utføre store beregninger på en smidig måte og oppgaver som krever et stort datavolum brukes i ressurser med kunstig intelligens.

Ifølge Agenor Pacheco Junior, Product and Innovation Manager i Digitro, er store språkmodeller ekstremt tunge. “Med orkestrering var vi i stand til å utløse bare den nødvendige modellen til rett tid, ved å bruke samme infrastruktur. Dette gjør AI økonomisk levedyktig for ulike bruksområder. Målet vårt var å takle en av de største utfordringene med kunstig intelligens i bedriftsverdenen: kostnadene, optimalisere ressurser og levere kunstig intelligens på en tilgjengelig, effektiv og skalerbar måte“. forklarer den utøvende.

I følge Agenor Junior var den store utfordringen som ble overvunnet i dette prosjektet å gi ytelsesbesparelser, optimalisere bruken av GPUer og presentere korte responstider, som kreves av sanntidsapplikasjoner.

Innovasjon underbygger AI-tjenester

I praksis støtter orkestrering AI-tjenester som allerede er innebygd i selskapets løsninger. Blant de tilgjengelige funksjonene er naturlig språkbehandling (NLP) for å tolke åpne spørsmål, RAG (Retrieval-Augmented Generation), som skaper en spesifikk kunnskapsbase for hver organisasjon, og datasyn, som er i stand til å trekke ut informasjon fra bilder, for eksempel data fra helseplankort for avtaleplanlegging.

Utviklingen startet i oktober 2024 og er nå i drift, tilgjengelig for bruk i alle Digitro-løsninger, men med særlig fokus på automatisering av service og analyse av dialoger i kontaktsentre, der bruk av kunstig intelligens allerede er en del av den daglige driften