Dígitro Tecnologia heeft een taalmodel orkestratiesysteem geïmplementeerd dat de vraag naar GPU's vermindert (grafische verwerkingseenheden, oorspronkelijk gemaakt voor afbeeldingen en momenteel worden gebruikt in kunstmatige intelligentie). Innovatie zorgt voor efficiëntie, schaalbaarheid en meer concurrerende kosten in applicaties variërend van digitale service tot geavanceerde data-analyse.
De GPU is een gespecialiseerd elektronisch circuit dat oorspronkelijk is ontworpen om het maken van afbeeldingen en video's te versnellen. Het immense vermogen om grote berekeningen uit te voeren op een agile manier en taken waarvoor een grote hoeveelheid gegevens nodig is, wordt gebruikt in bronnen met kunstmatige intelligentie.
Volgens Agenor Pacheco Junior, Product and Innovation Manager bij Dígitro zijn grote taalmodellen extreem zwaar. De GPU is duur en verbruikt veel energie. “Met de orkestratie konden we alleen het benodigde model op het juiste moment activeren, met behulp van dezelfde infrastructuur. Dit maakt AI economisch haalbaar voor verschillende toepassingen. Ons doel was om een van de grootste uitdagingen van kunstmatige intelligentie in de bedrijfswereld aan te gaan: de kosten, Resources optimaliseren en kunstmatige intelligentie op een betaalbare, efficiënte en schaalbare manier leveren“. legt de uitvoerende uit.
Volgens Agenor Junior was de grote uitdaging die in dit project werd overwonnen, om besparingen met prestaties te brengen, het gebruik van GPU's te optimaliseren en korte responstijden te presenteren, vereist door applicaties in realtime.
Innovatie ondersteunt AI-diensten
In de praktijk ondersteunt de orkestratie de AI-services die al zijn ingebed in de oplossingen van het bedrijf. Tot de beschikbare functies behoren Natural Language Processing (PLN) om open vragen te interpreteren, de RAG (Retrieval-Augmented Generation), die een specifieke kennisbasis voor elke organisatie creëert, en de rekenvisie, die in staat is om informatie uit afbeeldingen te halen, zoals gegevens uit gezondheidsplankaarten voor het plannen van afspraken.
De ontwikkeling begon in oktober 2024 en is nu in gebruik, beschikbaar voor gebruik in alle Dígitro-oplossingen, maar met een bijzondere focus op de automatisering van service en analyse van dialogen in contactcenters, waar het gebruik van kunstmatige intelligentie al deel uitmaakt van het dagelijkse werk van de operaties
