Digiter obniża koszty użytkowania sztucznej inteligencji dzięki optymalizacji GPU

Digitro Tecnologia wdrożyło system orkiestracji modeli językowych, który zmniejsza zapotrzebowanie na GPU (jednostki przetwarzania graficznego, pierwotnie stworzone do obrazów, a dziś wykorzystywane w sztucznej inteligencji).Innowacja zapewnia wydajność, skalowalność i bardziej konkurencyjne koszty w aplikacjach od usługi cyfrowej po zaawansowaną analizę danych.

GPU, jest specjalistycznym układem elektronicznym pierwotnie zaprojektowanym w celu przyspieszenia tworzenia obrazów i filmów, Jego ogromna zdolność do wykonywania dużych obliczeń w sposób zwinny i zadań, które wymagają dużej ilości danych jest wykorzystywana w zasobach ze sztuczną inteligencją.

Według Agenora Pacheco Juniora, Product and Innovation Managera w Digitro, duże modele językowe są niezwykle ciężkie. “Dzięki orkiestracji byliśmy w stanie uruchomić tylko wymagany model we właściwym czasie, korzystając z tej samej infrastruktury. Dzięki temu sztuczna inteligencja jest ekonomicznie opłacalna w różnorodnych zastosowaniach. Naszym celem było stawienie czoła jednemu z największych wyzwań sztucznej inteligencji w świecie korporacji: kosztom, kosztom, optymalizacja zasobów i dostarczanie sztucznej inteligencji w przystępny, wydajny i skalowalny sposób“. wyjaśnia dyrektor.

Według Agenor Junior wielkim wyzwaniem pokonanym w tym projekcie było przyniesienie oszczędności wydajności, optymalizacja wykorzystania procesorów graficznych i przedstawienie krótkich czasów reakcji, wymaganych przez aplikacje działające w czasie rzeczywistym.

Innowacje stanowią podstawę usług sztucznej inteligencji

W praktyce orkiestracja wspiera usługi AI już osadzone w rozwiązaniach firmy Wśród dostępnych funkcji jest przetwarzanie języka naturalnego (NLP) do interpretacji pytań otwartych, RAG (Retrieval-Augmented Generation), który tworzy specyficzną bazę wiedzy każdej organizacji, oraz wizja komputerowa, zdolna do wydobywania informacji z obrazów, takich jak dane z kart planów zdrowotnych do planowania spotkań.

Rozwój rozpoczął się w październiku 2024 roku i już działa, jest dostępny do wykorzystania we wszystkich rozwiązaniach Digitro, ale ze szczególnym naciskiem na automatyzację obsługi i analizę dialogów w centrach kontaktowych, gdzie wykorzystanie sztucznej inteligencji jest już częścią codziennych operacji