Dígitro Tecnologia implementovala systém jazykové orchestrace, který snižuje poptávku po GPU (grafické procesorové jednotky, původně vytvořené pro obrazy a v současnosti používané v umělé inteligenci). Inovace zajišťují efektivitu, škálovatelnost a konkurenceschopnější náklady v aplikacích od digitálních služeb po pokročilou analýzu dat.
GPU je specializovaný elektronický obvod původně navržený k urychlení vytváření obrázků a videí. Jeho nesmírná schopnost provádět velké výpočty agilním způsobem a úkoly, které vyžadují velký objem dat, se používají ve zdrojích s umělou inteligencí.
Podle Agenor Pacheco Junior, produktového a inovačního manažera ve společnosti Dígitro, jsou velké jazykové modely extrémně těžké. GPU je drahý a spotřebovává hodně energie. “S orchestrací jsme byli schopni aktivovat pouze potřebný model ve správný čas pomocí stejné infrastruktury. Díky tomu je AI ekonomicky životaschopná pro různé aplikace. Naším cílem bylo čelit jedné z největších výzev umělé inteligence v korporátním světě: náklady, Optimalizace zdrojů a poskytování umělé inteligence dostupným, efektivním a škálovatelným způsobem“2“. vysvětluje vedoucího.
Podle Agenor Junior bylo velkou výzvou, kterou v tomto projektu překonal, přinést úspory s výkonem, optimalizovat použití GPU a prezentovat krátké doby odezvy, které aplikace vyžadují v reálném čase.
Inovace podporují služby AI
V praxi orchestrace podporuje služby AI, které jsou již zakotveny v řešeních společnosti. Mezi dostupné funkce patří zpracování přirozeného jazyka (PLN) pro interpretaci otevřených otázek, RAG (generace rozšířené o vyhledávání), které vytváří specifickou znalostní základnu pro každou organizaci, a výpočetní vize, schopná extrahovat informace z obrázků, jako jsou data z karet zdravotních plánů pro plánování schůzek.
Vývoj začal v říjnu 2024 a je nyní v provozu, dostupný pro použití ve všech řešeních Dígitro, ale se zvláštním zaměřením na automatizaci služeb a analýzu dialogů v kontaktních centrech, kde je využití umělé inteligence již součástí každodenního provozu
