Digit намалява разходите за използване на AI с GPU оптимизация

Digitro Tecnologia е внедрила система за оркестрация на езикови модели, която намалява търсенето на графични процесори (графични процесори, първоначално създадени за изображения и днес използвани в изкуствения интелект).Иновацията осигурява ефективност, мащабируемост и по-конкурентни разходи в приложения, вариращи от цифрова услуга до усъвършенстван анализ на данни.

GPU, е специализирана електронна схема първоначално предназначена за ускоряване на създаването на изображения и видеоклипове, Неговата огромна способност да извършва големи изчисления по гъвкав начин и задачи, които изискват голям обем данни се използва в ресурси с изкуствен интелект.

Според Агенор Пачеко Джуниър, мениджър продукти и иновации в Digitro, големите езикови модели са изключително тежки. “С оркестрация успяхме да задействаме само необходимия модел в точното време, използвайки същата инфраструктура. Това прави AI икономически жизнеспособен за различни приложения. Нашата цел беше да се справим с едно от най-големите предизвикателства на изкуствения интелект в корпоративния свят: цената, оптимизиране на ресурсите и предоставяне на изкуствен интелект по достъпен, ефективен и мащабируем начин“. обяснява изпълнителната власт.

Според Agenor Junior голямото предизвикателство, преодоляно в този проект, е да се осигурят икономии на производителност, оптимизиране на използването на графични процесори и представяне на кратки времена за реакция, изисквани от приложенията в реално време.

Иновациите са в основата на AI услугите

На практика оркестрацията поддържа AI услуги, вече вградени в решенията на компанията Сред наличните функции са обработка на естествен език (NLP) за интерпретиране на отворени въпроси, RAG (Retrieval-Augmented Generation), която създава специфична база от знания на всяка организация, и компютърно зрение, способно да извлича информация от изображения, като например данни от карти за здравен план за насрочване на срещи.

Разработката започна през октомври 2024 г. и вече е в експлоатация, достъпна за използване във всички решения на Digitro, но с особен акцент върху автоматизирането на обслужването и анализа на диалозите в контактните центрове, където използването на изкуствен интелект вече е част от ежедневието -дневни операции