Digiter зменшує витрати на використання штучного інтелекту за допомогою оптимізації GPU

Dígitro Tecnologia впровадила систему оркестровки мовної моделі, яка зменшує попит на графічні процесори (графічні блоки обробки, спочатку створені для зображень і в даний час використовуються в штучному інтелекті). Інновації забезпечують ефективність, масштабованість і більш конкурентоспроможні витрати в додатках, починаючи від цифрових послуг і закінчуючи аналізом даних.

Графічний процесор - це спеціалізована електронна схема, спочатку розроблена для прискорення створення зображень і відео. Його величезна здатність виконувати великі обчислення гнучким способом і завдання, які вимагають великого обсягу даних, використовуються в ресурсах зі штучним інтелектом.

За словами Agenor Pacheco Junior, менеджера з продуктів та інновацій Dígitro, великі мовні моделі надзвичайно важкі. ГПУ дорогий і споживає багато енергії. “За допомогою оркестров ми змогли активувати лише необхідну модель у потрібний час, використовуючи ту саму інфраструктуру. Це робить AI економічно вигідним для різних застосувань. Наша мета полягала в тому, щоб зіткнутися з одним із найбільших проблем штучного інтелекту в корпоративному світі: вартість, Оптимізація ресурсів та надання штучного інтелекту доступним, ефективним і масштабованим способом“. пояснює виконавчий.

За словами Агенора Джуніора, велика проблема, яку було подолано в цьому проекті, полягала в тому, щоб заощадити з продуктивністю, оптимізувати використання графічних процесорів і представити короткий час відповіді, необхідний додаткам у режимі реального часу.

Інновації підтримують послуги штучного інтелекту

На практиці оркестровка підтримує вже вбудовані в рішення компанії послуги ШІ. Серед доступних функцій – обробка природної мови (PLN) для інтерпретації відкритих питань, RAG (пошукова генерація), яка створює конкретну базу знань для кожної організації, і обчислювальне бачення, здатне витягувати інформацію з зображень, наприклад дані з карток плану здоров’я для планування зустрічей.

Розробка почалася в жовтні 2024 року і зараз працює, доступна для використання у всіх рішеннях DígiTro, але з особливим акцентом на автоматизації сервісу та аналізу діалогів у контакт-центрах, де використання штучного інтелекту вже є частиною повсякденної діяльності