Digiter réduit les coûts d'utilisation de l'IA grâce à l'optimisation du GPU

Dígitro Tecnologia a mis en place un système de modèles de langage d'orchestration qui réduit la demande de GPU (unités de traitement graphique, créées à l'origine pour les images et actuellement utilisées dans l'intelligence artificielle). L'innovation garantit l'efficacité, l'évolutivité et des coûts plus compétitifs dans les applications allant du service numérique à l'analyse avancée des données.

Le GPU est un circuit électronique spécialisé à l'origine conçu pour accélérer la création d'images et de vidéos. Son immense capacité à effectuer de gros calculs de manière agile et les tâches qui nécessitent un grand volume de données sont utilisées dans les ressources avec intelligence artificielle.

Selon Agenor Pacheco Junior, responsable des produits et de l'innovation chez Dígitro, les modèles de langues à grande échelle sont extrêmement lourds. Le GPU est cher et consomme beaucoup d'énergie. “ Avec l'orchestration, nous n'avons pu activer que le modèle nécessaire au bon moment, en utilisant la même infrastructure. Cela rend l'IA économiquement viable pour une variété d'applications. Notre objectif était de relever l'un des plus grands défis de l'intelligence artificielle dans le monde de l'entreprise : le coût, Optimiser les ressources et fournir l'intelligence artificielle de manière abordable, efficace et évolutive“. explique le dirigeant.

De acordo com Agenor Junior, o grande desafio superado neste projeto foi o de trazer economia com performance, otimizando o uso de GPUs e apresentando tempos de resposta curtos, exigidos por aplicações em tempo real.

L'innovation soutient les services d'IA

En pratique, l'orchestration prend en charge les services d'IA déjà intégrés dans les solutions de l'entreprise. Parmi les fonctionnalités disponibles, on peut citer le traitement du langage naturel (PLN) pour interpréter les questions ouvertes, le RAG (génération de récupération augmentée), qui crée une base de connaissances spécifique pour chaque organisation et la vision de calcul, capables d'extraire des informations à partir d'images, telles que les données des cartes de plans de santé pour la planification des rendez-vous.

Le développement a commencé en octobre 2024 et est désormais en service, disponible pour toutes les solutions Dígitro, mais avec un accent particulier sur l'automatisation du service et l'analyse des dialogues dans les centres de contact, où l'utilisation de l'intelligence artificielle fait déjà partie du quotidien des opérations.