A Dígitro Tecnologia implantou um sistema de orquestração de modelos de linguagem que reduz a demanda por GPUs (unidades de processamento gráfico, originalmente criadas para imagens e hoje usadas em inteligência artificial). A inovação garante eficiência, escalabilidade e custos mais competitivos em aplicações que vão do atendimento digital à análise avançada de dados.
A GPU, é um circuito eletrônico especializado originalmente projetado para acelerar a criação de imagens e vídeos. Sua imensa capacidade de realizar grandes cálculos de maneira ágil e tarefas que exigem um grande volume de dados é utilizada em recursos com inteligência artificial.
Segundo Agenor Pacheco Junior, Gerente de Produtos e Inovação da Dígitro, grandes modelos de linguagem são extremamente pesados. A GPU é cara e consome muita energia. “Com a orquestração, conseguimos acionar apenas o modelo necessário no momento certo, usando a mesma infraestrutura. Isso torna a IA economicamente viável para diversas aplicações. Nosso objetivo foi enfrentar um dos maiores desafios da inteligência artificial no mundo corporativo: o custo, otimizando recursos e entregando inteligência artificial de forma acessível, eficiente e escalável“. explica o executivo.
De acordo com Agenor Junior, o grande desafio superado neste projeto foi o de trazer economia com performance, otimizando o uso de GPUs e apresentando tempos de resposta curtos, exigidos por aplicações em tempo real.
Inovação sustenta serviços de IA
Na prática, a orquestração sustenta os serviços de IA já embarcados nas soluções da empresa. Entre as funcionalidades disponíveis estão o processamento de linguagem natural (PLN) para interpretar perguntas abertas, o RAG (Retrieval-Augmented Generation), que cria uma base de conhecimento específica de cada organização, e a visão computacional, capaz de extrair informações de imagens, como por exemplo, dados de carteirinhas de plano de saúde para marcação de consultas.
O desenvolvimento começou em outubro de 2024 e hoje já está em operação, disponível para uso em todas as soluções da Dígitro, mas com foco particular na automação de atendimento e análise de diálogos em contact centers, onde o uso de inteligência artificial já faz parte do dia a dia das operações
