Digiter, GPU optimizasyonu ile AI kullanım maliyetlerini düşürür

Dígitro Tecnologia, GPU'lara (başlangıçta görüntüler için oluşturulan ve şu anda yapay zekada kullanılan grafik işleme birimleri) talebi azaltan bir dil modeli düzenleme sistemi uygulamıştır. Yenilik, dijital hizmetten gelişmiş veri analizine kadar çeşitli uygulamalarda verimlilik, ölçeklenebilirlik ve daha rekabetçi maliyetler sağlar.

GPU, orijinal olarak görüntü ve videoların oluşturulmasını hızlandırmak için tasarlanmış özel bir elektronik devredir. Büyük hesaplamaları çevik bir şekilde gerçekleştirme konusundaki muazzam yeteneği ve büyük miktarda veri gerektiren görevler yapay zeka ile kaynaklarda kullanılmaktadır.

Dígitro'nun ürün ve inovasyon müdürü Agenor Pacheco Junior'a göre, büyük dil modelleri son derece ağırdır. GPU pahalıdır ve çok fazla enerji tüketir. “Ortalama ile aynı altyapıyı kullanarak sadece gerekli modeli doğru zamanda etkinleştirebildik. Bu, AI'yı çeşitli uygulamalar için ekonomik olarak uygun hale getirir. Amacımız, kurumsal dünyadaki en büyük yapay zeka zorluklarından biriyle yüzleşmekti: maliyet, Kaynakları optimize etmek ve yapay zekayı uygun fiyatlı, verimli ve ölçeklenebilir bir şekilde sunmak“. Yürütücüyü açıklar.

Agenor Junior'a göre bu projede aşılması gereken en büyük zorluk, performans tasarrufu sağlamak, GPU kullanımını optimize etmek ve gerçek zamanlı uygulamaların gerektirdiği kısa yanıt sürelerini sunmaktı.

İnovasyon AI hizmetlerini destekler

Uygulamada, düzenleme, şirketin çözümlerine zaten yerleştirilmiş olan AI hizmetlerini destekler. Mevcut özellikler arasında, açık uçlu soruları yorumlamak için doğal dil işleme (PLN), her kuruluş için belirli bir bilgi tabanı oluşturan RAG (Geri Alma-Augmented Generation) ve Randevuları planlamak için Sağlık Planı kartlarından veri gibi görüntülerden bilgi çıkarabilen hesaplamalı vizyon bulunmaktadır.

Geliştirme Ekim 2024'te başladı ve şu anda faaliyette, tüm Digitro çözümlerinde kullanıma hazır, ancak özellikle yapay zeka kullanımının günden güne operasyonların bir parçası olduğu iletişim merkezlerindeki hizmet otomasyonu ve diyalogların analizine odaklanıyor.