Digiter senkt die Kosten der KI-Nutzung durch GPU-Optimierung

Digitro Tecnologia hat ein System zur Orchestrierung von Sprachmodellen implementiert, das die Nachfrage nach GPUs (Grafikverarbeitungseinheiten, ursprünglich für Bilder erstellt und heute in der künstlichen Intelligenz eingesetzt) reduziert.Die Innovation sorgt für Effizienz, Skalierbarkeit und wettbewerbsfähigere Kosten in Anwendungen, die vom digitalen Dienst bis zur erweiterten Datenanalyse reichen.

Die GPU, ist eine spezielle elektronische Schaltung, die ursprünglich entwickelt wurde, um die Erstellung von Bildern und Videos zu beschleunigen Ihre immense Fähigkeit, große Berechnungen auf agile Weise durchzuführen und Aufgaben, die eine große Datenmenge erfordern, wird in Ressourcen mit künstlicher Intelligenz verwendet.

Laut Agenor Pacheco Junior, Produkt - und Innovationsmanager bei Digitro, sind große Sprachmodelle extrem schwer. “Mit der Orchestrierung konnten wir mit derselben Infrastruktur nur das erforderliche Modell zum richtigen Zeitpunkt auslösen. Dies macht KI für verschiedene Anwendungen wirtschaftlich rentabel. Unser Ziel war es, eine der größten Herausforderungen der künstlichen Intelligenz in der Unternehmenswelt anzugehen: die Kosten, die, Optimierung von Ressourcen und Bereitstellung künstlicher Intelligenz auf zugängliche, effiziente und skalierbare Weise“. erklärt die Exekutive.

Laut Agenor Junior bestand die große Herausforderung, die in diesem Projekt bewältigt wurde, darin, Leistungseinsparungen zu erzielen, den Einsatz von GPUs zu optimieren und kurze Reaktionszeiten zu bieten, die für Echtzeitanwendungen erforderlich sind.

Innovation untermauert KI-Dienste

In der Praxis unterstützt die Orchestrierung KI-Dienste, die bereits in die Lösungen des Unternehmens eingebettet sind. Zu den verfügbaren Funktionen gehören die Verarbeitung natürlicher Sprache (NLP) zur Interpretation offener Fragen, RAG (Retrieval-Augmented Generation), die eine spezifische Wissensbasis jeder Organisation erstellt, und Computer Vision, die in der Lage ist, Informationen aus Bildern zu extrahieren, beispielsweise Daten aus Krankenversicherungskarten für die Terminplanung.

Die Entwicklung begann im Oktober 2024 und ist nun in Betrieb, verfügbar für den Einsatz in allen Digitro-Lösungen, jedoch mit besonderem Fokus auf die Automatisierung von Service und Analyse von Dialogen in Contact Centers, wo der Einsatz von künstlicher Intelligenz bereits zum Tagesgeschäft gehört