Η Dígitro Tecnologia έχει εφαρμόσει ένα σύστημα ενορχήστρωσης γλωσσικού μοντέλου που μειώνει τη ζήτηση για GPU (μονάδες επεξεργασίας γραφικών, που δημιουργήθηκαν αρχικά για εικόνες και χρησιμοποιήθηκαν επί του παρόντος στην τεχνητή νοημοσύνη). Η καινοτομία εξασφαλίζει αποτελεσματικότητα, επεκτασιμότητα και πιο ανταγωνιστικό κόστος σε εφαρμογές που κυμαίνονται από ψηφιακή υπηρεσία έως προηγμένη ανάλυση δεδομένων.
Η GPU είναι ένα εξειδικευμένο ηλεκτρονικό κύκλωμα που σχεδιάστηκε αρχικά για να επιταχύνει τη δημιουργία εικόνων και βίντεο. Η τεράστια ικανότητά του να εκτελεί μεγάλους υπολογισμούς με ευέλικτο τρόπο και εργασίες που απαιτούν μεγάλο όγκο δεδομένων χρησιμοποιείται σε πόρους με τεχνητή νοημοσύνη.
Σύμφωνα με την Agenor Pacheco Junior, Product and Innovation Manager της Dígitro, τα μεγάλα γλωσσικά μοντέλα είναι εξαιρετικά βαριά. Η GPU είναι ακριβή και καταναλώνει πολλή ενέργεια. “Με την ενορχήστρωση, μπορέσαμε να ενεργοποιήσουμε μόνο το απαραίτητο μοντέλο την κατάλληλη στιγμή, χρησιμοποιώντας την ίδια υποδομή. Αυτό καθιστά την τεχνητή νοημοσύνη οικονομικά βιώσιμη για μια ποικιλία εφαρμογών. Στόχος μας ήταν να αντιμετωπίσουμε μια από τις μεγαλύτερες προκλήσεις της τεχνητής νοημοσύνης στον εταιρικό κόσμο: το κόστος, Βελτιστοποίηση πόρων και παροχή τεχνητής νοημοσύνης με προσιτό, αποτελεσματικό και επεκτάσιμο τρόπο“. εξηγεί το στέλεχος.
Σύμφωνα με το Agenor Junior, η μεγάλη πρόκληση που ξεπεράστηκε σε αυτό το έργο ήταν να εξοικονομηθούν οικονομίες με απόδοση, βελτιστοποιώντας τη χρήση GPU και παρουσιάζοντας σύντομους χρόνους απόκρισης, που απαιτούνται από τις εφαρμογές σε πραγματικό χρόνο.
Η καινοτομία υποστηρίζει υπηρεσίες AI
Στην πράξη, η ενορχήστρωση υποστηρίζει τις υπηρεσίες τεχνητής νοημοσύνης που είναι ήδη ενσωματωμένες στις λύσεις της εταιρείας. Μεταξύ των διαθέσιμων χαρακτηριστικών είναι η επεξεργασία φυσικής γλώσσας (PLN) για την ερμηνεία ερωτήσεων ανοιχτού τύπου, το RAG (Retrieval-Augmented Generation), το οποίο δημιουργεί μια συγκεκριμένη βάση γνώσεων για κάθε οργανισμό και το υπολογιστικό όραμα, ικανό να εξάγει πληροφορίες από εικόνες, όπως δεδομένα από κάρτες προγράμματος υγείας για προγραμματισμό ραντεβού.
Η ανάπτυξη ξεκίνησε τον Οκτώβριο του 2024 και είναι τώρα σε λειτουργία, διαθέσιμη για χρήση σε όλες τις λύσεις Dígitro, αλλά με ιδιαίτερη έμφαση στην αυτοματοποίηση της υπηρεσίας και στην ανάλυση διαλόγων σε κέντρα επαφής, όπου η χρήση τεχνητής νοημοσύνης είναι ήδη μέρος της καθημερινής λειτουργίας
