A Digit csökkenti az AI használati költségeit a GPU optimalizálásával

A Digitro Tecnologia olyan nyelvi modellek hangszerelési rendszerét valósította meg, amely csökkenti a GPU-k (grafikus feldolgozó egységek, eredetileg képekhez készültek, és ma mesterséges intelligenciában használják) iránti keresletet. Az innováció hatékonyságot, méretezhetőséget és versenyképesebb költségeket biztosít a digitális szolgáltatástól a fejlett adatelemzésig terjedő alkalmazásokban.

A GPU egy speciális elektronikus áramkör, amelyet eredetileg a képek és videók létrehozásának felgyorsítására terveztek. Hatalmas képességét nagy számítások agilis elvégzésére, és a nagy mennyiségű adatot igénylő feladatokat mesterséges intelligenciával rendelkező erőforrásokban használják fel.

Agenor Pacheco Junior, a Digitro termék- és innovációs menedzsere szerint a nagy nyelvi modellek rendkívül nehezek. “A hangszereléssel csak a szükséges modellt tudtuk a megfelelő időben, ugyanazt az infrastruktúrát használva elindítani. Ez gazdaságilag életképessé teszi az AI-t különféle alkalmazásokhoz. Célunk az volt, hogy megbirkózzunk a mesterséges intelligencia egyik legnagyobb kihívásával a vállalati világban: a költségekkel, a, az erőforrások optimalizálása és a mesterséges intelligencia elérhető, hatékony és méretezhető módon történő eljuttatása“. magyarázza az ügyvezető.

Agenor Junior szerint a projektben a nagy kihívás a teljesítménymegtakarítás, a GPU-k használatának optimalizálása és a valós idejű alkalmazások által megkövetelt rövid válaszidők bemutatása volt.

Az innováció az AI-szolgáltatások alapja

A gyakorlatban a hangszerelés támogatja a vállalat megoldásaiba már beágyazott AI szolgáltatásokat A rendelkezésre álló funkciók között szerepel a nyitott kérdések értelmezésére szolgáló természetes nyelvi feldolgozás (NLP), az egyes szervezetek sajátos tudásbázisát létrehozó RAG (Retrieval-Augmented Generation), valamint a számítógépes látás, amely képes információkat kinyerni a képekből, például egészségügyi tervkártyák adatait az időpont-ütemezéshez.

A fejlesztés 2024 októberében kezdődött és már működik, minden Digitro megoldásban használható, de különös tekintettel a szolgáltatás automatizálására és a párbeszédek elemzésére a contact centerekben, ahol a mesterséges intelligencia használata már a napi működés része