Dígitro Tecnologia đã triển khai hệ thống điều phối ngôn ngữ mô hình giúp giảm nhu cầu về GPU (đơn vị xử lý đồ họa, ban đầu được tạo ra cho hình ảnh và hiện đang được sử dụng trong trí tuệ nhân tạo). Đổi mới đảm bảo hiệu quả, khả năng mở rộng và chi phí cạnh tranh hơn trong các ứng dụng từ dịch vụ kỹ thuật số đến phân tích dữ liệu nâng cao.
GPU là một mạch điện tử chuyên dụng được thiết kế để tăng tốc độ tạo hình ảnh và video. Khả năng to lớn của nó để thực hiện các phép tính lớn theo cách nhanh nhẹn và các nhiệm vụ đòi hỏi một khối lượng lớn dữ liệu được sử dụng trong các tài nguyên bằng trí tuệ nhân tạo.
Theo Agenor Pacheco Junior, giám đốc sản phẩm và đổi mới tại Dígitro, các mẫu ngôn ngữ lớn có độ nặng vô cùng lớn. GPU đắt tiền và tiêu tốn rất nhiều năng lượng. “Với sự phối hợp, chúng tôi chỉ có thể kích hoạt mô hình cần thiết vào đúng thời điểm, sử dụng cùng một cơ sở hạ tầng. Điều này làm cho AI có hiệu quả kinh tế đối với nhiều ứng dụng khác nhau. Mục tiêu của chúng tôi là đối mặt với một trong những thách thức lớn nhất của trí tuệ nhân tạo trong thế giới doanh nghiệp: chi phí, Tối ưu hóa tài nguyên và cung cấp trí tuệ nhân tạo một cách hợp lý, hiệu quả và có thể mở rộng“. giải thích cho người điều hành.
Theo Agenor Junior, thách thức lớn vượt qua trong dự án này là mang lại hiệu quả tiết kiệm, tối ưu hóa việc sử dụng GPU và trình bày thời gian phản hồi ngắn, theo yêu cầu của các ứng dụng trong thời gian thực.
Đổi mới hỗ trợ các dịch vụ AI
Trên thực tế, việc điều phối hỗ trợ các dịch vụ AI đã được nhúng vào các giải pháp của công ty. Trong số các tính năng có sẵn là xử lý ngôn ngữ tự nhiên (PLN) để giải thích các câu hỏi mở, RAG (thế hệ tăng cường truy xuất), tạo ra một nền tảng kiến thức cụ thể cho mỗi tổ chức và tầm nhìn tính toán, có khả năng trích xuất thông tin từ hình ảnh, chẳng hạn như dữ liệu từ thẻ chương trình sức khỏe để lên lịch hẹn.
Phát triển bắt đầu vào tháng 10 năm 2024 và hiện đang hoạt động, có sẵn để sử dụng trong tất cả các giải pháp Dígitro, nhưng đặc biệt tập trung vào việc tự động hóa dịch vụ và phân tích các cuộc đối thoại trong các trung tâm liên lạc, nơi việc sử dụng trí tuệ nhân tạo đã là một phần của hoạt động hàng ngày
