Khám phá GIGABYTE AI TOP Utility, giải pháp tối ưu cho đào tạo AI cục bộ
Công cụ miễn phí mới này hỗ trợ người dùng dễ dàng tự đào tạo các mô hình AI bằng máy tính cá nhân.
Ngày 17/7, GIGABYTE đã ra mắt phần mềm miễn phí AI TOP Utility. Với giao diện thân thiện và quy trình làm việc được tái thiết kế, cùng khả năng theo dõi tiến trình theo thời gian thực, AI TOP Utility mang đến trải nghiệm mới trong việc huấn luyện và tinh chỉnh các mô hình trí thông minh nhân tạo (AI) cục bộ.
Chi tiết, phần mềm phù hợp cho cả người mới bắt đầu và chuyên gia nhờ giao diện dễ sử dụng, không cần kỹ năng lập trình AI để vận hành. Hơn nữa, AI TOP Utility còn gồm AI TOP Tutor, cung cấp nhiều giải pháp, hướng dẫn thiết lập và hỗ trợ kỹ thuật cho người vận hành mô hình trí thông minh nhân tạo.
Hiện tại, phần mềm hỗ trợ hơn 70 mô hình LLM nguồn mở từ Hugging Face như nhiều tùy chọn phổ biến như Baichuan 2, Distill-GPT2, GLM4, Llama 2 và Llama 3. Dù Hugging Face lưu trữ hơn 770.000 mô hình, nhưng lựa chọn của AI TOP bị giới hạn bởi hạn chế về dung lượng bộ nhớ vốn có trong phần cứng.
Bên cạnh đó, khi kết hợp với phần cứng GIGABYTE AI TOP và phần mềm AI TOP Utility, những hạn chế thông thường về dung lượng VRAM của GPU khi thực hiện tinh chỉnh AI cục bộ có thể được giải quyết nhanh chóng.
Nhờ sự hỗ trợ của bo mạch chủ, PSU, SSD của dòng GIGABYTE AI TOP cùng với các dòng card đồ họa GIGABYTE như NVIDIA GeForce RTX 40 series, AMD Radeon RX 7900 series, Radeon Pro W7900 và W7800, quy mô tinh chỉnh LLM mã nguồn mở hiện nay có thể đạt tới 236 tỷ tham số.
Ngoài ra, huấn luyện các mô hình AI cục bộ mang lại quyền riêng tư và bảo mật cao nhờ lưu trữ dữ liệu trên hệ thống, giúp tiết kiệm chi phí bằng cách tránh phí dịch vụ đám mây và tăng tốc độ xử lý với độ trễ giảm. Phương pháp này cho phép tùy chỉnh và kiểm soát môi trường đào tạo, hỗ trợ ngoại tuyến và quản lý tài nguyên phần cứng dễ dàng mở rộng.
Người dùng sẽ được hưởng lợi từ phản hồi và lặp lại tức thì, loại bỏ các hạn chế về truyền dữ liệu và tận dụng tối đa phần cứng hiện có. Cách tiếp cận này thúc đẩy việc học và thử nghiệm, lý tưởng cho cả người mới lẫn chuyên gia đang tìm kiếm giải pháp huấn luyện AI an toàn, linh hoạt và hiệu quả.
Truy cập website GIGABYTE AI TOP hoặc trang web sản phẩm phần cứng hỗ trợ AI TOP Utility để tải xuống phần mềm. Mặc dù tiện ích này có sẵn cho tất cả người dùng, nhưng chỉ được hỗ trợ trên hệ thống Linux.
