iPhone 17 Pro gây bất ngờ khi chạy được mô hình AI 400 tỷ tham số
Gây chú ý khi iPhone 17 Pro được cho là có thể vận hành mượt mà mô hình AI vốn yêu cầu tới 200 GB RAM.
Theo TweakTown, iPhone 17 Pro gây bất ngờ khi có thể vận hành mô hình trí tuệ nhân tạo (AI) khổng lồ dù hạn chế về RAM. Dự án Flash-Mixture of Experts (MoE) cho thấy thiết bị xử lý mô hình 400 tỷ tham số bằng cách stream dữ liệu từ SSD lên GPU.
Nhà phát triển @anemll đã xây dựng dự án mã nguồn mở Flash-MoE, biến iPhone 17 Pro thành "phòng lab AI" thu nhỏ. Thông thường, mô hình quy mô 400 tỷ tham số cần khoảng 200 GB RAM để vận hành, nhưng thiết bị chỉ có 12 GB vẫn xử lý được nhờ cách tiếp cận khác biệt.
Hệ thống không nạp toàn bộ mô hình vào bộ nhớ, mà chủ động trích xuất các phần dữ liệu cần thiết từ bộ nhớ lưu trữ theo thời gian thực. Đồng thời, kiến trúc MoE chỉ kích hoạt nhóm nhỏ "chuyên gia" cho từng tác vụ, giúp thiết bị duy trì hoạt động mà không cần kết nối đám mây.
Tuy nhiên, hiệu năng thực tế vẫn còn hạn chế. Thiết bị chỉ tạo được khoảng 0,6 token mỗi giây, khiến thời gian phản hồi khá chậm.
Cách chạy LLM trực tiếp giúp xử lý hoàn toàn trên thiết bị, không cần Internet và giữ dữ liệu riêng tư. Đổi lại, hệ thống phải đánh đổi bằng việc máy nóng lên nhanh và tiêu hao pin đáng kể, do GPU phải hoạt động liên tục trong suốt quá trình tạo nội dung.
Dù chưa phù hợp cho sử dụng phổ thông, hử nghiệm vẫn cho thấy xu hướng rõ ràng. Các nhà phát triển đang dần thu hẹp khoảng cách giữa hệ thống AI quy mô lớn và thiết bị di động. Khi công nghệ tiến bộ, smartphone hoàn toàn có thể chạy AI ở chế độ ngoại tuyến trong tương lai gần.
