Meta công bố mô hình trí tuệ nhân tạo Llama 4

Meta ra mắt loạt mô hình ngôn ngữ lớn (LLM) thế hệ mới mang tên Llama 4. Điều này đánh dấu bước tiến quan trọng của tập đoàn trong lĩnh vực trí tuệ nhân tạo (AI).

Llama 4 bao gồm 3 mô hình: Scout, Maverick và Behemoth. Mỗi mô hình có các thông số kỹ thuật và ứng dụng riêng biệt.

Scout là mô hình nhỏ nhất, với 17 tỷ tham số cho mỗi lượt xử lý yêu cầu và tổng cộng 109 tỷ tham số. Scout có thể vận hành trên GPU NVIDIA H100 duy nhất và hỗ trợ cửa sổ ngữ cảnh lên đến 10 triệu token, gấp 80 lần so với phiên bản trước.

Maverick là mô hình tầm trung, có 17 tỷ tham số xử lý cho mỗi yêu cầu, phân bổ qua 128 chuyên gia với tổng cộng 400 tỷ tham số. Mô hình này được thiết kế để xử lý các nhiệm vụ phức tạp, đặc biệt mạnh mẽ trong các bài kiểm tra mã hóa và lý luận.

Behemoth là mô hình lớn nhất, hiện trong giai đoạn huấn luyện, với 288 tỷ tham số hoạt động và tổng cộng 2.000 tỷ tham số. Meta kỳ vọng Behemoth sẽ vượt trội các mô hình hiện nay như GPT-4.5 và Claude Sonnet 3.7 trong các bài kiểm tra STEM.

Scout và Maverick đều sử dụng kiến trúc "Mixture of Experts" (MoE), cho phép kích hoạt chỉ một phần tham số khi xử lý, giúp tối ưu hóa tài nguyên và hiệu suất. Các mô hình này còn hỗ trợ đa phương thức, có thể xử lý cả văn bản và hình ảnh đồng thời.

Meta đã tích hợp các mô hình Llama 4 vào các sản phẩm AI trên WhatsApp, Messenger, Instagram Direct và Meta AI. Các mô hình này cũng có sẵn trên các nền tảng đám mây như Azure AI Foundry và Azure Databricks, giúp các nhà phát triển dễ dàng truy cập.

Llama 4 phản ánh nỗ lực của Meta trong việc cạnh tranh với OpenAI và Google DeepMind trong lĩnh vực AI. Tập đoàn dự kiến sẽ chi 65 tỷ USD vào năm 2025 để mở rộng hạ tầng AI và phát triển các mô hình tiên tiến.

Tuy nhiên, quá trình phát triển Llama 4 gặp phải một số thách thức về hiệu suất trong các bài kiểm tra toán học và lý luận. Để khắc phục, Meta đã áp dụng các phương pháp huấn luyện mới, như sử dụng kiến trúc MoE.

Trước đó, Meta đã trì hoãn việc công bố Llama 4 vì sản phẩm không đạt được kỳ vọng về các tiêu chuẩn kỹ thuật, đặc biệt trong các tác vụ liên quan đến lập luận và toán học. Công ty lo ngại rằng Llama 4 sẽ không hiệu quả bằng các mô hình của OpenAI trong việc thực hiện các cuộc trò chuyện giống con người.

Để tiếp tục phát triển, Meta dự kiến chi 65 tỷ USD vào năm nay nhằm mở rộng cơ sở hạ tầng AI. Điều này diễn ra trong bối cảnh các nhà đầu tư đang gây áp lực lên các tập đoàn công nghệ lớn, yêu cầu họ phải chứng minh hiệu quả từ các khoản chi tiêu khổng lồ.