Super Mario trở thành bài kiểm tra trí tuệ AI

Theo TechCrunch, nhiều người từng nghĩ Pokémon là bài kiểm tra khó nhất cho trí tuệ nhân tạo (AI). Tuy nhiên, thử thách vẫn chưa dừng lại. Các nhà nghiên cứu tại Đại học California San Diego (Mỹ) vừa đưa Super Mario Bros. vào cuộc kiểm tra. Kết quả cho thấy, không phải AI nào cũng có thể "về đích" thành công.

Phòng thí nghiệm Hao AI đã thử nghiệm khả năng chơi Super Mario của các mô hình ngôn ngữ hàng đầu hiện nay. Claude 3.7 của Anthropic đạt kết quả tốt nhất, theo sau là Claude 3.5. Trong khi đó, Gemini 1.5 Pro của Google và GPT-4o của OpenAI gặp nhiều khó khăn hơn trong việc điều khiển Mario.

Thử nghiệm này không sử dụng phiên bản Super Mario Bros. gốc năm 1985. Trò chơi được chạy trên trình giả lập, kết hợp với framework GamingAgent. Công cụ này cung cấp hướng dẫn cơ bản và ảnh chụp màn hình để AI tạo mã Python điều khiển nhân vật.

Theo Hao AI, thử thách này yêu cầu AI phải lên kế hoạch di chuyển và xây dựng chiến lược chơi. Đáng chú ý, các mô hình "lý luận" như o1 của OpenAI, dù mạnh trên nhiều bài kiểm tra, lại gặp khó khăn hơn so với những mô hình "phi lý luận".

Nguyên nhân là các mô hình lập luận mất nhiều thời gian để đưa ra quyết định. Trong khi đó, Super Mario Bros. đòi hỏi phản xạ nhanh, chỉ 1 giây chậm trễ cũng có thể dẫn đến thất bại.

Việc dùng trò chơi để kiểm tra AI không phải điều mới. Tuy nhiên, nhiều chuyên gia nghi ngờ tính chính xác của phương pháp này. Họ cho rằng các trò chơi quá đơn giản, cung cấp quá nhiều dữ liệu, không phản ánh đúng khả năng thực tế của AI.

Andrej Karpathy, nhà nghiên cứu tại OpenAI, gọi đây là "khủng hoảng đánh giá". Ông thừa nhận hiện chưa có phương pháp nào hoàn hảo để đo lường năng lực AI.

Dù còn tranh cãi, việc chứng kiến AI chơi Super Mario mang đến góc nhìn thú vị và giúp con người hiểu hơn về khả năng của chúng.