Alpha Zero là gì và tại sao nó lại mở ra một kỷ nguyên Cờ Vua mới

Các engine Cờ Vua truyền thống – bao gồm nhà vô địch cờ vua máy tính thế giới Stockfish và Deep Blue đột phá của IBM – dựa trên hàng nghìn quy tắc và phương pháp phỏng đoán được tạo thủ công bởi những người chơi mạnh mẽ cố gắng giải quyết mọi tình huống trong một ván cờ. Thuật toán mà nó sử dụng là thuật toán vét cạn (Alpha-Beta). AlphaZero có một cách tiếp cận hoàn toàn khác, thay thế các quy tắc thủ công này bằng một mạng lưới thần kinh sâu (Neural Network – NN) và các thuật toán mục đích chung không biết gì về trò chơi ngoài các quy tắc cơ bản. Để học mỗi ván cờ, một NN chưa được đào tạo sẽ chơi hàng triệu ván với chính nó thông qua một quá trình thử và sai được gọi là học tăng cường (Reinforcement Learning – RL). Lúc đầu, nó chơi hoàn toàn ngẫu nhiên, nhưng theo thời gian, hệ thống sẽ học hỏi từ thắng, thua và hòa để điều chỉnh các thông số của NN, giúp nó có nhiều khả năng chọn nước đi có lợi hơn trong tương lai. Số lượng mạng cần huấn luyện tùy thuộc vào phong cách và độ phức tạp của ván cờ, mất khoảng 9 giờ đối với Cờ Vua, 12 giờ đối với Shogi và 13 ngày đối với Cờ Vây. Mạng đã đào tạo được sử dụng để hướng dẫn một thuật toán tìm kiếm – được gọi là Monte-Carlo Tree Search (MCTS) – để chọn ra những nước đi hứa hẹn nhất trong ván đấu. Đối với mỗi nước đi, AlphaZero chỉ tìm kiếm một phần nhỏ các thế cờ được cân nhắc bởi các engine Cờ Vua truyền thống. Ví dụ, trong Cờ Vua, nó chỉ tìm kiếm 60 nghìn thế cờ mỗi giây, so với khoảng 60 triệu thế cờ được tìm kiếm bởi Stockfish.

Trong Cờ vua, AlphaZero đã độc lập khám phá và chơi các mô-típ thông dụng của con người trong quá trình đào tạo tự chơi của nó như khai cuộc, an toàn vua và hình thành cấu trúc tốt. Tuy nhiên, do tự học và do không bị giới hạn bởi sự hiểu biết thông thường về trò chơi, nó cũng phát triển trực giác và chiến lược của riêng mình, bổ sung thêm một loạt các ý tưởng mới lạ và thú vị làm cho chúng ta có thể dành thêm hàng thế kỷ để suy nghĩ về chiến lược Cờ Vua. Khả năng độc đáo này, không có trong các engine Cờ Vua truyền thống khác, đã được khai thác để cung cấp cho người hâm mộ Cờ Vua cái nhìn sâu sắc, bình luận mới mẻ về trận đấu Giải vô địch cờ vua thế giới gần đây giữa Magnus Carlsen và Fabiano Caruana và sẽ được khám phá thêm trong Game Changer. Natasha Regan nói: “Thật là thú vị khi thấy phân tích của AlphaZero khác với phân tích của các engine Cờ Vua hàng đầu và thậm chí là cách chơi của các đại kiện tướng hàng đầu. “AlphaZero có thể là một công cụ giảng dạy mạnh mẽ cho cả cộng đồng.”

“Những tác động vượt xa khỏi bàn cờ yêu quý của tôi… Không chỉ những cỗ máy chuyên gia tự học này thể hiện cực kỳ tốt, mà chúng tôi thực sự có thể học hỏi từ kiến thức mới mà chúng tạo ra.”

– Gary Kasperov

Tham khảo: Google Deepmind