Lượt xem: 1.616

ALPHA ZERO

KHỞI ĐẦU KỶ NGUYÊN MỚI!

 

Tổng quan về Alpha Zero

Vào cuối năm 2017, Google DeepMind đã giới thiệu AlphaZero, một hệ thống duy nhất tự học từ đầu để chơi thành thạo các trò chơi Cờ Vua, Shogi (cờ Nhật Bản) và Cờ Vây, đánh bại chương trình vô địch thế giới trong từng môn.Các phản hồi từ các thành viên trong cộng đồng cờ vua cho thấy trong các ván đấu, AlphaZero thể hiện một phong cách chơi đột phá, rất năng động và “độc đáo” khác với bất kỳ engine chơi Cờ nào trước đó.
Điểm độc đáo ở Alpha Zero, là khả năng tìm hiểu từng ván cờ một cách mới mẻ, không bị giới hạn bởi các quy tắc chơi của con người, dẫn đến một phong cách chơi đặc biệt, không chính thống, nhưng sáng tạo và năng động. Kiện tướng quốc tế Matthew Sadler và Nữ kiện tướng quốc tế Natasha Regan, những người đã phân tích hàng nghìn ván cờ của AlphaZero cho cuốn sách sắp ra mắt của họ là Game Changer (New in Chess, tháng 1 năm 2019), nói rằng phong cách của nó không giống với bất kỳ engine Cờ truyền thống nào. ”Nó giống như khám phá những cuốn sổ ghi chép bí mật của một kỳ thủ vĩ đại nào đó trong quá khứ,” Matthew nói.

 

Các engine Cờ Vua truyền thống – bao gồm nhà vô địch cờ vua máy tính thế giới Stockfish và Deep Blue đột phá của IBM – dựa trên hàng nghìn quy tắc và phương pháp phỏng đoán được tạo thủ công bởi những người chơi mạnh mẽ cố gắng giải quyết mọi tình huống trong một ván cờ. Thuật toán mà nó sử dụng là thuật toán vét cạn (Alpha-Beta). AlphaZero có một cách tiếp cận hoàn toàn khác, thay thế các quy tắc thủ công này bằng một mạng lưới thần kinh sâu (Neural Network – NN) và các thuật toán mục đích chung không biết gì về trò chơi ngoài các quy tắc cơ bản. Để học mỗi ván cờ, một NN chưa được đào tạo sẽ chơi hàng triệu ván với chính nó thông qua một quá trình thử và sai được gọi là học tăng cường (Reinforcement Learning – RL). Lúc đầu, nó chơi hoàn toàn ngẫu nhiên, nhưng theo thời gian, hệ thống sẽ học hỏi từ thắng, thua và hòa để điều chỉnh các thông số của NN, giúp nó có nhiều khả năng chọn nước đi có lợi hơn trong tương lai. Số lượng mạng cần huấn luyện tùy thuộc vào phong cách và độ phức tạp của ván cờ, mất khoảng 9 giờ đối với Cờ Vua, 12 giờ đối với Shogi và 13 ngày đối với Cờ Vây. Mạng đã đào tạo được sử dụng để hướng dẫn một thuật toán tìm kiếm – được gọi là Monte-Carlo Tree Search (MCTS) – để chọn ra những nước đi hứa hẹn nhất trong ván đấu. Đối với mỗi nước đi, AlphaZero chỉ tìm kiếm một phần nhỏ các thế cờ được cân nhắc bởi các engine Cờ Vua truyền thống. Ví dụ, trong Cờ Vua, nó chỉ tìm kiếm 60 nghìn thế cờ mỗi giây, so với khoảng 60 triệu thế cờ được tìm kiếm bởi Stockfish.

 

 

Trong Cờ vua, AlphaZero đã độc lập khám phá và chơi các mô-típ thông dụng của con người trong quá trình đào tạo tự chơi của nó như khai cuộc, an toàn vua và hình thành cấu trúc tốt. Tuy nhiên, do tự học và do không bị giới hạn bởi sự hiểu biết thông thường về trò chơi, nó cũng phát triển trực giác và chiến lược của riêng mình, bổ sung thêm một loạt các ý tưởng mới lạ và thú vị làm cho chúng ta có thể dành thêm hàng thế kỷ để suy nghĩ về chiến lược Cờ Vua. Khả năng độc đáo này, không có trong các engine Cờ Vua truyền thống khác, đã được khai thác để cung cấp cho người hâm mộ Cờ Vua cái nhìn sâu sắc, bình luận mới mẻ về trận đấu Giải vô địch cờ vua thế giới gần đây giữa Magnus Carlsen và Fabiano Caruana và sẽ được khám phá thêm trong Game Changer. Natasha Regan nói: “Thật là thú vị khi thấy phân tích của AlphaZero khác với phân tích của các engine Cờ Vua hàng đầu và thậm chí là cách chơi của các đại kiện tướng hàng đầu. “AlphaZero có thể là một công cụ giảng dạy mạnh mẽ cho cả cộng đồng.”

 

“Những tác động vượt xa khỏi bàn cờ yêu quý của tôi… Không chỉ những cỗ máy chuyên gia tự học này thể hiện cực kỳ tốt, mà chúng tôi thực sự có thể học hỏi từ kiến thức mới mà chúng tạo ra.”

– Gary Kasperov

Tham khảo: Google Deepmind

Topics #Alpha Zero #AlphaGo Zero #Chess Engine #Google Deepmind