PHƯƠNG PHÁP Q-LEARNING VÀ ỨNG DỤNG CỦA PHƯƠNG PHÁP NÀY TRONG VIỆC GIẢI QUYẾT MỘT SỐ BÀI TOÁN TÌM ĐƯỜNG ThS. CHÂU MẠNH QUANG Bộ môn Thiết kế máy Khoa Cơ khí Trường Đại học Giao thông Vận tải Tóm tắt: Q-learning là phương pháp học tăng cường rất hiệu quả cho bài toán tìm đường do phương pháp này được thực hiện theo kiểu off-policy. Vì vậy phương pháp này được điều chỉnh hoặc kết hợp với một số phương pháp khác để giải quyết các bài toán đặc biệt như tìm đường trong mạng (Q-routing) hay tìm đường của hệ. | PHƯƠNG PHÁP Q-LEARNING VÀ ỨNG dụng Của phương pháp này TRONG VIỆC GIẢI Quyết một số bài toán tìm đường ThS. CHÂU MẠNH QUANG Bộ môn Thiết kế máy Khoa Cơ khí Trường Đại học Giao thông Vận tải Tóm tắt Q-learning là phương pháp học tăng cường rất hiệu quả cho bài toán tìm đường do phương pháp này được thực hiện theo kiêu off-policy. Vì vậy phương pháp này được điều chỉnh hoặc kết hợp với một số phương pháp khác đê giải quyết các bài toán đặc biệt như tìm đường trong mạng Q-routing hay tìm đường của hệ thống multi-agent Ant-Q . Summary Q-learning is a very effective reinforcement learning method in solving path finding problem because it uses off-policy approach. Thus this method is also modified or combined with other methods to deal with some special cases of the path finding problem. Some examples are Q-routing for network routing problems and Ant-Q for transferring knowledge in the multi-agent environment. I. ĐẶT VẤN ĐỀ Trước đây người ta giải quyết bài toán tìm đường bằng cách sử dụng các thuật toán tìm đường cổ điển. Tuy nhiên các thuật toán tìm đường có rất nhiều hạn chế ví dụ như đòi hỏi môi trường phải xác định và cố định và không xử lý được nhiều tình huống thực tế. Với sự phát triển của trí tuệ nhân tạo ngày nay các phương tiện với sự trợ giúp của máy tính có thể học hay nói cách khác là tự tìm ra được quy luật hành động nói chung hay tìm đường nói riêng thông qua các kinh nghiệm thu được từ những hành động được thực hiện trước đó. Cách học từ những kinh nghiệm trong quá khứ này được gọi là học tăng cường. Có nhiều phương pháp học tăng cường khác nhau trong đó phương pháp Q-learning là có hiệu quả nhất trong việc giải quyết bài toán tìm đường. Nội dung của bài bào này minh họa cho tính hiệu quả của phương pháp Q-learning và một số biến thể của phương pháp này để giải quyết bài toán tìm đường trong những môi trường đặc biệt như mạng máy tính hay multi-agent. II. HỌC TĂNG CƯỜNG Học tăng cường là phương pháp học thông qua tương tác với môi trường. Mô hình của .
