Chương 1. Quá trình Markov Đặng Hùng Thắng Quá trình ngẫu nhiên và tính toán ngẫu nhiên. NXB Đại học quốc gia Hà Nội 2007, Tr 5 - 63. Từ khoá: Quá trình ngẫu nhiên, Quá trình Markov, Xích Markov, Trạng thái hữu han, Trạng thái vô hạn đếm được. | Chương 1. Quá trình Markov Đặng Hùng Thắng Quá trình ngâu nhiên và tính toán ngâu nhiên. NXB Đại học quốc gia Hà Nội 2007 Tr 5 - 63. Từ khoá Quá trình ngẫu nhiên Quá trình Markov Xích Markov Trạng thái hữu han Trạng thái vô hạn đếm được. Tài liệu trong Thư viện điện tử ĐH Khoa học Tự nhiên có thể sử dụng cho mục đích học tập và nghiên cứu cá nhân. Nghiêm cấm mọi hình thức sao chép in ấn phục vụ các mục đích khác nếu không được sự chấp thuận của nhà xuất bản và tác giả. Chương 1 Quá trình Markov Xích Markov. 5 Phân loại trạng thái xích Markov. 20 Quá trình Markov. 34 Trường hợp không gian trạng thái hữu hạn . 36 Trường hợp không gian trạng thái vô hạn đếm được 42 Trường hợp tổng quát. 54 Bài tập. 58 Xích Markov Xét một hệ nào đó được quan sát tại các thời điểm rời rạc 0 1 2 . Giả sử các quan sát đó là X0 Xi . Xn . Khi đó ta có một dãy các đại lượng ngẫu nhiên ĐLNN Xn trong đó Xn lg thái của hệ tại thời điểm n. Giả thiết rằng mỗi Xn n 0 1 . là một ĐLNN rời rạc. Ký hiệu E là tập giá trị của các Xn . Khi đó E là một tập hữu hạn hay đếm được các phần tử của nó được ký hiệu là i j k. Ta gọi E là không gian trạng thái của dãy. 6 Chương 1. Quá trình Markov Định nghĩa . Ta nói rằng dãy các ĐLNN Xn là một xích Markov nếu với mọi n1 . nk nk 1 và với mọi i1 i2 .ik 1 6 E P Xnk 1 ik i Xni i2. Xnk ik P Xn 1 iM Xn ik . Ta coi thời điểm nk 1 là tương lai nk là hiện tại còn n1 . nk-1 là quá khứ. Như vậy xác suất có điều kiện của một sự kiện B nào đó trong tương lai nếu biết hiện tại và quá khứ của hệ cũng giống như xác suất có điều kiện của B nếu chỉ biết trạng thái hiện tại của hệ. Đó chính là tính Markov của hệ. Đôi khi tính Markov của hệ còn phát biểu dưới dạng Nếu biết trạng thái hiện tại của hệ thì quá khứ và tương lai độc lập với nhau. Giả sử P Xm n j Xm i là xác suất để xích tại thời điểm m ở trạng thái i sau n bước tại thời điểm m n chuyển sang trạng thái j. Đây là một con số nói chung phụ thuộc vào i j m n. Nếu đại lượng này .
