Tham khảo tài liệu 'các khái niệm căn bản về mạng máy tính - phần 2', công nghệ thông tin, quản trị mạng phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả | 7 2 2010 Chương 1 Các khái niệm căn bản Đo thông tin 2 Huỳnh Văn Kha 7 2 2010 Độ không chắc chắn có điều kiện X và Y là hai biến ngẫu nhiên Độ không chắc chắn của Y với điều kiện X Xị L H Ỵ X Xi - p yj xí logp yy xí 7 1 Độ không chắc chắn của Y với điều kiện X là trung bình theo trọng lượng của H Y X xì nghĩa là M L H Y X - p xi p ỵ xi logp ỵz- xi Ể 1 j i M L - i p xi yJ ỉogp yJỊxi i l j l 1 7 2 2010 3 Huỳnh Văn Kha 7 2 2010 Định lý H X Y H y x H Ỵ HỤỈ Y Chứng minh M L H x Y -ĩi i ỵj log p xi p ỵ lxi i l7 1 M L p xP y7 los p xi Iogp ỵ I í Í 17 1 M - p xì log p Xf H y x i l H x H y X Do H x y y X nên ta có điều cần chứng minh 4 Huỳnh Văn Kha 7 2 2010 Định lý H Ỵ X H y Dấu bằng xảy ra khi và chỉ khi X và Y độc lập Chứng minh Theo định lý thì H X y H X H Y X Theo định lý thì H x y H x H Ỵ Dấu bằng xảy ra khi và chỉ khi X Y độc lập Từ hai điều này ta suy ra điều cần chứng minh 2 7 2 2010 Huỳnh Văn Kha 7 2 2010 Đo thông tin Có 2 đồng xu một đồng cân bằng một đồng có 2 mặt đều xấp. Chọn ngẫu nhiên một đồng tung hai lần. Nếu biết tổng số mặt xấp của hai lần tung thì ta biết gì về đồng xu được chọn Nếu số mặt xấp ít hơn 2 thì đồng xu được chọn là đồng xu cân bằng ngược lại thì không chắc chắn Kết quả một sự kiện có thể cho ta biết một số thông tin về các sự kiện khác Huỳnh Văn Kha 7 2 2010 Đo thông tin Biết trước kết quả biến ngẫu nhiên Y đại lượng nào sẽ đo lượng thông tin có thể biết được của biến ngẫu nhiên X Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng xu cân bằng được chọn nhận giá 1 nếu đồng xu còn lại được chọn Y là tổng số mặt xấp 0 0 X 1 2 1 4 Y 1 1 2
