Trong bài báo này, chúng tôi đề xuất công thức mở rộng MI cho trường hợp ba biến, đồng thời chúng tôi cũng đưa ra một cách biểu diễn trực quan mới cho MI của hai biến và ba biến. Từ biểu diễn trực quan này, chúng tôi có thể lý giải được sự phụ thuộc của các biến, giống như sự đa dạng của các mối quan hệ trong thế giới thực. | JOURNAL OF SCIENCE OF HNUE FIT. 2011 Vol. 56 pp. 17-28 MỘT ĐỀ XUẤT MỞ RỘNG MUTUAL INFORMATION CHO TRƯỜNG HỢP 3 BIẾN Nguyễn Quỳnh Diệp Phạm Thọ Hoàn Nguyễn Tô Sơn và Trần Đăng Hưng Khoa Công nghệ Thông tin - Trường Đại học Sư phạm Hà Nội E-mail diepnq@ Tóm tắt. Trong lý thuyết thông tin và xác suất thống kê độ đo Mutual Information MI là một độ đo dùng để đo sự phụ thuộc thông tin giữa hai hay nhiều biến ngẫu nhiên. Đối với trường hợp hai biến ta có thể dễ dàng tính toán và diễn giải ý nghĩa của M I. Tuy nhiên khi mở rộng định nghĩa M I cho nhiều biến thì rất phức tạp diễn giải các định nghĩa mở rộng này còn rất nhiều tranh cãi. Cho đến nay mặc dù đã có một số mở rộng của M I cho trường hợp nhiều biến và cũng có một số cách biểu diễn trực quan độ đo M I. Song các cách biểu diễn này tỏ ra không phù hợp. Trong bài báo này chúng tôi đề xuất công thức mở rộng M I cho trường hợp ba biến đồng thời chúng tôi cũng đưa ra một cách biểu diễn trực quan mới cho M I của hai biến và ba biến. Từ biểu diễn trực quan này chúng tôi có thể lý giải được sự phụ thuộc của các biến giống như sự đa dạng của các mối quan hệ trong thế giới thực. 1. Mở đầu Để kiểm tra các biến thuộc tính X1 X2 . Xn có độc lập với nhau không ta chỉ cần kiểm tra đẳng thức xác suất P X1 X2 . Xn P X1 P X2 .P Xn . Các biến là độc lập nếu đẳng thức xảy ra còn nếu không thì sẽ có sự phụ thuộc nào đó giữa các biến. Tuy nhiên ngay cả khi đã biết rằng tồn tại sự phụ thuộc giữa các biến nhưng làm thế nào để biết được sự phụ thuộc đó là gì và mức độ sự phụ thuộc đó là như thế nào thì vẫn là một bài toán mở. Hệ số tương quan Pearson P C 11 12 trong xác suất thống kê là một độ đo có khả năng đo được mức độ phụ thuộc tuyến tính giữa các biến nhưng nó không thể xác định được sự phụ thuộc phi tuyến. Độ đo thông tin sự phụ thuộc Mutual Information-MI trong lý thuyết thông tin có thể đánh giá được mức độ sự phụ thuộc tuyến tính hoặc phi tuyến giữa hai biến 16 . Độ đo MI và tiếp cận lý thuyết thông tin tỏ ra là một .
