Tham khảo tài liệu 'bài toán mã trường hợp kênh không bị nhiễu - phần 3', công nghệ thông tin, quản trị mạng phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả | 7 2 2010 Chương 2 Bài toán mã trường hợp kênh không bị nhiễu Định lý cho bài toán mã trong trường hợp kênh không bị nhiễu 2 Huỳnh Văn Kha 7 2 2010 Mở đầu Biến ngẫu nhiên X có các trạng thái x1 x2 . xM với xác xuât tương ứng p p2 . pM Các từ mã cho x1 x2 . xM là W1 W2 . WM có độ dài lần lượt là n1 n2 . nM Tập các ký tự mã là a1 a2 . aD Ta sẽ xây dựng bộ mã để cực tiểu hóa chiều dài từ mã trung bình Đầu tiên là tìm chặn dưới lớn nhât sau đó tìm cách tiến gần tới chặn dưới đó. Và cuối cùng là xây dựng thuật toán để tìm bộ mã tối ưu 1 7 2 2010 3 Huỳnh Văn Kha 7 2 2010 Định lý Định lý cho bài toán mâ trong trường hợp kênh không bị nhiễu Gọi n . 1 1 là chiều dài từ mã trung bình của một bộ mã giải được bất kỳ cho biến ngẫu nhiên X. Khi đó _ H X n logĐ Dấu bằng xảy ra khi và chỉ khi Pi D ni Vi l 2 . M Huỳnh Văn Kha 7 2 2010 Chứng minh định lý D ni Đặt Q. - Thì các Qị có tổng bằng 1. Áp dụng mệnh đề 2 7 2 2010 5 Huỳnh Văn Kha 7 2 2010 Chứng minh định lý Dấu bằng trong bất đẳng thức xảy ra khi và chỉ khi Ị - i Pi ví w ZM D nj 1 Và ta được H X ũ log D Tiếp theo nếu pí D 11 ií V 1 thì M H x - Pt log D ní ữlogữ i l 6 Huỳnh Văn Kha 7 2 2010 Chứng minh định lý Ngược lại nếu H ix n i 0 g D thì từ ta được M log ỡ n7 0 j l M D ni 1 j i D iiii 1 và từ ta được Pt - D nỉ Vi Nhưng ZM - j l
