Mô hình hóa dữ liệu và mã hóa là hai quá trình quan trọng nhất của nén dữ liệu. Mã hóa được thực hiện tối ưu và hiệu quả với mã hóa số học. Tuy nhiên không thể tính toán mô hình tối ưu cho một nguồn dữ liệu cho trước. Bài báo sẽ giới thiệu phương pháp ước lượng xác suất thứ cấp. Trong đó mỗi mô hình sơ cấp ước lượng xác suất bit tiếp theo là bit 1 hoặc bit 0 một cách độc lập. Các xác suất ước lượng được kết hợp lại với nhau bằng. | Tuyển tập Báo cáo Hội nghị Sinh viên Nghiên cứu Khoa học lần thứ 7 Đại học Đà Nắng năm 2010 PHƯƠNG PHÁP ƯỚC LƯỢNG XÁC SUẤT THỨ CẤP DựA TRÊN LÝ THUYẾT ENTROPY CựC ĐẠI TRONG ỨNG DỤNG NÉN DỮ LIỆU SECONDARY PROBABILITY ESTIMATION METHODS BASED ON MAXIMUM ENTROPY PRINCIPLE IN DATA COMPRESSION APPLICATIONS SVTH Nguyễn Hải Triều Anh Lớp 05DT1 Khoa Điện tử Viên thông Trường Đại học Bách khoa GVHD ThS. Hoàng Lê Uyên Thục Khoa Điện tử Viên thông Trường Đại học Bách khoa TÓM TẤT Mô hình hóa dữ liệu và mã hóa là hai quá trình quan trọng nhất của nén dữ liệu. Mã hóa được thực hiện tối ưu và hiệu quả với mã hóa số học. Tuy nhiên không thể tính toán mô hình tối ưu cho một nguồn dữ liệu cho trước. Bài báo sẽ giới thiệu phương pháp ước lượng xác suất thứ cấp. Trong đó mỗi mô hình sơ cấp ước lượng xác suất bit tiếp theo là bit 1 hoặc bit 0 một cách độc lập. Các xác suất ước lượng được kết hợp lại với nhau bằng phương pháp tương tự như mạng nơtron. Sau khi bit được mã hóa bộ ước lượng được cập nhật theo hướng tối thiểu chi phí mã hóa thay vì theo hướng giảm sai số dự đoán. ABSTRACT Data modeling and coding is two most important processes of data compression. An optimal and effective coding process can be implemented using arithmetic coding. However optimal model is not computable. This paper introduces a secondary probability estimation method. In this method each primary model independently estimates the probability that the next bit of data is 0 or 1. Results of estimation are combined by using a method similar to a neural network. After a bit is coded the estimator will be updated in the direction that minimizes coding cost instead of the direction that minimizes mean square error. 1. Đặt vấn đề Nén dữ liệu là biện pháp nhằm giảm số bit cần dùng để lưu trữ hoặc truyền dữ liệu. Các thuật toán nén có hai quá trình thiết yếu nhất là quá trình ước lượng phân bố xác suất và quá trình mã hóa. Người ta đã chứng minh được rằng không thể tìm ra ước lượng phân bố xác suất tối ưu cho một .
