Đề tài trình bày phương pháp dịch thống kê dựa trên cụm từ là phương pháp cho kết quả dịch tốt nhất. Để dịch hiệu quả thì bảng cụm từ phải lớn chính vì vậy việc lưu trữ và tìm kiếm trong bảng cụm từ là rất quan trọng. Mời các bạn cùng tham khảo! | i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG - - KIỀU CÔNG CHÍNH TỐI ƢU BẢNG CỤM TỪ ĐỂ CẢI TIẾN DỊCH MÁY THỐNG KÊ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 Số hóa bởi Trung tâm Học liệu ĐHTN http ii MỤC LỤC MỞ ĐẦU . 1 CHƢƠNG I DỊCH MÁY THỐNG KÊ TRÊN CƠ SỞ CỤM TỪ . 3 Ngôn ngữ tự nhiên . 3 Dịch máy. 3 Dịch máy thống kê dựa vào cụm từ . 4 Cơ sở của phương pháp dịch máy thống kê . 5 Gióng hàng từ gióng hàng thống kê . 6 Dịch máy thống kê dựa trên cơ sở cụm từ. . 8 Mục đích của việc dịch máy thống kê trên cơ sở cụm từ. . 11 Đảo cụm từ trong dịch máy thống kê . 13 Bảng cụm từ trong dịch máy thống kê . 13 Mô hình ngôn ngữ . 14 CHƢƠNG II PHƢƠNG PHÁP TỐI ƢU BẢNG CỤM TỪ. 16 Quy trình sinh bảng cụm từ . 16 Phƣơng pháp tối ƣu bảng cụm từ . 19 Chỉ số cụm từ nguồn . 19 Lưu trữ cụm từ mục tiêu. 20 Nén ngữ liệu song ngữ. 22 Nén bảng cụm từ . 27 Mã hóa cụm từ . 31 Giải mã cụm từ . 33 CHƢƠNG III ĐÁNH GIÁ THỰC NGHIỆM BẰNG HỆ DỊCH MÁY THỐNG KÊ MOSES . 36 Môi trƣờng triển khai . 36 Xây dựng chƣơng trình dịch và thực hiện nén bảng cụm từ. . 36 Chuẩn hóa dữ liệu. 36 Xây dựng mô hình ngôn ngữ mô hình dịch . 37 Số hóa bởi Trung tâm Học liệu ĐHTN http iii Nén bảng cụm từ . 37 Đánh giá kết quả dịch . 38 Thực nghiệm và đánh giá kết quả dịch tiếng Anh sang tiếng Việt. 39 Thực nghiệm dịch với câu đơn giản. . 43 Thực nghiệm dịch 1 đoạn văn bản từ tiếng Anh-Tiếng Việt . 44 Đánh giá kết quả dữ liệu huấn luyện bảng cụm từ. 44 Đánh giá kết quả theo cỡ dữ liệu huấn luyện . 46 Đánh giá kết quả theo thời gian tải bảng cụm từ . 47 PHỤ LỤC . 50 1. Kết quả dịch máy đối với câu đơn giản. . 50 2. Kết quả dịch máy đối với bộ dữ liệu. . 51 3. Một số công cụ tiền xử lý thường được hay sử dụng trong hệ dịch. . 52 Tài liệu tham khảo . 54 Số hóa bởi Trung tâm Học liệu ĐHTN .
