Bài giảng "Xử lý ngôn ngữ tự nhiên - Chương 6: Mô hình ngôn ngữ" cung cấp cho người học các kiến thức: Mô hình ngôn ngữ, mô hình n-gram, Perplexity, sửa lỗi chính tả. nội dung chi tiết. | Chương 6 Mô hình ngôn ngữ Mô hình ngôn ngữ Mô hình n-gram Perplexity IT4772 Xử lý ngôn ngữ tự nhiên Viện CNTT-TT, ĐHBKHN Sửa lỗi chính tả 2 Chương 6 Mô hình ngôn ngữ Mô hình ngôn ngữ INFORMATION EXTRACTION NATURAL LANGUAGE UNDERSTANDING END-TO-END APPLICATIONS ` NATURAL LANGUAGE GENERATION DATA + LINGUISTICS + MACHINE LEARNING 3 From Dan Jurafsky 2018 4 Chương 6 Mô hình ngôn ngữ Mô hình ngôn ngữ ● ● Chương 6 Mô hình ngôn ngữ Mô hình ngôn ngữ Tìm từ tiếp theo biết các từ đ ằng tr ước ● Ứng dụng “Hôm nay tôi đi.” Sửa lỗi chính tả P(học| hôm_nay tôi đi) = ? Dịch máy P(chơi| hôm_nay tôi đi) = ? Tóm tắt văn bản Biểu diễn văn bản Tính xác suất của một chuỗi P( hôm_nay tôi đi học ) = ? 5 Chương 6 Mô hình ngôn ngữ Mô hình n-gram Mô hình unigram 6 Chương 6 Mô hình ngôn ngữ Mô hình n-gram Mô hình bigram ● p(w|w1 w2 wn) = p(w) ● p(w|w1 w2 wn) = p(w|wn) ● p(w) = (count(w) + 1) / (sum count(w’) + V) ● p(w|wn) = (count(wn w) + 1) / (count(w n) + V ) p( hôm_nay tôi đi học ) = p() * p(hôm_nay) * p(tôi) * p(đi) * p(học) * p() ● Chú ý: không sử dụng đến p(wn) p( hôm_nay tôi đi h ọc ) = p(hôm_nay|) * p(tôi|hôm_nay) * p(đi|tôi) * p(học|đi) * p(|h ọc) 7 8 Chương 6 Mô hình ngôn ngữ Mô hình n-gram Mô hình bigram ● Chương 6 Mô hình ngôn ngữ Perplexity Backup ngram ● Đánh giá chất lượng của mô hình ngôn ng ữ 9 Chương 6 Mô hình ngôn ngữ Sửa lỗi chính tả Chương 6 Mô hình ngôn ngữ Perplexity ● ● ● 10 Mô hình bigram Sử dụng tập train để xác định tham s ố cho mô hình ngôn ngữ ● 1-2% lỗi đánh máy văn bản ● 10-15% lỗi gõ câu truy vấn ● 20-40% lỗi là từ có trong từ đi ển Tính perplexity trên tập test đ ộc l ập v ới t ập train 11 12 Chương 6 Mô hình ngôn ngữ Sửa lỗi chính tả Mô hình kênh nhiễu w wbest Chương 6 Mô hình ngôn ngữ Sửa lỗi chính tả Mô hình kênh nhiễu noisy channel w’ decoder 13 Chương 6 Mô hình ngôn ngữ Sửa lỗi chính tả Mô hình kênh nhiễu 14 Chương 6 Mô hình ngôn ngữ Sửa lỗi chính tả Mô hình kênh .
