Bài giảng "Xử lý ngôn ngữ tự nhiên: Phân tích cú pháp xác suất" cung cấp cho người học các kiến thức: Kết hợp từ, tính xác suất, tính Pr, văn phạm phi ngữ cảnh xác suất, CKY kết hợp xác suất, xác suất Forward và Backward,. . | Bài giảng Xử lý ngôn ngữ tự nhiên: Phân tích cú pháp xác suất - Lê Thanh Hương Làm cách nào chọn cây đúng? Phân tích cú pháp xác z Ví dụ: suất I saw a man with a telescope. z Khi số luật tăng, khả năng nhập nhằng tăng Lê Thanh Hương g z Tậpp luật NYU: bộ PTCP Apple pp ppie : 20,000-30,000 Bộ môn Hệ thống Thông tin luật cho tiếng Anh z Lựa chọn luật AD: V DT NN PP Viện CNTT &TT – Trường ĐHBKHN (1) VP → V NP PP Email: huonglt-fit@ NP → DT NN (2) VP → V NP NP → DT NN PP 1 2 Kết hợp từ (bigrams pr) Kết hợp từ (bigrams pr) Ví dụ: z V có một số loại bổ ngữ nhất định Eat ice-cream (high freq) ⇒ Verb-with-obj, verb-without-obj Eat John (low, except on Survivor) z Sự tương thích giữa chủ ngữ và bổ ngữ: Nhược điểm: z P(John decided to bake a) có xác suất cao John admires honesty z Xét: Honesty admires John ??? P(w3) = P(w3|w2w1))=P(w P(w3|w2)P(w2|w1)P(w1) Giả thiết này quá mạnh: chủ ngữ có thể quyết định bổ ngữ trong Nhược điểm: câu • Kích thước tập ngữ pháp tăng Clinton admires honesty z Các bài báo của tạp chí Wall Street Journal trong 1 năm: ¾ sử dụng cấu trúc ngữ pháp để dừng việc lan truyền 47,219 câu, độ dài trung bình 23 từ, gán nhãn bằng tay: chỉ z Xét Fred watered his mother’s small garden. Từ garden có có hay 2,232 câu có cùng cấu trúc ngữ pháp ảnh hưởng như thế nào? ¾ Không thể dựa trên việc tìm các cấu trúc cú pháp đúng cho z Pr(garden|mother’s small) thấp ⇒ mô hình trigram không tốt cả câu. Phải xây dựng tập các mẫu ngữ pháp nhỏ z Pr(garden | X là thành phần chính của bổ ngữ cho động từ to water) cao hơn ¾ sử dụng bigram + quan hệ ngữ pháp 3 4 Ví dụ Luật 3 Luật S 1. NP→DT NN NN VP 2. NP→DT JJ NN 3. S→NP VBX JJ CC VBX NP z Nhóm (NNS, NN) thành NX; (NNP, NNPs)=NPX; VP VP (VBP, VBZ, VBD) VBD)=VBX; VBX; Luật 1 VP ADJ z Chọn các luật theo tần suất của nó Luật 2 NP NP DT NN NN VBX JJ CC VBX DT JJ NN This apple pie looks good and is a real treat
