Bài giảng "Xử lý ngôn ngữ tự nhiên: Phân tích cú pháp" cung cấp cho người học các kiến thức: Bài toán PTCP, khái niệm về văn phạm, văn phạm, dạng chuẩn Chomsky, cấu trúc ngữ pháp, các ứng dụng của PTCP,. nội dung chi tiết. | Bài giảng Xử lý ngôn ngữ tự nhiên: Phân tích cú pháp - Lê Thanh Hương Bài toán PTCP cây PTCP mẫu Phân tích cú pháp P T tính độ chính xác Lê Thanh Hương C điể điểm câu P Bộ môn Hệ thống Thông tin Các bộ PTCP Viện CNTT &TT – Trường ĐHBKHN cây cú pháp hiện nay có độ Email: huonglt-fit@ Văn phạm chính xác cao (Eisner, Collins, Charniak, etc.) 1 2 Khái niệm về văn phạm Văn phạm z Phân tích câu “Bò vàng gặm cỏ non” z Một văn phạm sản sinh là một hệ thống z Cây cú pháp: z G = ( T, N, S, R ), trong đó z Tập luật z T (terminal) – tập ký hiệu kết thúc z C Æ CN VN z N (non terminal) – tập ký hiệu không kết thúc z CN Æ DN z S (start) – ký hiệu khởi đầu z VN Æ ĐgN z R (rule) – tập luật z ĐgN Æ ĐgT DN z R = { α Æ β | α, β ∈ (T∪N) } z DN Æ DT TT z α Æ β gọi là luật sản xuất 3 4 Dạng chuẩn Chomsky Nhắc lại về văn phạm z Văn phạm: 1 tập luật viết lại z Mọi NNPNC không chứa ε đều có thể sinh từ z Ký hiệu kết thúc: các ký hiệu không thể phân rã được một văn phạm tnđó mọi sản xuất đều có nữa. z Ký hiệu không kết thúc: các ký hiệu có thể phân rã dạng A Æ BC hoặc A Æ a, với A,B,C∈N và a được. ∈T z Xét văn ă phạm h G: G z Ví dụ: Tìm dạng chuẩn Chomsky cho văn S → NP VP phạm G với T = {a,b}, N ={S,A,B}, R như sau: NP → John, garbage VP → laughed, walks z S Æ bA|aB z A ÆbAA|aS|a G có thể sinh ra các câu sau: John laughed. John walks. z B Æ aBB|bS|b Garbage laughed. Garbage walks. 5 6 Cấu trúc ngữ pháp Các ứng dụng của PTCP Cây cú pháp biểu diễn cấu trúc ngữ pháp của một câu. Bò vàng gặm cỏ non. Dịch máy (Alshawi 1996, Wu 1997, .) C các thao tác CN với cây VN tiếng Anh tiếng Việt DN ĐgN DT TT ĐgT DN Bò vàng gặm Nhận dạng tiếng nói sử dụng PTCP (Chelba et al 1998) DT TT Put the file in the folder. cỏ non Put the file and the folder. 7 8 Văn phạm phi ngữ cảnh Các ứng dụng của PTCP (Context-Free .
