Bài giảng "Xử lý ngôn ngữ tự nhiên: Gán nhãn từ loại" trình bày các định nghĩa về gán từ loại, tập nhãn cho tiếng Anh, khó khăn trong gán nhãn từ loại, các phương pháp gán nhãn từ loại, gán nhãn dựa trên xác suất,. . | Bài giảng Xử lý ngôn ngữ tự nhiên: Gán nhãn từ loại - Lê Thanh Hương Định nghĩa Gán nhãn từ loại z Gán nhãn từ loại (Part of Speech tagging - POS tagging): mỗi từ trong câu được gán nhãn thẻ từ loại tương ứng của nó z Vào : 1 đoạn văn bản đã tách từ + tập nhãn Lê Thanh Hương z Ra: cách gán nhãn chính xác nhất Bộ môn Hệ thống Thông tin Ví dụ 1 Viện CNTT &TT – Trường ĐHBKHN Ví dụ 2 Email: huonglt-fit@ Ví dụ 3 Ví dụ 4 Ví dụ 5 ¾ Gán nhãn làm cho việc phân tích văn bản dễ dàng hơn 1 2 Tại sao cần gán nhãn? Tập từ loại tiếng Anh z Dễ thực hiện: có thể thực hiện bằng nhiều phương pháp z Lớp đóng (các từ chức năng): số lượng cố định khác nhau z Giới từ (Prepositions): on, under, over, z Các phương pháp sử dụng ngữ cảnh có thể đem lại z Tiểu từ (Particles): abroad, about, around, before, in, kết quả tốt instead, since, without, z Mặc Mặ dù nên ê th thực hiệ hiện bằ bằng phân hâ tích tí h văn ă bảbản z Mạo từ (Articles): a, an, the z Các ứng dụng: z Liên từ (Conjunctions): and, or, but, that, z Text-to-speech: record - N: [‘reko:d], V: [ri’ko:d]; lead – z Đại từ (Pronouns): you, me, I, your, what, who, N [led], V: [li:d] z Trợ động từ (Auxiliary verbs): can, will, may, should, z Tiền xử lý cho PTCP. PTCP thực hiện việc gán nhãn tốt hơn nhưng đắt hơn z Lớp mở: có thể có thêm từ mới z Nhận dạng tiếng nói, PTCP, tìm kiếm, z Dễ đánh giá (có bao nhiêu thẻ được gán nhãn đúng?) 3 4 Lớp từ mở trong tiếng Anh Proper nouns: IBM, Colorado Tập nhãn cho tiếng Anh nouns count nouns: book, ticket common nouns mass nouns: snow, salt auxiliaries z tập ngữ liệu Brown: 87 nhãn verbs . z 3 tập thường được sử dụng: open p class Color: red, white ¾ Nhỏ: 45 nhãn - Penn treebank (slide sau) adjectives Age: old, young ¾ Trung bình: 61 nhãn, British national corpus Value: good, bad ¾ Lớn: 146 nhãn, C7 Locatives adverbs: home, here, downhill Degree adverbs: extremely, .
