Bài viết giới thiệu một biểu diễn từ vựng theo ngữ cảnh bằng học sâu, mô hình hóa cả (1) đặc điểm phức tạp của việc sử dụng từ vựng (ví dụ: Cú pháp và ngữ nghĩa) và (2) cách sử dụng biểu diễn từ vựng này theo ngữ cảnh ngôn ngữ . | ĐẠI HỌC CÔNG NGHIỆP QUẢNG NINH Biểu diễn từ vựng theo ngữ cảnh học sâu để cải tiến hiệu suất phân tích cú pháp tiếng Việt Nguyễn Hồng Quân Khoa Công nghệ thông tin Trường Đại học Công nghiệp Quảng Ninh Email nguyenhongquan@ Mobile 0988677861 Tóm tắt Từ khóa Bài báo giới thiệu một biểu diễn từ vựng theo ngữ cảnh bằng học Biểu diễu từ vựng học sâu xử lý sâu mô hình hóa cả 1 đặc điểm phức tạp của việc sử dụng từ ngôn ngữ tự nhiên vector hóa từ vựng ví dụ cú pháp và ngữ nghĩa và 2 cách sử dụng biểu diễn vựng từ vựng này theo ngữ cảnh ngôn ngữ . Các vectơ từ học được các hàm các trạng thái nội tại của mô hình ngôn ngữ hai chiều sâu biLM được tiền huấn luyện với một kho dữ liệu lớn. Chúng tôi áp dụng biểu diễn từ vựng mới này và làm cải thiện đáng kể hiệu suất bài toán phân tích cú pháp trong tiếng Việt. Abstract Keywords The paper introduces a contextual lexical representation by deep word embedding deep learning learning modeling both 1 the complex characteristics of NLP word representation biLM vocabulary use . syntax and semantics and 2 usage. represent this vocabulary in linguistic context. Vectors of word learn the functions of the intrinsic states of the bidirectional language models biLM pre-training with a large corpus. We apply this new representation and significantly improve the performance of the parsing problem in Vietnamese. 1. GIỚI THIỆU chiều biLM trên một kho dữ liệu lớn. Do đó Các biểu diễn từ vựng được tiền huấn luyện biểu diễn từ vựng này được gọi là biểu diễn từ 3 là một thành phần chính trong nhiều mô hình vựng theo mô hình ngôn ngữ ELMo học máy mạng nơ ron hiểu ngôn ngữ. Tuy nhiên Embeddings from Language Models . việc học được biểu diễn từ vựng chất lượng cao Khác với các cách tiếp cận trước đây để học thực sự là một thách thức. Biểu diễn từ vựng cần vectơ từ theo ngữ cảnh 1 các biểu diễn từ vựng phải được mô hình hóa một cách lý tưởng 2 thách ELMo là có chiều sâu theo nghĩa là chúng là một thức sau hàm nội tại tất cả các lớp của .
