Luận văn tập trung vào các kỹ thuật xử lý dữ liệu lớn và các thuật toán phân lớp dữ liệu bao gồm: Phân loại tuyến tính, Hồi quy logistic, Phân loại Naïve Bayes, Rừng ngẫu nhiên (RF). Ứng dụng thuật toán học máy trong lĩnh vực kinh doanh viễn thông sử dụng dữ liệu lịch sử của tập khách hàng để xây dựng các mô hình có khả năng phân loại, dự đoán nhu cầu sử dụng của khách hàng. | HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN QUANG TUẤN MỘT SỐ THUẬT TOÁN HỌC MÁY TRONG PHÂN LOẠI HÀNH VI SỬ DỤNG GÓI CƯỚC DATA VIỄN THÔNG LUẬN VĂN THẠC SĨ KỸ THUẬT Theo định hướng ứng dụng Hà Nội - năm 2020 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN QUANG TUẤN MỘT SỐ THUẬT TOÁN HỌC MÁY TRONG PHÂN LOẠI HÀNH VI SỬ DỤNG GÓI CƯỚC DATA VIỄN THÔNG CHUYÊN NGÀNH KHOA HỌC MÁY TÍNH MÃ SỐ LUẬN VĂN THẠC SĨ KỸ THUẬT Theo định hướng ứng dụng NGƯỜI HƯỚNG DẪN KHOA HỌC . TRẦN ĐÌNH QUẾ Hà Nội - năm 2020 LỜI CAM ĐOAN Tôi xin cam đoan Khoá luận tốt nghiệp với đề tài MỘT SỐ THUẬT TOÁN HỌC MÁY TRONG PHÂN LOẠI HÀNH VI SỬ DỤNG GÓI CƯỚC DATA VIỄN THÔNG là công trình nghiên cứu của cá nhân tôi các số liệu kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác không sao chép của bất cứ ai. Tôi xin chịu mọi trách nhiệm về công trình nghiên cứu của riêng mình Hà Nội ngày . Người cam đoan Nguyễn Quang Tuấn i MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT . iv DANH MỤC CÁC BẢNG . v DANH MỤC CÁC HÌNH . vi MỞ ĐẦU . 1 CHƯƠNG 1 - TỔNG QUAN VỀ BÀI TOÁN PHÂN LOẠI HÀNH VI SỬ DỤNG DỊCH VỤ VIỄN THÔNG . 3 Giới thiệu bài toán .3 Tổng quan quy trình phân tích dữ liệu .3 Tổng quan .3 Quy trình triển khai bài toán phân tích dữ liệu .4 Lưu đồ quy trình thực hiện dự án ứng dụng phân tích dữ liệu .6 Xử lý dữ liệu phân tán với Spark .6 Giới thiệu .6 Cơ chế hoạt động .7 Spark application .9 Các chỉ số đánh giá hiệu năng mô hình .9 Ma trận nhầm lẫn Confusion matrix .9 Các chỉ số Accuracy Precision Recall và F1 score .10 Đường cong ROC .11 Biểu đồ Lift .13 Biểu đồ Gain .14 Các phương pháp xây dựng đặc trưng dữ liệu .15 Các phương pháp thống kê lựa chọn đặc trưng dữ liệu với phương pháp lọc .16 ii Các phương pháp thống kê lựa chọn đặc trưng dữ liệu với phương pháp đóng Các phương pháp thống kê lựa chọn đặc trưng dữ .
