Chương 3 - Hiểu bài toán, hiểu dữ liệu và tiền xử lý dữ liệu. Những nội dung chính trong chương này gồm có: Hiểu bài toán, hiểu dữ liệu, tiền xử lý dữ liệu, một số thách thức về dữ liệu và mô hình. Mời các bạn cùng tham khảo. | BÀI GIẢNG NHẬP MÔN KHAI PHÁ DỮ LIỆU CHƯƠNG 3. HIỂU BÀI TOÁN HIỂU DỮ LIỆU VÀ TIỀN XỬ LÝ DỮ LIỆU PGS. TS. Hà Quang Thụy HÀ NỘI 09-2018 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI http thuyhq 1 Nội dung Hiểu bài toán Năm yếu tố để hiểu bài toán Hiểu dữ liệu Vai trò của hiểu dữ liệu Đối tượng DL và kiểu thuộc tính Độ đo tương tự và không tương tự của DL Thu thập dữ liệu Mô tả thống kê cơ bản của DL Trực quan hóa DL Đánh giá và lập hồ sơ DL Tiền xử lý dữ liệu Vai trò của tiền xử lý dữ liệu Làm sạch dữ liệu Tích hợp và chuyển dạng dữ liệu Rút gọn dữ liệu Rời rạc và sinh kiến trúc khái niệm Một số thách thức về dữ liệu và mô hình Thiếu dữ liệu dữ liệu không đại diện đặc trưng không đại diện mô hình quá khớp-không khớp July 12 2021 Công nghệ tri thức 2 1. HIỂU BÀI TOÁN VÀ HIỂU DỮ LIỆU HIỂU BÀI TOÁN 1. BIẾT ĐƯỢC GÌ Đặt vấn đề 5 yếu tố cốt yếu dưới dạng 5 câu hỏi Giải đáp 5 yếu tố này Đặt được bài toán Yếu tố 1 Ta đã biết có được gì Cho INPUT Đây là bước đầu tiên cho mọi trường hợp nghiên cứu Ví dụ 1 Dự báo mục hàng phục vụ bán chéo Bán chéo cross-selling bán các sản phẩm bổ sung cho khách hàng hiện tại Bán sâu deep-selling tăng tần số hoặc số lượng mua sản phẩm của khách hàng Bán gia tăng up-selling bán sản phẩm với số lượng nhiều hơn hoặc giá cao hơn cho khách hàng hiện tại Ví dụ 2 Dự báo khách hàng dịch vụ mạng rời bỏ Yếu tố 2 Cần quyết định điều gì Nội dung Điều gì thực sự cần phải quyết định Biến quyết định Đầu ra Output Quan trọng Phân biệt biến đầu ra và biến đầu vào Trường hợp dễ xác định Ví dụ 1. Bán chéo Các tập mục hàng đồng xuất hiện cao Trường hợp khó xác định Ví dụ 2. Dự báo khách hàng dịch vụ mạng rời bỏ biến dự báo biến phân lớp . Yếu tố 3 Cái gì cố gắng để đạt được Nội dung Cố tìm gì trong không gian lời giải Cái gì cần đạt được Hàm mục tiêu Mô hình mục tiêu Có thể là đa mục tiêu. Ví dụ Ví dụ 1. Tập con các mục hàng đồng xuất hiện vượt qua một ngưỡng Ví dụ 2. Mô hình dự báo nhận diện lại tốt với dữ liệu kiểm thử Yếu tố 4 Cái gì cản .
