Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 7: Học dựa trên láng giềng gần nhất (KNN). Chương này cung cấp cho học viên những nội dung về: học dựa trên các láng giềng gần nhất; giải thuật k-NN cho phân lớp; hàm tính khoảng cách; chuẩn hóa miền giá trị thuộc tính; . Mời các bạn cùng tham khảo chi tiết nội dung bài giảng! | 1 Nhập môn Học máy và Khai phá dữ liệu IT3190 2 Nội dung môn học Lecture 1 Giới thiệu về Học máy và khai phá dữ liệu Lecture 2 Thu thập và tiền xử lý dữ liệu Lecture 3 Hồi quy tuyến tính Linear regression Lecture 4 5 Phân cụm Lecture 6 Phân loại và Đánh giá hiệu năng Lecture 7 dựa trên láng giềng gần nhất KNN Lecture 8 Cây quyết định và Rừng ngẫu nhiên Lecture 9 Học dựa trên xác suất Lecture 10 Mạng nơron Neural networks Lecture 11 Máy vector hỗ trợ SVM Lecture 12 Khai phá tập mục thường xuyên và các luật kết hợp Lecture 13 Thảo luận ứng dụng học máy và khai phá dữ liệu trong thực tế 3 Các bạn phân loại thế nào Class a Class b Class a Class a Class b Class a 4 Học dựa trên các láng giềng gần nhất K-nearest neighbors k-NN là một trong số các phương pháp phổ biến trong học máy. Vài tên gọi khác như Instance-based learning Lazy learning Memory-based learning Ý tưởng của phương pháp Không xây dựng một mô hình mô tả rõ ràng cho hàm mục tiêu cần học. Quá trình học chỉ lưu lại các dữ liệu huấn luyện. Việc dự đoán cho một quan sát mới sẽ dựa vào các hàng xóm gần nhất trong tập học. Do đó k-NN là một phương pháp phi tham số nonparametric methods 5 k-NN Hai thành phần chính Độ đo tương đồng similarity measure distance giữa các đối tượng. Các hàng xóm sẽ dùng vào việc phán đoán. Trong một số điều kiện thì k-NN có thể đạt mức lỗi tối ưu Bayes mức lỗi mong muốn của bất kỳ phương pháp nào Gyuader and Hengartner JMLR 2013 Thậm chí khi chỉ dùng 1 hàng xóm gần nhất thì nó cũng có thể đạt đến mức lỗi tối ưu Bayes. Kontorovich amp Weiss AISTATS 2015 6 Ví dụ bài toán phân lớp Lớp c1 Lớp c2 Xét 1 láng giềng gần nhất Ví dụ cần phân lớp z Gán z vào lớp c2 Xét 3 láng giềng gần nhất Gán z vào lớp c1 Xét 5 láng giềng gần nhất Gán z vào lớp c1 7 Giải thuật k-NN cho phân lớp Mỗi ví dụ học được biểu diễn bởi 2 thành phần Mô tả của ví dụ 1 2 trong đó Nhãn lớp với là tập các nhãn lớp được xác định trước Giai đoạn học Đơn giản là lưu lại các ví dụ học trong tập học Giai đoạn phân lớp Để phân lớp
