Chương 2 - Đánh giá hiệu năng học máy. Chương này trình bày những nội dung chính sau: Đánh giá hiệu năng học máy, các phương pháp đánh giá hiệu năng học máy, Bootstrap sampling, tập tối ưu, các tiêu chí đánh giá tập tối ưu, tính chính xác, ma trận nhầm lẫn,. nội dung chi tiết. | Học Máy (IT 4862) Nguyễn ễ Nhật hậ Quang quangnn-fit@ Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2011-2012 Nội dung d môn ô học: h Giới thiệu chung g Đánh giá hiệu năng hệ thống học máy Cá phương Các h pháp há học h dựa d t ê xác trên á suất ất Các phương pháp học có giám sát Các phương pháp học không giám sát Lọc cộng tác Học tăng cường Học Máy – IT 4862 2 Đánh giá hiệu năng hệ thống học máy (1) Việc đánh giá hiệu năng hệ thống học máy thường được thực hiện dựa trên thực nghiệm (experimentally), (experimentally) hơn là dựa trên phân tích (analytically) • Các đánh g giá p phân tích ((analytical y evaluation)) nhằm chứng minh một hệ thống là đúng đắn (correct) và hoàn chỉnh (complete) (vd: các bộ chứng minh định lý trong Logics) • Không thể xây dựng một đặc tả (định nghĩa) hình thức của vấn đề mà một ộ hệ ệ thống g học ọ máyy g giải q quyết y ((Đối với bài toán học máy, thì tính đúng đắn và tính hoàn chỉnh là gì?) Học Máy – IT 4862 3 Đánh giá hiệu năng hệ thống học máy (2) Tập trung vào việc đánh giá hiệu năng của hệ thống • Thực hiện một cách tự động, động sử dụng một tập các ví dụ (tập thử nghiệm) • Không g cần sự tham g gia ((can thiệp) p) của người g dùng g Các phương pháp đánh giá (evaluation methods) à sao có được một ộ đá đánh g giá á đá đáng g tin cậy về ề hiệu ệu → Làm năng của hệ thống? Các tiêu chí đánh g giá ((evaluation metrics)) → Làm sao để đo (tính toán) hiệu năng của hệ thống? Học Máy – IT 4862 4 Các p phươngg pháp p p đánh giá g (1) Tập huấn ấ luyện Toàn bộ tập ví dụ Được dùng để huấn ố luyện hệ thống Tập tối ưu Tùy chọn; và được dùng để tối ưu các tham số của hệ thống Tập ập kiểm thử Được dùng để đánh giá hệ thống đã (sau khi) đ được h ấ luyện huấn l ệ Học Máy – IT .
