Bài giảng Lý thuyết học thống kê (statistical learning theory) trình bày về mô hình tổng quát của học từ ví dụ; sai số và sai số thực nghiệm; nguyên lý quy nạp cực tiểu sai số thực nghiệm; phân lớp bayes và hàm hồi quy; đánh giá một giả thuyết; sai số thực nghiệm điều chỉnh và một số nội dung khác. | LÝ THUYẾT HỌC THỐNG KÊ (statistical learning theory) MÔ HÌNH TỔNG QUÁT CỦA HỌC TỪ VÍ DỤ Giả sử có một quan hệ hàm giữa hai tập X và Y f : X Y Mục đích : tìm ra quan hệ hàm này khi được cho tập ví dụ Hàm f : hàm học hay hàm mục tiêu. Mỗi đối tượng x biểu diễn bởi vectơ đặc trưng Hàm học giá trị thực : vấn đề hồi quy (regression). Hàm học giá trị rời rạc : vấn đề phân lớp (classification). Học với tập ví dụ gắn nhãn : học có giám sát (supervised learning). Giả thiết của lý thuyết học thống kê Tồn tại một phân phối xác suất p(x,y) cố định và chưa biết trên X x Y. Các ví dụ (x,y) được lấy mẫu độc lập theo cùng một phân phối p(x,y) Giả thiết (independent and identically distributed). Mục tiêu : sử dụng tập ví dụ huấn luyện để đưa ra một hàm là xấp xỉ của hàm mục tiêu. Học là vấn đề xấp xỉ hàm. SAI SỐ VÀ SAI SỐ THỰC NGHIỆM. Đối với phân lớp : lỗi phân lớp (classification error) L(y,h(x)) = 0 nếu y = h(x) và =1 nếu khác Hàm sai lệch (loss function). Giả sử (x,y) là một ví dụ, h : X | LÝ THUYẾT HỌC THỐNG KÊ (statistical learning theory) MÔ HÌNH TỔNG QUÁT CỦA HỌC TỪ VÍ DỤ Giả sử có một quan hệ hàm giữa hai tập X và Y f : X Y Mục đích : tìm ra quan hệ hàm này khi được cho tập ví dụ Hàm f : hàm học hay hàm mục tiêu. Mỗi đối tượng x biểu diễn bởi vectơ đặc trưng Hàm học giá trị thực : vấn đề hồi quy (regression). Hàm học giá trị rời rạc : vấn đề phân lớp (classification). Học với tập ví dụ gắn nhãn : học có giám sát (supervised learning). Giả thiết của lý thuyết học thống kê Tồn tại một phân phối xác suất p(x,y) cố định và chưa biết trên X x Y. Các ví dụ (x,y) được lấy mẫu độc lập theo cùng một phân phối p(x,y) Giả thiết (independent and identically distributed). Mục tiêu : sử dụng tập ví dụ huấn luyện để đưa ra một hàm là xấp xỉ của hàm mục tiêu. Học là vấn đề xấp xỉ hàm. SAI SỐ VÀ SAI SỐ THỰC NGHIỆM. Đối với phân lớp : lỗi phân lớp (classification error) L(y,h(x)) = 0 nếu y = h(x) và =1 nếu khác Hàm sai lệch (loss function). Giả sử (x,y) là một ví dụ, h : X Y. Ký hiệu L(y,h(x)) là độ đo sự sai khác giữa y và h(x) L : hàm sai lệch (loss function). Trường hợp hồi quy: Lôĩ bình phương (squared loss) Sai số kỳ vọng hay lỗi kỳ vọng (expected risk / expected loss) của hàm h: Sai số thực nghiệm. Sai số thực nghiệm (empirical risk) của hàm h: Hàm xấp xỉ tốt nhất của hàm mục tiêu là hàm có sai số kỳ vọng nhỏ nhất. Ví dụ. Hàm lỗi tổng bình phương (sum-of-squares error function): Lỗi phân lớp: NGUYÊN LÝ QUY NẠP CỰC TIỂU SAI SỐ THỰC NGHIỆM Hàm mục tiêu cần học f được xấp xỉ bằng hàm g : Hai đường xấp xỉ từ 5 ví dụ. Giả sử H là một lớp hàm nào đó. H : không gian các giả thuyết ( space of hypotheses). Nguyên lý quy nạp : xấp xỉ hàm mục tiêu bởi hàm g Nguyên lý quy nạp cực tiểu lỗi thực nghiệm (empirical risk minimization inductive principle) Câu hỏi : Hàm g là xấp xỉ tốt của hàm cần học không? Cụ thể hơn : sai số R(g) nhỏ không? Hàm g phụ thuộc vào lớp các hàm H, nó đóng vai trò như là hướng quy nạp. Hàm mục tiêu không thuộc lớp hàm H, khó có thể g
