Bài giảng "Máy học nâng cao: Dimension reduction and feature selection" cung cấp cho người học các kiến thức: Introduction - dimensionality reduction and feature selection, dimensionality reduction, feature selection. Cuối bài giảng có phần bài tập để người học ôn tập và củng cố kiến thức. | Bài giảng Máy học nâng cao Dimension reduction and feature selection - Trịnh Tấn Đạt Trịnh Tấn Đạt Khoa CNTT Đại Học Sài Gòn Email trinhtandat@ Website https site ttdat88 Contents Introduction dimensionality reduction and feature selection Dimensionality Reduction Principal Component Analysis PCA Fisher s linear discriminant analysis LDA Example Eigenface Feature Selection Homework Introduction High-dimensional data often contain redundant features reduce the accuracy of data classification algorithms slow down the classification process be a problem in storage and retrieval hard to interpret visualize Why we need dimensionality reduction To avoid curse of dimensionality https wiki Curse_of_dimensionality To reduce feature measurement cost To reduce computational cost Introduction Dimensionality reduction is one of the most popular techniques to remove noisy . irrelevant and redundant features. Dimensionality reduction techniques feature extraction feature selection feature extraction given N features set X extract M new features set Y by linear or non- linear combination of all the N features . PCA LDA feature selection choose a best subset of highly discriminant features of size M from the available N features . Information Gain ReliefF Fisher Score Dimensionality Reduction Principal component analysis PCA Variance . Covariance Variance phương sai của một biến ngẫu nhiên là thước đo sự phân tán thống kê của biến đó nó hàm ý các giá trị của biến đó thường ở cách giá trị kỳ vọng bao xa. Low variance High variance Covariance hiệp phương sai là độ đo sự biến thiên cùng nhau của hai biến ngẫu nhiên phân biệt với phương sai - đo mức độ biến thiên của một biến N x x y y i i Cov X Y i 1 N 1 Principal component analysis PCA Mean expected value giá trị mong muốn biểu diễn giá trị trung bình của một biến. Standard Deviation Độ lệch chuẩn đo tính biến động của giá trị mang tính thống kê. Nó cho thấy sự chênh lệch
