Bài giảng Trí tuệ nhân tạo: Bài 15 Mạng thần kinh nhân tạo cung cấp cho người học những kiến thức như: Mạng các perceptron; Học sâu (deep learning); Mạng tích chập (CNN); Bộ tự mã hóa (autoencoder); Bắt đầu với học sâu như thế nào?. Mời các bạn cùng tham khảo! | TRÍ TUỆ NHÂN TẠO Bài 15 Mạng thần kinh nhân tạo 2 Nội dung 1. Mạng các perceptron 2. Học sâu deep learning 3. Mạng tích chập CNN 4. Bộ tự mã hóa autoencoder 5. Bắt đầu với học sâu như thế nào TRƯƠNG XUÂN NAM 2 Phần 1 Mạng các perceptron TRƯƠNG XUÂN NAM 3 Sức mạnh của một perception Một perception mạnh hơn một cổng logic cơ bản Ví dụ một perception dùng hàm kích hoạt hardlim 2 đầu vào w1 1 w2 1 Chọn b ta được cổng AND Chọn b ta được cổng OR x1 x2 x1 x2 x 1 1 1 1 -1 x1 x2 x1 x2 -x b b b y y y y x1 AND x2 y x1 OR x2 y NOT x TRƯƠNG XUÂN NAM 4 Hạn chế của một perceptron Không giải quyết được bài toán XOR TRƯƠNG XUÂN NAM 5 Mạng các perceptron Các perceptron có thể kết nối với nhau thành mạng lưới và mô phỏng các luật logic TRƯƠNG XUÂN NAM 6 Mạng các perceptron Đặc tính xấp xỉ vạn năng mạng neural nhân tạo 1 lớp ẩn có thể xấp xỉ hàm số liên tục bất kỳ Huấn luyện lan truyền ngược lỗi TRƯƠNG XUÂN NAM 7 Bản chất việc huấn luyện Lỗi hàm đánh giá Huấn luyện cực tiểu hóa hàm số Ý tưởng đi ngược hướng đạo hàm Gradient descent Stochastic gradient descent Minibatch gradient descent TRƯƠNG XUÂN NAM 8 Phần 2 Học sâu TRƯƠNG XUÂN NAM 9 Học sâu Bản chất là ANN có nhiều lớp Tại sao ngày trước không nghĩ đến Quy mô mạng quá lớn một ANN có 1000 đầu vào 2 lớp ẩn 500 nút 10 đầu ra sẽ có 2 5 tỉ tham số Quy mô mạng lớn đòi hỏi công suất tính toán lớn Sự suy giảm quá nhanh của gradient trong các thuật toán tập huấn Điều chỉnh Kiến trúc mạng Thuật toán huấn luyện Ý đồ thiết kế của từng lớp TRƯƠNG XUÂN NAM 10 Học sâu TRƯƠNG XUÂN NAM 11 Phần 3 Mạng tích chập CNN TRƯƠNG XUÂN NAM 12 Convolutional Neural Networks CNN sử dụng 3 ý tưởng chính để điều chỉnh ANN LRF local receptive fields Chia sẻ trọng số cùng lớp shared weights Pooling TRƯƠNG XUÂN NAM 13 LRF local receptive fields Thay vì kết nối đầy đủ giữa 2 lớp mạng liên tiếp một neural ở lớp sau chỉ kết nối với một vùng của lớp trước gọi là vùng LRF của neural đó Trượt LRF qua toàn bộ lớp trước tạo thành lớp sau TRƯƠNG XUÂN
