Multi layer feedforward NN (FFNN): Xét mạng có lớp neuron nằm giữa lớp đầu vào và ra như hình sau. Lớp nằm giữa được gọi là hidden layer, nó ko đưa đầu ra trực tiếp đến đầu ra của mạng. FFNN khắc phục hạn chế của mạng đơn lớp: thực hiện với nonlinearly saparable | Multi layer feed-forward NN (FFNN) Neural Networks NN 3 Input layer Output layer Hidden Layer Xét mạng có lớp neuron nằm giữa lớp đầu vào và ra như hình sau. Lớp nằm giữa được gọi là hidden layer, nó ko đưa đầu ra trực tiếp đến đầu ra của mạng. FFNN khắc phục hạn chế của mạng đơn lớp: thực hiện với non-linearly saparable Vấn đề với XOR Neural Networks NN 3 Một ví dụ điển hình của hàm non-linearly saparable là XOR. Hàm này nhận 2 biến vào với các giá trị thuộc {-1,1} và trả về một đầu ra trong {-1,1}, như được chỉ ra dưới đây: Nếu xem -1 và 1 như là false và true Vấn đề với XOR Neural Networks NN 3 1 1 -1 -1 x2 x1 x1 x2 -1 +1 +1 +1 +1 -1 -1 -1 Graph sau đây cho thấy đầu ra 1 và -1 được diễn tả với các vòng màu xanh và đỏ. Có hai lớp (green và red) không thể tách nếu dùng đường tuyến tính, nhưng với 2 đường thì có thể tách Mạng NN dưới đây với hai hidden nodes thực hiện việc tách, mỗi hidden node biểu diễn một trong hai đường xanh. NN này dùng hàm activation sign. Mỗi . | Multi layer feed-forward NN (FFNN) Neural Networks NN 3 Input layer Output layer Hidden Layer Xét mạng có lớp neuron nằm giữa lớp đầu vào và ra như hình sau. Lớp nằm giữa được gọi là hidden layer, nó ko đưa đầu ra trực tiếp đến đầu ra của mạng. FFNN khắc phục hạn chế của mạng đơn lớp: thực hiện với non-linearly saparable Vấn đề với XOR Neural Networks NN 3 Một ví dụ điển hình của hàm non-linearly saparable là XOR. Hàm này nhận 2 biến vào với các giá trị thuộc {-1,1} và trả về một đầu ra trong {-1,1}, như được chỉ ra dưới đây: Nếu xem -1 và 1 như là false và true Vấn đề với XOR Neural Networks NN 3 1 1 -1 -1 x2 x1 x1 x2 -1 +1 +1 +1 +1 -1 -1 -1 Graph sau đây cho thấy đầu ra 1 và -1 được diễn tả với các vòng màu xanh và đỏ. Có hai lớp (green và red) không thể tách nếu dùng đường tuyến tính, nhưng với 2 đường thì có thể tách Mạng NN dưới đây với hai hidden nodes thực hiện việc tách, mỗi hidden node biểu diễn một trong hai đường xanh. NN này dùng hàm activation sign. Mỗi mũi tên xanh chỉ ra bởi weights của một trong 2 hidden node. Nó chỉ ra hướng vuông góc với đường thẳng tương ứng. Mũi tên chỉ về nơi có đầu ra của neuron bằng 1. Node đầu ra được dùng để hình thành đầu ra của hai hidden nodes. Các loại miền Neural Networks NN 3 x1 1 x2 w2 w1 w0 Convex region L1 L2 L3 L4 Mạng có 1 node Mạng có 1 lớp hidden neurons thực hiện vùng lồi: mỗi hidden node thực hiện các đường biên bao quanh vùng lồi. P1 P2 P3 1 1 1 1 1 x1 x2 1 Mạng hai lớp hidden layer thực hiện hợp ba vùng lồi: mỗi box biểu diễn một mạng có 1 lớp hidden thực hiện một vùng lồi 1 1 1 1 x1 x2 1 Các vấn đề Non-Linearly Separable khác nhau Kiến trúc Các loại vùng decision Exclusive-OR Problem Các lớp có vùng chồng lấn Các dạng vùng chung Single-Layer Two-Layer Three-Layer Chỉ bao được một nửa mặt phẳng Vùng lồi đóng hoặc mở Bất kỳ (mức độ phức tạp hục thuộc số nodes) A A B B A A B B A A B B B A B A B A Mô hình của Neuron Thuật học của FFNN được dựa trên phương pháp gradient descent.
