RNN có khả năng nhớ các thông tin được tính toán trước. Gần đây, mạng LSTM đang được chú ý và sử dụng khá phổ biến. Về cơ bản mô hình của LSTM không khác mô hình truyền thống của RNN, nhưng chúng sử dụng hàm tính toán khác ở các trạng thái ẩn. Vì vậy mà ta có thể truy xuất được quan hệ của các từ phụ thuộc xa nhau rất hiệu quả. Việc ứng dụng LSTM sẽ được giới thiệu ở bài báo sau. Mời các bạn cùng tham khảo chi tiết nội dung bài viết! | MẠNG NƠ-RON HỒI QUY Bùi Quốc Khánh Trường Đại học Hà Nội Tóm tắt Ý tưởng chính của mạng hồi quy Recurrent Neural Network là sử dụng chuỗi các thông tin. Trong các mạng nơ-ron truyền thống tất cả các đầu vào và cả đầu ra là độc lập với nhau. Tức là chúng không liên kết thành chuỗi với nhau. Nhưng các mô hình này không phù hợp trong rất nhiều bài toán. RNN được gọi là hồi quy Recurrent bởi lẽ chúng thực hiện cùng một tác vụ cho tất cả các phần tử của một chuỗi với đầu ra phụ thuộc vào cả các phép tính trước đó. Nói cách khác RNN có khả năng nhớ các thông tin được tính toán trước. Gần đây mạng LSTM đang được chú ý và sử dụng khá phổ biến. Về cơ bản mô hình của LSTM không khác mô hình truyền thống của RNN nhưng chúng sử dụng hàm tính toán khác ở các trạng thái ẩn. Vì vậy mà ta có thể truy xuất được quan hệ của các từ phụ thuộc xa nhau rất hiệu quả. Việc ứng dụng LSTM sẽ được giới thiệu ở bài báo sau. Từ khóa Neural Networks Recurrent Neural Networks Sequential Data. Abstract One major assumption for Neural Networks NNs and in fact many other machine learning models is the independence among data samples. However this assumption does not hold for data which is sequential in nature. One mechanism to account for sequential dependency is to concatenate a fixed number of consecutive data samples together and treat them as one data point like moving a fixed size sliding window over data stream. Recurrent Neural Networks RNNs process the input sequence one element at a time and maintain a hidden state vector which acts as a memory for past information. They learn to selectively retain relevant information allowing them to capture dependencies across several time steps which allows them to utilize both current input and past information while making future predictions. Keywords Neural Networks Recurrent Neural Networks Sequential Data. RECURRENT NEURAL NETWORK I. MOTIVATION FOR RECURRENT NEURAL NETWORKS Before studying RNNs it would be worthwhile to understand why there is a
