Huấn luyện tiến dần đôi khi được xem như huấn luyện trực tuyến hay huấn luyện thích nghi. Mạng nơron đã được huấn luyện để thực hiện những hàm phức tạp trong nhiều lĩnh vực ứng dụng khác nhau như trong nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ thống. Thông thường để huấn luyện mạng nơron, người ta sử dụng phương pháp huấn luyện có giám sát, nhưng cũng có mạng thu được từ sự huấn luyện không có giám sát. . | mạng sau mỗi lần xuất hiện của một phần tử véctơ đầu vào. Huấn luyện tiến dần đôi khi được xem như huấn luyện trực tuyến hay huấn luyện thích nghi. Mạng nơron đã được huấn luyện để thực hiện những hàm phức tạp trong nhiều lĩnh vực ứng dụng khác nhau như trong nhận dạng phân loại sản phẩm xử lý tiếng nói chữ viết và điều khiển hệ thống. Thông thường để huấn luyện mạng nơron người ta sử dụng phương pháp huấn luyện có giám sát nhưng cũng có mạng thu được từ sự huấn luyện không có giám sát. Mạng huấn luyện không giám sát có thể được sử dựng trong trường hợp riêng để xác đinh nhóm dữ liệu. Mạng nơron bắt đầu xuất hiện từ 50 năm nhưng mới chi tìm thây các ứng dụng từ khoảng 10 năm trở lại đây và vẫn đang phát triển nhanh chóng. Như vậy rõ ràng có sự khác biệt với những hệ thống điều khiển hoặc tối ưu hoá nơi mà các thuật ngữ cơ sở toán học và thủ tục thiết kế đã được thiết lập chắc chắn và được ứng dụng từ nhiều năm. . Mô hình nơron a Nơron đơn giản một nơron với một đầu vào vô hướng và không có độ dốc được chỉ ra trên hình b. Hình b. Mô hình nơron đơn giản Tín hiệu vào vô hướng p thông qua trọng liên kết vô hướng w trở thành wp cũng là đại lượng vô hướng. Ở đây wp là đối số duy nhất của hàm truyền f tín hiệu đầu ra là đại lượng vô hướng a. Hình là nơron có độ dốc b. Ta có thể hiểu b như là phép cộng đơn giản vào tích wp hoặc như là một sự thăng giáng của hàm f ở hình a đi một lượng b. Độ dốc được xem như một trọng lượng chỉ có điều đầu vào là một hằng số bằng 1. Tín hiệu vào hàm truyền mạng là n là tổng của trọng đầu vào wp và độ đốc b đáp ứng ra a 80 được coi là đối số của hàm chuyển f Hàm chuyển f có thể là hàm bước nhảy hàm sigmoid. Hình dưới đây giới thiệu một số dạng hàm chuyển của nơron. Hình . Một số dạng hàm chuyển của mạng nơron Chú ý rằng w và b đều là các tham số điều chỉnh vô hướng của nơron. Ý tưởng cơ bản của mạng nơron điều chỉnh các tham số này như thế nào đó đê mạng đạt được một đích mong muốn hay một hành vi nào đó. Như vậy .
