Trong bài viết này, tác giả sử dụng một phương pháp mới để nhanh chóng tìm kiếm tham số học (learning rate) hợp lý dựa trên ý tưởng của nguyên lý điều khiển luồng và chống tắc nghẽn trong mạng viễn thông nhằm tăng tốc khả năng hội tụ của bài toán so với phương pháp gradient descent thông thường. | Công nghệ thông tin amp Cơ sở toán học cho tin học MỘT PHƯƠNG PHÁP TĂNG TỐC KHẢ NĂNG HỘI TỤ ĐỐI VỚI GRADIENT DESCENT Hoa Tất Thắng1 Trần Văn An1 Đoàn Văn Hòa2 Lê Hoàng Minh2 Hoàng Xuân Trung3 Tóm tắt Bài toán tối ưu hóa là bài toán tìm kiếm lời giải tốt nhất trong các lời giải khả thi. Tối ưu hóa có nhiều ứng dụng trong lĩnh vực học sâu và có nhiều ứng dụng trong đời sống thực tế như các bài toán phân loại nhận dạng ảnh các bài toán tối đa hóa doanh thu hay giảm chi phí thời gian sản xuất. Phương pháp gradient descent thường được sử dụng để nhanh chóng tìm được nghiệm tối ưu của bài toán. Trong bài báo này tác giả sử dụng một phương pháp mới để nhanh chóng tìm kiếm tham số học learning rate hợp lý dựa trên ý tưởng của nguyên lý điều khiển luồng và chống tắc nghẽn trong mạng viễn thông nhằm tăng tốc khả năng hội tụ của bài toán so với phương pháp gradient descent thông thường. Từ khóa Gradient descent Máy học Tham số học Điểm khởi tạo Hàm mất mát. 1. ĐẶT VẤN ĐỀ Ngày nay rất nhiều các bài toán khoa học và kỹ thuật ứng dụng rộng rãi trong đời sống xã hội có thể xem như các bài toán tối ưu. Học máy và tối ưu hóa ngày càng có nhiều ứng dụng rộng rãi 2 7 . Phần lớn các vấn đề học máy có thể xem như bài toán tối ưu của hàm số được biết đến với tên là hàm mất mát 1 . Hơn nữa tối ưu hóa đóng một vai trò quan trọng trong lĩnh vực học sâu đặc biệt là trong các vấn đề liên quan đến hình ảnh ví dụ phân loại hình ảnh 8 nhận dạng ảnh 5 . Điều này là do hầu hết mọi quá trình chủ yếu là nhằm cực tiểu hóa hoặc cực đại hóa một số lượng nào đó tối đa hóa doanh thu độ chính xác hiệu suất hoặc giảm thiểu sai sót chi phí thời gian. Hiện nay có một số phương pháp tìm nghiệm Gradient Descent GD trong đó điển hình như Batch Gradient Descent Fast GD Stochastic GD . Mỗi phương pháp đều có những ưu nhược điểm riêng. Điểm chung trong các phương pháp này là việc tìm nghiệm còn phụ thuộc và điểm khởi tạo và tham số học. Bài báo đưa ra phương pháp tiếp cận mới là tìm ra tham số học tối ưu khi .
