Tuy nhiên, đặt giá trị hằng số học quá nhỏ thì mạng sẽ hội tụ rất chậm, thậm chí mạng có thể vượt được qua các cực tiểu cục bộ và vì vậy dẫn đến học mãi mà không hội tụ. Do vậy, việc chọn hằng số học ban đầu là rất quan trọng. Thực nghiệm cho thấy hằng số học ban đầu đạt hiệu quả nằm trong khoảng [, ]. Sau đó, khi đã cảm thấy mạng gần đạt đến giá trị cực tiểu thì có thể giảm nhỏ giá trị học. .