Learning rate: 0,001 hay 0,1?

Tốc độ học $\eta$ quyết định bước đi mỗi lần cập nhật. Quá nhỏ — ví dụ $\eta = 10^{-6}$ trên 20 bước — mất mát có thể chỉ từ $0{,}69$ xuống $0{,}68$, huấn luyện quá chậm. Quá lớn — $\eta = 1{,}0$ với gradient cỡ $10$ — một bước nhảy $w$ tới vùng sigmoid bão hòa, gradient gần 0 hoặc loss NaN.

Trên bài lọc thư mẫu của khóa, $\eta = 0{,}1$ thường hợp lý cho một nơ-ron NumPy; $\eta = 0{,}01$ an toàn hơn khi bạn chưa chuẩn hóa đầu vào. Quy tắc thực hành: thử $0{,}1$, $0{,}01$, $0{,}001$ với cùng hạt giống, in mất mát mỗi 5 bước.

$\eta$	Mất mát sau 20 bước (ví dụ)
0,1	0,42 → giảm ổn
1,0	NaN

Không có một con số thần kỳ cho mọi mạng; có quy trình quan sát. Khóa Deep Learning cố ý cho bạn thấy cả hai cực trước khi dùng widget so sánh đường loss.