Một bước gradient descent tính thế nào?

Gradient descent di chuyển tham số theo hướng làm mất mát giảm. Với một trọng số $w$ , đạo hàm $\partial L / \partial w$ và tốc độ học $\eta$ :

w_{\text{mới}} = w_{\text{cũ}} - \eta \frac{\partial L}{\partial w}

Ví dụ đơn giản: giả sử $w = 0{,}5$ , $\partial L / \partial w = 2{,}0$ , $\eta = 0{,}1$ . Bước cập nhật: $w_{\text{mới}} = 0{,}5 - 0{,}1 \times 2{,}0 = 0{,}3$ . Mất mát thường giảm nếu $\eta$ không quá lớn.

Dấu trừ là điểm dễ nhầm: gradient tăng mất mát thì ta trừ để đi ngược. Trên nhiều tham số, mỗi $w_j$ và $b$ cập nhật cùng lúc sau khi tính gradient trên một mẫu hoặc một batch.

python

w, grad, eta = 0.5, 2.0, 0.1
w = w - eta * grad
assert w == 0.3

Khóa Deep Learning dạy bước này tay trên một mẫu thư trước khi bọc vòng lặp NumPy — để khi loss “nhảy”, bạn biết kiểm tra $\eta$ hay gradient trước. Viết ra giấy $w_{\text{cũ}}$ , $\partial L/\partial w$ và $w_{\text{mới}}$ cho một bài toán spam cụ thể giúp bạn không lạc dấu dấu trừ trong công thức.