Hàm mất mát: entropy cho phân loại

Với nhãn nhị phân $y \in \{0, 1\}$ và xác suất dự đoán $p$, entropy chéo nhị phân là:

$$L = -\bigl[y \ln p + (1-y)\ln(1-p)\bigr]$$

Nếu $y = 1$ và mô hình cho $p = 0{,}99$, $L \approx 0{,}01$ — gần đúng. Cùng nhãn mà $p = 0{,}01$ (sai rất chắc) thì $L \approx 4{,}6$ — phạt mạnh.

So với $(1-p)^2$ khi $y=1$: tại $p=0{,}01$ bình phương chỉ $\approx 0{,}98$, chưa đủ “la hét” để gradient sửa. Entropy phạt logarit, đẩy mô hình ra khỏi dự đoán quá tự tin sai.

Ví dụ hai thư, nhãn rác $(y=1)$:

$p$	$L$
0,9	0,11
0,1	2,30

Tổng mất mát trung bình trên 2 mẫu là $(0{,}11 + 2{,}30)/2 \approx 1{,}21$. Đó là cách khóa Deep Learning đo “độ tệ” trước khi viết vòng backward. Khi bạn thấy loss giảm chậm, kiểm tra xem mô hình có đang khóa ở $p \approx 0{,}5$ vì sigmoid chưa học được hay không — entropy sẽ ở quanh $\ln 2 \approx 0{,}69$ cho mỗi mẫu nhị phân.