Tại sao phải vector hóa dữ liệu?

Mạng nơ-ron chỉ nhận số có thứ tự cố định, không nhận chuỗi ký tự dài thay đổi. Thư email trong hộp thư mẫu của khóa được đếm ba dấu hiệu: số từ quảng cáo, số link, cờ người gửi lạ. Thư A có $(2, 0, 1)$, thư B có $(0, 1, 1)$ — hai vector cùng chiều $d = 3$.

Nếu bạn chỉ lưu văn bản "Giảm giá 50% hôm nay", mỗi thư dài khác nhau, không có phép nhân ma trận chung. Vector hóa là chọn từ điển đặc trưng rồi đếm theo cùng thứ tự. Đổi thứ tự cột là đổi nghĩa: $(2,0,1)$ khác $(0,2,1)$.

Ví dụ Python trên tập 4 thư nhỏ:

counts = [(2, 0, 1), (0, 1, 1), (5, 2, 1), (0, 0, 0)]
assert all(len(x) == 3 for x in counts)

Khi huấn luyện theo batch, NumPy gom thành ma trận $X$ kích thước (batch, 3) và nhân một lần với $\mathbf{W}$. Đó là lý do mọi khóa Deep Learning bắt đầu từ vector hóa: không phải kỹ thuật trang trí, mà là điều kiện để GPU và gradient descent chạy hàng loạt.