Which of the following are valid ways to represent words in natural language processing tasks?

Đáp án đúng gồm ba ý: "Integers (e.g., assigning each word a unique number)", "One-hot vectors (e.g., binary vectors with a single 1)" và "Word embeddings (e.g., dense vectors capturing semantic meaning)". Mô hình học máy không xử lý trực tiếp chuỗi ký tự nên mỗi từ phải được ánh xạ sang dạng số. Cách đơn giản nhất là gán cho mỗi từ trong từ vựng một chỉ số nguyên (index), vốn chính là đầu vào của lớp embedding trong mạng nơ-ron. One-hot vector là vector nhị phân dài bằng kích thước từ vựng, chỉ một vị trí bằng 1; nó không mang thông tin ngữ nghĩa nhưng là biểu diễn hợp lệ và là nền của bag-of-words. Word embedding là vector đặc (dense) ít chiều học từ ngữ cảnh, khiến các từ gần nghĩa nằm gần nhau, như Word2Vec hay GloVe. "Encoding each word based on the number of syllables it contains" không phải cách biểu diễn hợp lệ vì số âm tiết là một đặc trưng ngữ âm rất thô: vô số từ khác nghĩa có cùng số âm tiết (cat, dog, run đều một âm tiết), nên ánh xạ này không phân biệt được các từ với nhau và không giữ được nghĩa, đánh mất tính một-một mà mọi phép biểu diễn từ cần có.