What does the term "tokenization" refer to in the context of word-based encodings?

Đáp án đúng: "Breaking down text into individual words or tokens". Tokenization (tách token) là bước đầu của mã hoá dựa trên từ: câu được cắt thành từng từ hoặc đơn vị (token), rồi mỗi token được gán một số nguyên; trong Keras, Tokenizer với fit_on_texts xây word_index và texts_to_sequences đổi câu thành dãy số, có thể đặt oov_token cho từ chưa gặp. "Creating a bag-of-words representation" sai vì túi từ là cách biểu diễn được xây sau khi đã tách token, đếm tần suất từ và bỏ qua thứ tự. "Reducing words to their root forms" sai vì đó là stemming hoặc lemmatization, một bước chuẩn hoá tuỳ chọn khác với việc tách token. "Applying sentiment analysis to words" sai vì phân tích cảm xúc là bài toán mô hình giải quyết ở phía sau, dùng chuỗi token làm đầu vào chứ không phải chính việc tách token.