What does the tokenize method of the BertTokenizer return?

Đáp án đúng: "A list of tokens obtained from the text". Về khái niệm, tokenize là bước tokenization (tách token): cắt văn bản thành các đơn vị nhỏ, với BERT là các wordpiece (mảnh từ con) như từ playing thành mảnh play và mảnh đuôi ing, và kết quả của bước này là danh sách token lấy từ văn bản. Cần nói thật rằng hành vi phụ thuộc thư viện: BertTokenizer của Hugging Face trả về danh sách chuỗi token đúng như trên, còn BertTokenizer của TensorFlow Text mặc định trả về ID wordpiece dạng RaggedTensor vì token_out_type mặc định là tf.int64; câu hỏi ở đây hỏi theo nghĩa khái niệm của bước tách token. "The original text without tokenization" sai vì văn bản giữ nguyên thì phương thức chẳng làm gì cả. "Token indices representing the text" là kết quả của bước tra từ điển, như convert_tokens_to_ids hay encode bên Hugging Face, tức đổi token thành số chứ không phải bản thân việc tách token. "A tokenized sequence in a matrix form" là dạng tensor đã đệm (padding) cho cả một lô câu để đưa vào mô hình, việc này do bước gọi tokenizer kèm padding và trả về tensor đảm nhận, không phải tokenize.