What happens to leading and trailing whitespaces in the WhitespaceTokenizer?

Đáp án đúng: "They are removed from the tokens.". WhitespaceTokenizer của TensorFlow Text tách chuỗi tại các ký tự khoảng trắng (dấu cách, tab, xuống dòng) và bỏ chính các ký tự đó đi, nên khoảng trắng ở đầu và cuối chuỗi không tạo ra token rỗng và không dính vào token nào; ví dụ chuỗi " hello world " cho ra hai token hello và world. "They are ignored during tokenization." diễn đạt gần cùng ý, vì bộ tách quả thật không coi khoảng trắng là nội dung, nhưng phương án được chọn nêu đúng kết quả quan sát được trên đầu ra: token không chứa khoảng trắng nào. "They are included as part of the tokens." sai vì nếu khoảng trắng còn dính vào token thì cùng một từ sẽ thành nhiều token khác nhau tuỳ vị trí, làm hỏng từ điển. "They are replaced with special symbols." là cách của một số tokenizer khác như SentencePiece, vốn thay dấu cách bằng ký hiệu riêng để khôi phục văn bản, chứ WhitespaceTokenizer không thêm ký hiệu nào.