What is the purpose of the SplitMergeTokenizer in TensorFlow?

Đáp án đúng: "Tokenizing by splitting and merging text". SplitMergeTokenizer trong thư viện TensorFlow Text nhận chuỗi kèm một dãy nhãn cho từng ký tự cho biết ký tự đó bắt đầu một token mới (split) hay được nối vào token đang dựng (merge); cách này hợp với các ngôn ngữ không dùng khoảng trắng như tiếng Trung, khi nhãn tách/gộp đến từ một mô hình phân đoạn. "Tokenizing based on whitespace" sai vì đó là việc của WhitespaceTokenizer, chỉ cắt tại khoảng trắng. "Tokenizing using pre-trained models from TensorFlow Hub" sai vì việc dùng mô hình phân đoạn tải từ TensorFlow Hub thuộc về HubModuleTokenizer, không phải SplitMergeTokenizer. "Tokenizing using Sentencepiece" sai vì đó là SentencepieceTokenizer, chia văn bản thành đơn vị subword (từ con) theo mô hình SentencePiece đã huấn luyện.