Which TensorFlow library is commonly used for implementing subword text encoders?

Đáp án đúng: "tf.text". TensorFlow Text (import tensorflow_text, thường gọi tf.text) là thư viện đi kèm TensorFlow cung cấp các bộ tách subword (từ con) như WordpieceTokenizer, SentencepieceTokenizer và BertTokenizer, chạy được ngay trong đồ thị TensorFlow nên dùng được trong pipeline tf.data và khi triển khai mô hình. "nltk" sai vì NLTK là thư viện xử lý ngôn ngữ tự nhiên độc lập trong Python, mạnh về tách từ cổ điển, stemming, gán nhãn từ loại, không thuộc hệ TensorFlow. "gensim" sai vì Gensim chuyên mô hình chủ đề và vectơ từ như Word2Vec, không phải bộ mã hoá subword của TensorFlow. "scikit-learn" sai vì Scikit-learn có CountVectorizer, TfidfVectorizer cho văn bản nhưng làm việc ở mức từ hoặc n-gram ký tự, không phải thư viện TensorFlow cho subword.