How can you train a subword text encoder in TensorFlow using your own corpus?

Đáp án đúng: "tf.train.experimental.SubwordTextEncoder.train_from_corpus()". Ý tưởng cần nắm là subword encoder (bộ mã hoá từ con) được dựng từ chính corpus (kho văn bản) của bạn: nó đếm tần suất, chọn ra một bộ từ vựng gồm các mảnh từ con đến kích thước mục tiêu, nhờ đó từ lạ vẫn được tách thành các mảnh đã biết thay vì thành token OOV. Nói cho trung thực, cả bốn tên hàm đều không phải API thật; hàm thật là tfds.deprecated.text.SubwordTextEncoder.build_from_corpus của TensorFlow Datasets, nhận một generator duyệt qua các câu và tham số target_vocab_size. Phương án được chọn là phương án duy nhất gọi đúng lớp SubwordTextEncoder cùng phương thức dựng bộ mã hoá từ corpus của riêng mình, nên nó gần với API thật nhất. "tf.text.train_subword_encoder_from_file()" không tồn tại, và build_from_corpus nhận dữ liệu qua generator chứ không cần một hàm riêng để đọc tệp. "tf.text.train_subword_encoder()" cũng không có trong TensorFlow Text và không gắn với lớp SubwordTextEncoder. "tf.text.train_from_corpus_subword_encoder()" chỉ đảo trật tự các chữ thành một hàm độc lập không có thật.