How can you create a subword text encoder in TensorFlow using the tf.text library?

4 phương ánCó giải thích

Các phương án trả lời

Chọn một phương án
Lời giảiChọn phương án để mở
Đáp án đúng: "tf.text.SubwordTextEncoder.build_from_corpus()". build_from_corpus là phương thức lớp thật của SubwordTextEncoder, nhận một bộ sinh văn bản và target_vocab_size rồi học từ vựng từ con trên kho văn bản đó, sau đó dùng encode và decode để chuyển chuỗi ký tự thành dãy số và ngược lại. Cần lưu ý trên thực tế lớp này nằm ở tfds.deprecated.text của TensorFlow Datasets (trước đó là tfds.features.text), không thuộc gói tf.text, nhưng trong bốn lựa chọn đây là cách gọi duy nhất ứng với một API có thật. "tf.text.create_subword_encoder()" sai vì không tồn tại hàm nào tên như vậy. "tf.text.build_subword_encoder()" sai vì tên này nghe giống build_from_corpus nhưng không phải hàm có thật, bộ mã hoá được dựng qua phương thức của lớp chứ không qua hàm tự do. "tf.text.generate_subword_encoder()" cũng là tên không tồn tại; tf.text chỉ cung cấp các tokenizer như WordpieceTokenizer hay SentencepieceTokenizer.

Cùng phần 3

Xuất hiện trong 1 bộ đề