How does the SentencepieceTokenizer contribute to better representation in neural networks?

Đáp án đúng: "It allows for a flexible representation of words as subword units.". SentencepieceTokenizer dùng mô hình SentencePiece đã học từ dữ liệu để chia văn bản thô thành các mảnh subword (từ con) như "▁learn" và "ing"; từ phổ biến giữ nguyên, từ hiếm được ghép từ các mảnh nhỏ, nên bộ từ vựng gọn mà vẫn biểu diễn được từ chưa gặp, giảm vấn đề ngoài từ vựng. "It efficiently handles punctuation marks." sai vì xử lý dấu câu chỉ là hệ quả phụ, không phải đóng góp chính. Phương án nói rằng nó "captures contextual information" sai vì việc cắt từ thành mảnh không mã hoá ngữ cảnh; thông tin ngữ cảnh do các lớp phía sau như RNN hay Transformer học, tokenizer chỉ cung cấp đơn vị đầu vào. "It effectively handles tokenization based on whitespace." sai vì SentencePiece không dựa vào khoảng trắng, nó coi khoảng trắng là một ký tự thường nên dùng được cho ngôn ngữ không có khoảng trắng.