Câu hỏi: DAT301M - Phần 3: Xử lý ngôn ngữ tự nhiên với TensorFlow

Đáp án đúng: "They are removed from the tokens.". WhitespaceTokenizer của TensorFlow Text tách chuỗi tại các ký tự khoảng trắng (dấu cách, tab, xuống dòng) và bỏ chính các ký tự đó đi, nên khoảng trắng ở đầu và cuối chuỗi không tạo ra token rỗng và không dính vào token nào; ví dụ chuỗi " hello world " cho ra hai token hello và world. "They are ignored during tokenization." diễn đạt gần cùng ý, vì bộ tách quả thật không coi khoảng trắng là nội dung, nhưng phương án được chọn nêu đúng kết quả quan sát được trên đầu ra: token không chứa khoảng trắng nào. "They are included as part of the tokens." sai vì nếu khoảng trắng còn dính vào token thì cùng một từ sẽ thành nhiều token khác nhau tuỳ vị trí, làm hỏng từ điển. "They are replaced with special symbols." là cách của một số tokenizer khác như SentencePiece, vốn thay dấu cách bằng ký hiệu riêng để khôi phục văn bản, chứ WhitespaceTokenizer không thêm ký hiệu nào.

Đáp án đúng: "Positive emotions". Trong phân tích cảm xúc, nhãn tích cực cho biết văn bản thể hiện thái độ hài lòng, yêu thích hay khen ngợi, ví dụ một đánh giá phim viết rằng diễn xuất tuyệt vời; với mô hình nhị phân dùng Dense sigmoid, đầu ra gần 1 thường được hiểu là tích cực và gần 0 là tiêu cực. "Neutral emotions" sai vì trung tính là lớp riêng dành cho văn bản không bộc lộ thái độ rõ ràng, như một câu chỉ thuật lại sự kiện. "Negative emotions" sai vì đó là cực đối lập, ứng với chê bai, thất vọng hay tức giận. "Ambiguous emotions" sai vì văn bản mơ hồ, ví dụ khen chê lẫn lộn hoặc mỉa mai, là trường hợp khó phân loại, không phải ý nghĩa của nhãn tích cực.

Đáp án đúng: "It allows for a flexible representation of words as subword units.". SentencepieceTokenizer dùng mô hình SentencePiece đã học từ dữ liệu để chia văn bản thô thành các mảnh subword (từ con) như "▁learn" và "ing"; từ phổ biến giữ nguyên, từ hiếm được ghép từ các mảnh nhỏ, nên bộ từ vựng gọn mà vẫn biểu diễn được từ chưa gặp, giảm vấn đề ngoài từ vựng. "It efficiently handles punctuation marks." sai vì xử lý dấu câu chỉ là hệ quả phụ, không phải đóng góp chính. Phương án nói rằng nó "captures contextual information" sai vì việc cắt từ thành mảnh không mã hoá ngữ cảnh; thông tin ngữ cảnh do các lớp phía sau như RNN hay Transformer học, tokenizer chỉ cung cấp đơn vị đầu vào. "It effectively handles tokenization based on whitespace." sai vì SentencePiece không dựa vào khoảng trắng, nó coi khoảng trắng là một ký tự thường nên dùng được cho ngôn ngữ không có khoảng trắng.

Đáp án đúng: "Difficulty capturing long-term dependencies". Khi chỉ cho mô hình nhìn một số từ cố định đứng trước để đoán từ tiếp theo, mọi thông tin nằm ngoài cửa sổ đều bị cắt bỏ, nên những phụ thuộc xa như chủ ngữ ở đầu câu dài quyết định cách dùng từ ở cuối câu không được nắm bắt; đây là lý do mô hình sinh văn bản dùng LSTM với trạng thái nhớ truyền qua nhiều bước. "Increased training time" không phải nhược điểm đặc trưng, cửa sổ cố định thậm chí giữ cho chi phí mỗi mẫu ổn định và có giới hạn. "Reduced model complexity" là một đặc điểm thường được xem là ưu điểm vì mô hình gọn hơn, không phải nhược điểm. "Improved generalization to new data" là lợi ích, và bản thân cửa sổ cố định không đảm bảo điều đó.