In the context of next-word prediction, what is a drawback of using a fixed-size context window?

Đáp án đúng: "Difficulty capturing long-term dependencies". Khi chỉ cho mô hình nhìn một số từ cố định đứng trước để đoán từ tiếp theo, mọi thông tin nằm ngoài cửa sổ đều bị cắt bỏ, nên những phụ thuộc xa như chủ ngữ ở đầu câu dài quyết định cách dùng từ ở cuối câu không được nắm bắt; đây là lý do mô hình sinh văn bản dùng LSTM với trạng thái nhớ truyền qua nhiều bước. "Increased training time" không phải nhược điểm đặc trưng, cửa sổ cố định thậm chí giữ cho chi phí mỗi mẫu ổn định và có giới hạn. "Reduced model complexity" là một đặc điểm thường được xem là ưu điểm vì mô hình gọn hơn, không phải nhược điểm. "Improved generalization to new data" là lợi ích, và bản thân cửa sổ cố định không đảm bảo điều đó.