Which deep learning architecture is commonly used for predicting the next word in a sequence?

Đáp án đúng: "Recurrent Neural Network (RNN)". Dự đoán từ tiếp theo đòi hỏi mô hình đọc một chuỗi từ theo thứ tự và giữ lại ngữ cảnh đã đọc; RNN làm việc đó nhờ trạng thái ẩn được truyền từ bước này sang bước sau, và các biến thể LSTM, GRU giữ ngữ cảnh xa tốt hơn, nên trong Keras mô hình sinh văn bản thường gồm Embedding, Bidirectional LSTM rồi Dense softmax trên toàn bộ từ vựng. "Convolutional Neural Network (CNN)" mạnh ở việc trích mẫu cục bộ trong ảnh và có thể dùng Conv1D cho văn bản, nhưng không có trạng thái nhớ tuần tự nên không phải lựa chọn phổ biến cho bài toán này. "Support Vector Machine (SVM)" là mô hình học máy truyền thống cho phân loại, không xử lý chuỗi có độ dài thay đổi theo thứ tự. "Decision Tree" cũng là mô hình truyền thống, chia dữ liệu theo ngưỡng đặc trưng, không phải kiến trúc học sâu và không mô hình hoá thứ tự từ.