DAT301M - Phần 3: Xử lý ngôn ngữ tự nhiên với TensorFlow

Lớp Embedding biến mỗi chỉ số từ thành một vector dày, học được trong lúc huấn luyện, để các từ mang sắc thái gần nhau nằm gần nhau trong không gian; với bài toán phân loại cảm xúc, vector của cả câu thường được gộp bằng GlobalAveragePooling1D trước lớp ra. Tokenizer dựng bộ từ vựng từ văn bản, giới hạn số từ bằng num_words và dành một mã riêng cho từ ngoài từ vựng qua oov_token. Sinh văn bản xem mỗi dòng như nhiều chuỗi con, lấy từ cuối làm nhãn và dùng softmax trên toàn bộ từ vựng để dự đoán từ kế tiếp. Các câu dài ngắn khác nhau được đệm hoặc cắt về cùng độ dài, ở đầu hoặc ở cuối câu. LSTM, nhất là khi chạy hai chiều, giữ được ngữ cảnh xa mà mạng hồi quy đơn giản dễ đánh mất. Chuỗi số theo thời gian, cùng dạng dữ liệu tuần tự, là chủ đề của Phần 4.