How does teacher forcing relate to training RNNs for time series data?
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "It involves providing the correct output from the training data as input during training.". Với teacher forcing, ở mỗi bước huấn luyện mạng hồi quy nhận giá trị thật của bước trước lấy từ dữ liệu làm đầu vào thay cho giá trị chính nó vừa dự đoán, nhờ vậy lỗi không bị cộng dồn dọc chuỗi; khi dự báo thật thì không còn giá trị thật nên mô hình phải dùng đầu ra của mình. "It is a way to speed up the convergence of RNNs." chỉ là hệ quả: huấn luyện thường hội tụ nhanh và ổn định hơn, nhưng đó không phải định nghĩa của kỹ thuật. "It is a technique for avoiding overfitting during training." sai vì teacher forcing không chống quá khớp, nó còn có thể gây lệch giữa lúc huấn luyện và lúc dự báo (exposure bias). "It is a regularization technique applied to the hidden states." sai vì điều chuẩn trên trạng thái ẩn là các kỹ thuật như recurrent_dropout của lớp LSTM, không liên quan tới việc chọn đầu vào.