Which model architecture introduced attention mechanism?

Đáp án đúng: "RNN". Cơ chế attention được đưa vào NLP năm 2014 qua công trình Neural Machine Translation by Jointly Learning to Align and Translate của Bahdanau, Cho và Bengio: họ gắn attention vào mô hình dịch máy encoder–decoder dùng RNN, cho decoder ở mỗi bước nhìn lại mọi trạng thái ẩn của encoder thay vì chỉ một vectơ ngữ cảnh cố định. Nhiều người gắn attention với "Transformer", vì Transformer ra đời năm 2017 đã phổ biến self-attention và bỏ hẳn tầng hồi quy, nhưng đó là kiến trúc đến sau, xây hoàn toàn trên một cơ chế đã có từ trước; kiến trúc đầu tiên đưa ra attention là RNN encoder–decoder. "CNN" là mạng tích chập, nổi lên từ thị giác máy tính, không phải nơi attention được giới thiệu. "GRU" là chỗ dễ cãi nhất: mô hình của Bahdanau thật ra dùng chính loại tế bào hồi quy có cổng kiểu GRU, nhưng câu hỏi hỏi về kiến trúc, và GRU chỉ là một loại tế bào bên trong mạng hồi quy, còn kiến trúc chứa attention là bộ mã hoá–giải mã RNN, nên câu trả lời là họ kiến trúc RNN.