What are some of the benefits of using attention?

Đáp án đúng gồm ba ý: "It improves the interpretability of the model by highlighting which parts of the input contribute to the output", "It helps with the information bottleneck issue" và "It allows model to focus on the parts that matter more.". Trong mô hình encoder–decoder RNN thuần, cả câu nguồn bị nén vào một vectơ ngữ cảnh cố định, gây nút thắt thông tin (information bottleneck) khiến câu dài bị dịch kém; attention cho decoder ở mỗi bước tính trọng số trên mọi trạng thái ẩn của encoder rồi lấy tổng có trọng số, nên mô hình tập trung vào phần đầu vào liên quan nhất, và chính các trọng số đó vẽ được thành bản đồ căn chỉnh (alignment) cho thấy phần đầu vào nào góp vào đầu ra, giúp diễn giải mô hình. Chỗ dễ tranh cãi là phương án "It simplifies the model architecture by reducing the need for complex recurrent layers": việc bỏ hẳn tầng hồi quy là lợi ích của kiến trúc Transformer, vốn xây toàn bộ trên self-attention, chứ không phải lợi ích của attention nói chung; attention nguyên thuỷ được gắn thêm vào RNN, khiến kiến trúc phức tạp hơn chứ không đơn giản đi, nên phương án này không được chọn. Có người chỉ coi nút thắt thông tin và việc tập trung vào phần quan trọng là lợi ích cốt lõi, nhưng khả năng diễn giải qua trọng số attention cũng là lợi ích được thừa nhận rộng rãi nên vẫn được tính.