A Transformer model uses:

Đáp án đúng: "Attention mechanism". Transformer là kiến trúc encoder-decoder dựa hoàn toàn vào cơ chế attention, đặc biệt là self-attention nhiều đầu (multi-head): mỗi token tính trọng số chú ý tới mọi token khác bằng query, key, value, nhờ đó nắm phụ thuộc xa và xử lý song song cả chuỗi, không cần hồi quy như RNN; vị trí từ được bổ sung bằng positional encoding. BERT và GPT đều xây trên kiến trúc này. "Convolution layers" là thành phần cốt lõi của CNN, trượt bộ lọc cục bộ trên dữ liệu, không phải nền tảng của Transformer. "Frequency filters" là khái niệm xử lý tín hiệu, lọc thành phần tần số của âm thanh hay ảnh, không thuộc kiến trúc Transformer. "Reinforcement learning" là một cách học bằng phần thưởng, có thể dùng để tinh chỉnh mô hình ngôn ngữ sau huấn luyện, nhưng không phải thành phần kiến trúc mà Transformer dùng.