Which embedding method is contextual?

Đáp án đúng: "ELMo". Embedding ngữ cảnh (contextual) cho cùng một từ những vector khác nhau tùy câu chứa nó, nên bank trong river bank và trong bank account có hai biểu diễn khác nhau. ELMo (Embeddings from Language Models) lấy trạng thái ẩn của mô hình ngôn ngữ LSTM hai chiều chạy trên cả câu, nên vector của mỗi từ phụ thuộc toàn bộ ngữ cảnh. "Word2Vec" học một vector cố định cho mỗi từ; sau khi huấn luyện, mọi lần xuất hiện của từ đều dùng chung vector đó nên là embedding tĩnh. "GloVe" cũng tĩnh, học từ ma trận đồng xuất hiện trên toàn kho ngữ liệu, mỗi từ đúng một vector. "TF-IDF" thậm chí không phải embedding học được mà là trọng số thống kê theo tần suất từ trong văn bản và độ hiếm trong kho, cho vector thưa không phụ thuộc ngữ cảnh câu.