Which of the following increases the weight of rarely occurring terms in the document set?

Đáp án đúng: "Inverse document frequency". IDF của thuật ngữ t bằng log(N / df(t)), với N là tổng số tài liệu và df(t) là số tài liệu chứa t; thuật ngữ càng hiếm thì df càng nhỏ và IDF càng lớn, nên khi nhân vào TF nó nâng trọng số của từ hiếm, giàu thông tin, và kéo những từ có mặt khắp nơi như the, is về gần 0. Ví dụ với 1.000 tài liệu, từ có mặt trong 10 tài liệu có IDF = log(100), còn từ có mặt trong cả 1.000 tài liệu có IDF = log(1) = 0. "Term frequency" đếm số lần từ xuất hiện trong một tài liệu, nên từ càng phổ biến càng được trọng số cao, ngược với yêu cầu. "Word frequency" cũng chỉ là số đếm tần suất từ, ưu tiên từ thường gặp. "Bi-gram frequency" đếm cặp hai từ liền nhau, vẫn là số đếm thô, không có cơ chế phạt từ phổ biến.