In a corpus of N documents, one document is randomly picked. The document contains a total of T terms and the term “data” appears K times. What is the correct value for the product of TF (term frequency) and IDF (inverse-document-frequency), if the term “data” appears in approximately one-third of the total documents?

Đáp án đúng: "K * Log(3) / T". Tính từng phần: TF của "data" trong tài liệu được chọn là số lần xuất hiện chia cho tổng số thuật ngữ, tức K/T. IDF = log(tổng số tài liệu / số tài liệu chứa từ) = log(N / (N/3)) = log(3), vì từ xuất hiện trong khoảng một phần ba số tài liệu. Nhân lại được TF × IDF = (K/T) × log(3) = K * log(3) / T. "KT * Log(3)" sai vì nhân K với T thay vì chia K cho T, làm TF lớn bất thường và tăng theo độ dài tài liệu, trái với mục đích chuẩn hoá. "T * Log(3) / K" đảo ngược tỉ số TF thành T/K, nghĩa là từ càng xuất hiện nhiều thì trọng số càng nhỏ, ngược với ý nghĩa của tần suất. "Log(3) / KT" đặt cả K vào mẫu số, cũng làm trọng số giảm khi từ xuất hiện nhiều hơn, nên không phải TF-IDF.