In a corpus of N documents, one randomly chosen document contains a total of T terms and the term “hello” appears K times. What is the correct value for the product of TF (term frequency) and IDF (inverse-document-frequency), if the term “hello” appears in approximately one-third of the total documents?
4 phương ánCó giải thích
Các phương án trả lời
Chọn một phương ánLời giảiChọn phương án để mở
Đáp án đúng: "K * Log(3) / T". Tần suất thuật ngữ TF bằng số lần thuật ngữ xuất hiện chia cho tổng số thuật ngữ của tài liệu, nên TF(hello) = K / T. Tần suất tài liệu nghịch đảo IDF = log(N / số tài liệu chứa thuật ngữ); hello có mặt trong khoảng N/3 tài liệu nên IDF = log(N chia cho N/3) = log(3). Nhân lại được TF × IDF = (K / T) × log(3), đúng bằng K * Log(3) / T. "KT * Log(3)" sai vì nhân K với T thay vì chia, khiến tài liệu càng dài điểm càng cao, ngược với ý chuẩn hoá theo độ dài. "T * Log(3) / K" đảo ngược TF thành T / K, nên thuật ngữ càng xuất hiện nhiều lại càng nhận điểm thấp. "Log(3) / KT" chia cho cả K lẫn T, cũng làm số lần xuất hiện K kéo điểm xuống thay vì đẩy lên.
Cùng phần 5
Which of the following are valid ways to represent words in natural language processing tasks?Có lời giảiCâu hỏiTF stands for:Có lời giảiCâu hỏiGiven a corpus of N documents, a randomly selected document contains T terms, with "data" appearing K times. If "data" is present in N/3 documents, what is the TF-IDF value for "data" in the selected document?Có lời giảiCâu hỏiCả 13 câu của chủ đề13 câu