What is the purpose of dropout in deep learning?

Đáp án đúng: "All of the above". Dropout là kỹ thuật chính quy hoá: trong mỗi bước huấn luyện, mỗi nơ-ron bị đặt đầu ra bằng 0 với xác suất p, khi suy luận thì dùng toàn mạng với trọng số đã được bù tỉ lệ. Mục đích chính là "To regularize the network and prevent overfitting", buộc mạng không dựa dẫm vào vài nơ-ron cụ thể mà học các đặc trưng bền vững. "To randomly disable neurons during training" đúng vì đó chính là cơ chế hoạt động của dropout. "To reduce the model's capacity" cũng đúng vì mỗi bước chỉ một mạng con được huấn luyện, làm giảm dung lượng hiệu dụng, và đó là hệ quả dẫn tới chống quá khớp. Ba ý lần lượt là cơ chế, hệ quả và mục đích của cùng một kỹ thuật, nên chọn riêng lẻ một ý là chưa đủ, phương án tổng hợp mới mô tả trọn dropout.