Câu hỏi: WDU203c - Phần 5: Nghiên cứu trải nghiệm ở quy mô lớn

Đáp án đúng: "Sampling Frame". Câu hỏi tìm thứ KHÔNG phải một kiểu lấy mẫu. Sampling frame (khung chọn mẫu) là danh sách hay nguồn dùng để rút mẫu, ví dụ danh bạ email của toàn bộ khách hàng; nó là đầu vào của việc lấy mẫu chứ không phải một cách lấy mẫu, nên đây là đáp án. Các phương án kia đều được xếp là kiểu lấy mẫu nên không được chọn: "Census" (điều tra toàn bộ) là trường hợp lấy tất cả mọi người trong tổng thể, như khảo sát mọi nhân viên của một công ty nhỏ; "Probability" (lấy mẫu xác suất) chọn ngẫu nhiên để mỗi người có xác suất được chọn biết trước, giúp suy rộng kết quả; "Convenience" (lấy mẫu thuận tiện) chọn người dễ tiếp cận như bạn học hay khách đang có mặt, nhanh nhưng dễ lệch.

Đáp án đúng: "Asking one group of respondents to forward the survey invite to their social networks.". Câu hỏi tìm cách KHÔNG giảm gánh nặng cho người trả lời. Nhờ người đã trả lời chuyển tiếp lời mời cho bạn bè là kỹ thuật tuyển mẫu quả cầu tuyết (snowball sampling); nó không làm khảo sát dễ hơn mà còn giao thêm việc tuyển người cho chính người trả lời, nên đây là đáp án. "Keep the survey as short as you can without compromising quality." là cách giảm gánh nặng điển hình vì ít câu thì ít thời gian và ít mệt mỏi. "Reduce the complexity of questions by making them easy to understand." cũng giảm gánh nặng nhận thức, người trả lời không phải đoán ý câu hỏi. "Asking people who use a site’s shopping cart how they feel about that experience." nhắm vào người vừa trải qua đúng điều được hỏi, nên họ trả lời từ trải nghiệm còn mới, không phải nhớ lại hay hình dung, vì vậy được xem là cách giữ câu hỏi dễ trả lời và không được chọn.

Đáp án đúng: "Use non-biasing probes". Với câu hỏi mở trong khảo sát, probe (câu hỏi gợi thêm) giúp người trả lời viết chi tiết hơn, và nó phải trung lập, ví dụ "Bạn có thể kể thêm về trải nghiệm đó không?" thay vì "Tính năng mới tiện hơn hẳn phải không?", để không dẫn dắt câu trả lời theo ý người hỏi. "Ask multiple questions in one item" tạo câu hỏi kép (double-barreled), người trả lời không biết đáp phần nào và dữ liệu không phân tích được. "Provide a vague question stem" khiến mỗi người hiểu câu hỏi một kiểu nên câu trả lời không so sánh được với nhau. "Force respondents to choose from a list" biến câu hỏi thành câu đóng, mất đúng ưu điểm của câu hỏi mở là để người trả lời dùng lời của mình.

Đáp án đúng: "The more money you offer, the more likely people are to participate.". Phần thưởng vật chất có tác dụng nhưng không tăng đều theo số tiền: quá một mức vừa phải, trả thêm tiền gần như không kéo thêm người tham gia, lại có thể thu hút người trả lời qua loa chỉ để lấy thưởng, nên đây là phát biểu ít đúng nhất. "You should frame incentives as gifts, not as payment." là lời khuyên đúng, vì coi phần thưởng là món quà gợi tâm lý có qua có lại, còn coi là tiền công khiến người ta so nó với giá trị thời gian của mình. "Incentives given *before* the survey are more effective." đúng vì phần thưởng tặng trước, không kèm điều kiện, tạo cảm giác muốn đáp lại thiện chí nên tỉ lệ trả lời cao hơn so với hứa thưởng sau. "Lotteries (a chance to win a larger reward) are not very effective as incentives." đúng vì một cơ hội trúng thưởng không chắc chắn có sức hút yếu hơn một phần thưởng nhỏ nhưng chắc chắn dành cho mọi người.

Đáp án đúng: "Nominal closed-ended". Câu hỏi closed-ended (câu hỏi đóng) cho sẵn các lựa chọn; loại nominal (định danh) đưa ra những hạng mục không có thứ tự và loại trừ nhau, người trả lời chọn đúng một, ví dụ hỏi bạn dùng hệ điều hành nào với các mục Android, iOS hay khác. "Ordinal closed-ended" cũng là câu hỏi đóng nhưng các lựa chọn có thứ tự, như thang mức độ hài lòng từ rất không hài lòng đến rất hài lòng, nên không khớp yêu cầu không có thứ tự. "Descriptive open-ended" là câu hỏi mở để người trả lời tự mô tả bằng lời, không có danh mục chọn sẵn. "List-of-items open-ended" là câu hỏi mở yêu cầu liệt kê nhiều mục, như kể tên các ứng dụng bạn dùng hằng ngày, cũng không cung cấp hạng mục loại trừ nhau.

Đáp án đúng: "People use trust as a basis to make a cost/benefit guess on the value of a social exchange.". Social exchange theory (thuyết trao đổi xã hội), được Dillman áp dụng vào thiết kế khảo sát, cho rằng người ta quyết định có tham gia một trao đổi xã hội như trả lời khảo sát hay không bằng cách ước đoán lợi ích và chi phí; vì lợi ích thường đến sau, niềm tin rằng bên kia sẽ giữ lời là nền tảng của phép ước đoán đó. "People consider the economic value to themselves of any given social exchange." quá hẹp: lợi ích trong trao đổi xã hội gồm cả cảm giác được giúp người khác, được ghi nhận, không chỉ giá trị kinh tế. "People think about the risk to themselves primarily in considering social exchanges." chỉ nhìn vào một vế chi phí, bỏ qua lợi ích lẫn niềm tin. "People are really bad at guessing the cost/benefit of any given social exchange." không phải luận điểm của thuyết, vốn mô tả cách con người cân nhắc chứ không khẳng định họ đoán kém.

Đáp án đúng: "A social media site, like Twitter". Sampling frame (khung chọn mẫu) là một danh sách cụ thể, đếm được các thành viên của tổng thể, từ đó có thể rút mẫu một cách có hệ thống. Một mạng xã hội như Twitter là nơi để tiếp cận người, chứ bản thân nó không phải danh sách người dùng mà nhà nghiên cứu có trong tay để chọn mẫu, nên đây là đáp án. Các phương án kia đều là danh sách cụ thể nên được xem là khung chọn mẫu: "An organization’s email directory" là danh bạ email toàn bộ nhân viên, rút ngẫu nhiên được; "All phone numbers in the U.S." là tập số điện thoại, nền tảng của cách gọi ngẫu nhiên trong khảo sát qua điện thoại; "User names of everyone who logged into the site this month" là danh sách tài khoản lấy từ nhật ký đăng nhập, rất hợp để khảo sát người dùng đang hoạt động.

Đáp án đúng: "Instrument". Trong thuật ngữ khảo sát, instrument (công cụ khảo sát) là chính bộ câu hỏi được đưa cho người trả lời, như bảng hỏi trực tuyến hay kịch bản phỏng vấn, gồm cách diễn đạt, thứ tự và các lựa chọn trả lời. "Respondent" là người trả lời khảo sát, tức đối tượng nhận câu hỏi chứ không phải câu hỏi. "Frame" là sampling frame (khung chọn mẫu), danh sách cụ thể từ đó ta rút người tham gia, ví dụ danh sách email khách hàng đã đăng ký. "Population" là tổng thể, toàn bộ nhóm người mà ta muốn rút ra kết luận, như mọi người dùng của ứng dụng. Ba khái niệm này đều nói về con người được nghiên cứu, còn câu hỏi thực tế thì gọi là instrument.

Đáp án đúng: "Response rates for Turkers". Amazon Mechanical Turk là chợ việc vặt trực tuyến nơi người làm, gọi là Turker, nhận làm khảo sát để lấy tiền; vì người tham gia tự chọn nhận việc, nên tỉ lệ phản hồi theo nghĩa thường dùng, tức bao nhiêu người được mời thì trả lời, gần như không đặt ra và không phải mối bận tâm. "How to pay a fair wage to Turkers" là điều cần nghĩ vì mức trả thấp vừa bất công vừa làm giảm chất lượng câu trả lời. "The shakiness of the demographic data about Turkers" cần nghĩ vì thông tin nhân khẩu do Turker tự khai và nhóm này không đại diện cho mọi quần thể. "How to check for the validity of responses" cần nghĩ vì có người trả lời vội để nhận tiền, nên phải chèn câu kiểm tra sự chú ý và lọc câu trả lời bất thường.

Đáp án đúng: "Make the survey as short as possible". Câu phủ định: theo thuyết trao đổi xã hội, người thiết kế khảo sát có ba nhóm cách khuyến khích phản hồi là tăng lợi ích cảm nhận, giảm chi phí cảm nhận và xây dựng niềm tin. Làm khảo sát ngắn thuộc nhóm giảm chi phí, vì bớt thời gian và công sức cho người trả lời, chứ không làm tăng lợi ích họ nhận được, nên đây là đáp án. "Specify how the survey results will be used" tăng lợi ích vì người trả lời thấy ý kiến của mình sẽ tạo ra thay đổi có ý nghĩa. "Identify the trustworthiness of the sponsoring organization" giúp người trả lời tin rằng những lợi ích được hứa sẽ thực sự đến, nhờ đó giá trị họ cảm nhận từ việc tham gia tăng lên. "Stress that opportunities to respond are limited" tận dụng tâm lý khan hiếm: cơ hội càng hiếm thì việc được mời càng có giá trị.