Câu hỏi: WDU203c - Phần 5: Nghiên cứu trải nghiệm ở quy mô lớn

Đáp án đúng: "It’s better to get a high response rate from a small sample than a low response rate from a big sample.". Tỷ lệ phản hồi thấp làm tăng nguy cơ nonresponse bias (sai lệch do không phản hồi): những người chịu trả lời có thể khác một cách hệ thống với những người bỏ qua, chẳng hạn chỉ người rất hài lòng hoặc rất bực mới điền khảo sát. Mẫu lớn chỉ giảm sai số ngẫu nhiên chứ không sửa được sai lệch này, nên một mẫu nhỏ nhưng phần lớn đã trả lời thường đại diện tốt hơn. "It’s better to get a low response rate from a small sample than it is to get a high response rate from a big sample." sai vì phương án kia vừa có mẫu lớn vừa có tỷ lệ cao, tức tốt hơn ở cả hai mặt. "Response rates are only important for national, probability studies." sai vì sai lệch do không phản hồi ảnh hưởng mọi khảo sát, kể cả khảo sát người dùng của một ứng dụng. "Response rates are not connected to survey quality." sai vì tỷ lệ phản hồi gắn trực tiếp với tính đại diện của dữ liệu, một thước đo cốt lõi của chất lượng khảo sát.

Đáp án đúng: "Offer incentives, clear opt-outs". Tỉ lệ phản hồi khảo sát tăng khi người trả lời thấy đáng bỏ thời gian và thấy được tôn trọng: incentive (phần thưởng khuyến khích) bù lại công sức, còn lối từ chối rõ ràng giúp người dùng yên tâm rằng họ không bị ép, điều đặc biệt quan trọng trên ứng dụng di động nơi khảo sát chen vào giữa việc họ đang làm. "Use complex survey jargon" làm câu hỏi khó hiểu, tăng gánh nặng cho người trả lời nên họ dễ bỏ dở. "Require all questions be answered" khiến ai gặp một câu không muốn trả lời sẽ thoát luôn, làm giảm tỉ lệ hoàn thành. "Hide the survey’s purpose" làm mất lòng tin và trái nguyên tắc minh bạch với người tham gia; người ta sẵn lòng trả lời hơn khi biết dữ liệu được dùng để làm gì.

Đáp án đúng: "If you want to be able to conduct more complicated statistical analyses.". Câu hỏi dạng phủ định nên cần tìm điều không phải lý do để cố đạt response rate (tỷ lệ phản hồi) cao. Tỷ lệ phản hồi cao cho nhiều câu trả lời hơn và giảm sai lệch do người không trả lời, nên đáng theo đuổi khi kết luận cần độ chắc chắn; còn phân tích thống kê phức tạp là lựa chọn kỹ thuật của người nghiên cứu, không phải lý do để đòi tỷ lệ phản hồi cao, nên đây là đáp án. "If you want to be more confident that you’ve detected a difference/change." là lý do đúng: nhiều phản hồi hơn thì sai số nhỏ hơn và kết luận về khác biệt đáng tin hơn. "If your population is very heterogeneous." cũng đúng: population (quần thể) càng đa dạng thì càng cần nhiều phản hồi để mọi nhóm con đều được đại diện. "If you want to detect smaller, or more subtle differences/changes." đúng nốt: khác biệt càng nhỏ thì cần càng nhiều dữ liệu mới phân biệt được với dao động ngẫu nhiên.

Đáp án đúng: "Mix rating and open questions". Preference test (kiểm thử ưa thích) cho người tham gia xem các phương án thiết kế rồi hỏi họ thích bản nào; câu hỏi chấm điểm, ví dụ thang 1 đến 5 cho mức tin cậy của từng trang thanh toán, cho số liệu so sánh được, còn câu hỏi mở như "Điều gì khiến bạn chọn bản này?" cho biết lý do đằng sau lựa chọn. Kết hợp cả hai mới vừa đo được mức độ vừa hiểu được vì sao. "Use only yes/no questions" sai vì câu hỏi có/không quá thô, không đo được mức độ ưa thích và không khai thác lý do. "Test one design per user group" là kiểu A/B testing đo hành vi giữa hai nhóm; preference test cần cùng một người nhìn cả hai bản để so sánh trực tiếp. "Avoid using visual mockups" đi ngược bản chất phương pháp, vì người tham gia phải nhìn thấy thiết kế thì mới nói được mình thích bản nào.

Đáp án đúng: "Ambiguous or leading questions". Chất lượng dữ liệu khảo sát phụ thuộc vào việc mọi người hiểu câu hỏi giống nhau và trả lời thật lòng. Câu mơ hồ (ambiguous) như "Bạn có dùng ứng dụng thường xuyên không?" khiến mỗi người hiểu "thường xuyên" một kiểu, còn câu dẫn dắt (leading) như "Bạn thấy tính năng mới tiện lợi đến mức nào?" đã cài sẵn câu trả lời mong muốn, cả hai đều gây sai lệch đo lường (measurement error). "High response rates" sai vì tỉ lệ phản hồi cao giảm sai lệch do người không trả lời, là điều tốt chứ không phải nguồn lỗi. "Clear and concise questions" là chính cách phòng lỗi nên không thể là nguồn lỗi. "Use of multiple-choice questions" không tự gây lỗi, câu trắc nghiệm có các lựa chọn đầy đủ và loại trừ nhau còn giúp dữ liệu dễ so sánh, nó chỉ gây vấn đề khi danh sách lựa chọn thiếu hoặc chồng lấn.

Đáp án đúng: "Diary studies". Diary study (nghiên cứu nhật ký) yêu cầu người tham gia tự ghi lại trải nghiệm, suy nghĩ và hành vi của mình trong nhiều ngày hoặc nhiều tuần ngay trong bối cảnh thật, thường qua một ứng dụng nhắn tin, biểu mẫu trực tuyến hay ảnh chụp; vì người tham gia tự ghi nên nhà nghiên cứu không cần có mặt và phương pháp này làm từ xa rất tự nhiên, tương tự kiểm thử khả năng sử dụng từ xa. "Product assembly" là lắp ráp sản phẩm, một công đoạn sản xuất chứ không phải phương pháp nghiên cứu người dùng. "Server maintenance" là công việc vận hành kỹ thuật hạ tầng, không thu thập dữ liệu gì về người dùng. "Eye-tracking in physical stores" đúng là một phương pháp nghiên cứu, nhưng cần thiết bị theo dõi mắt và nhà nghiên cứu có mặt tại cửa hàng, nên đó là nghiên cứu tại chỗ chứ không phải từ xa.

Đáp án đúng: "To collect data from many users". Survey (khảo sát bằng bảng hỏi) mạnh ở quy mô: một bảng hỏi có thể gửi tới hàng trăm, hàng nghìn người với chi phí thấp, cho ra dữ liệu đếm được, so sánh được giữa các nhóm và đủ rộng để khái quát cho quần thể người dùng. "To replace qualitative methods" sai vì khảo sát bổ sung chứ không thay thế phỏng vấn hay quan sát; nó cho biết bao nhiêu người nghĩ gì nhưng khó cho biết vì sao họ nghĩ vậy. "To eliminate need for analytics" sai vì analytics (phân tích dữ liệu sử dụng) ghi lại hành vi thật, còn khảo sát ghi lại điều người dùng tự kể, hai nguồn bù cho nhau. "To focus on expert opinions only" sai vì khảo sát UX hướng tới người dùng mục tiêu; ý kiến chuyên gia được thu bằng các phương pháp khác như heuristic evaluation.

Đáp án đúng: "The number of pages visited during a single user session". Trong web analytics (phân tích dữ liệu website), page depth (độ sâu trang) là số trang người dùng xem trong một session (phiên truy cập), tính từ lúc vào site tới khi rời đi; con số cao thường cho thấy người dùng khám phá nhiều nội dung, còn con số thấp có thể báo hiệu điều hướng khó hoặc nội dung chưa giữ chân được họ. "The time spent on each page by a user" là time on page (thời gian trên trang), một chỉ số khác đo mức gắn bó theo thời gian chứ không đếm số trang. "The number of visitors who return to the site regularly" là returning visitors (khách quay lại), đo lòng trung thành qua nhiều phiên. "The number of clicks on a page's primary button" là lượt bấm vào nút kêu gọi hành động, thuộc nhóm chỉ số chuyển đổi, không liên quan tới độ sâu duyệt trang.

Đáp án đúng: "Probability sampling". Probability sampling (lấy mẫu xác suất) là cách chọn mẫu trong đó mỗi người trong tổng thể đều có xác suất được chọn biết trước và khác không, chẳng hạn chọn ngẫu nhiên từ danh sách toàn bộ khách hàng; nhờ vậy giảm thiên lệch do người nghiên cứu chọn và cho phép suy rộng kết quả ra tổng thể. "Convenience sampling" (lấy mẫu thuận tiện) chọn người dễ tiếp cận như bạn bè hay đồng nghiệp, nhanh và rẻ nhưng dễ lệch nên không suy rộng được. "Purposeful sampling" (lấy mẫu có chủ đích) chọn người theo tiêu chí nghiên cứu, rất hợp với phỏng vấn định tính để có ca giàu thông tin, nhưng không nhằm đại diện thống kê. "Non-probability sampling" là tên chung của các cách chọn không ngẫu nhiên, gồm cả hai kiểu vừa nêu, nên cũng không bảo đảm tính khái quát.

Đáp án đúng: "Asking people who use a site’s shopping cart how they feel about that experience.". Purposive sampling (chọn mẫu có chủ đích) là chọn người tham gia vì họ có đúng đặc điểm hay trải nghiệm mà nghiên cứu cần, ở đây là người vừa dùng giỏ hàng nên mới nói được cảm nhận về giỏ hàng. "Asking your female friends to respond to a survey via Facebook and Twitter requests." là chọn mẫu thuận tiện (convenience sampling), lấy người dễ tiếp cận chứ không vì họ có trải nghiệm liên quan. "Emailing a random sample of employees who started at the company this year based on a list provided by HR." là chọn mẫu ngẫu nhiên (random sampling) từ một khung mẫu có sẵn, mỗi người trong danh sách có cơ hội như nhau, ngược với tinh thần chọn có chủ đích. "Asking one group of respondents to forward the survey invite to their social networks." là chọn mẫu quả cầu tuyết (snowball sampling), người trả lời trước giới thiệu người sau, nhà nghiên cứu không kiểm soát ai được mời.

Đáp án đúng: "Enhancing participant engagement". Thiết kế lấy người dùng làm trung tâm khi làm khảo sát nghĩa là coi người trả lời như người dùng của bảng hỏi: câu chữ rõ ràng, thứ tự hợp lý, độ dài vừa phải, giao diện dễ điền trên điện thoại. Nhờ vậy người tham gia chịu khó đọc, trả lời đến cuối và trả lời cẩn thận, tức tăng sự gắn kết, kéo theo tỷ lệ hoàn thành và chất lượng dữ liệu cao hơn. "Increasing survey length" đi ngược lại, vì bảng hỏi dài gây mệt và làm nhiều người bỏ dở hoặc trả lời qua loa. "Using complex question formats" làm tăng gánh nặng nhận thức, người trả lời dễ hiểu sai hoặc chọn bừa. "Emphasizing irrelevant information" làm xao nhãng khỏi câu hỏi chính và khiến người tham gia mất kiên nhẫn, trái với tinh thần tôn trọng thời gian của người dùng.

Đáp án đúng: "To gather data from users who best represent the intended audience". Target population (quần thể mục tiêu) là tập người mà kết luận của khảo sát muốn nói tới, ví dụ người dùng thường xuyên của một ứng dụng ngân hàng; xác định rõ nhóm này thì mới chọn được nguồn tuyển và mẫu phù hợp, để câu trả lời phản ánh đúng những người sẽ dùng sản phẩm chứ không phải một nhóm tình cờ. "To ensure the survey is completed quickly" sai vì tốc độ hoàn thành phụ thuộc độ dài và cách viết câu hỏi. "To reduce the number of questions needed" sai vì số câu hỏi do mục tiêu nghiên cứu quyết định. "To simplify the data analysis process" sai vì phân tích dễ hay khó phụ thuộc loại câu hỏi và loại dữ liệu; xác định quần thể là để dữ liệu có giá trị, không phải để việc phân tích nhẹ đi.

Đáp án đúng: "Instrument". Trong nghiên cứu khảo sát, instrument (công cụ khảo sát) là bộ câu hỏi cùng cách sắp xếp, lời hướng dẫn và thang trả lời mà người tham gia nhận được, tức bảng hỏi hoàn chỉnh. "Respondent" là người trả lời khảo sát, chủ thể điền bảng hỏi chứ không phải bản thân các câu hỏi. "Frame" là sampling frame (khung chọn mẫu), danh sách những người có thể được mời tham gia, như danh sách email sinh viên của một trường. "Population" là quần thể, toàn bộ nhóm người mà nghiên cứu muốn rút ra kết luận, ví dụ mọi người dùng của một ứng dụng. Mẫu được chọn từ khung, khung đại diện cho quần thể, còn instrument là thứ ta đưa cho mẫu ấy trả lời.

Đáp án đúng: "By keeping surveys simple, clear, and to the point". Cognitive burden (gánh nặng nhận thức) là lượng công sức trí óc người trả lời phải bỏ ra để hiểu câu hỏi, nhớ lại thông tin và chọn câu trả lời; gánh nặng càng lớn thì người ta càng dễ trả lời qua loa hoặc bỏ dở, nên khảo sát cần câu chữ ngắn gọn, rõ nghĩa và chỉ hỏi điều thật cần. "By asking long, open-ended questions" làm tăng gánh nặng vì người trả lời phải tự viết dài, rất dễ bỏ qua. "By using complex skip patterns and technical jargon" cũng tăng gánh nặng: luồng nhảy câu rối khiến người trả lời lạc hướng, còn thuật ngữ chuyên môn khiến họ không hiểu đang được hỏi gì. "By asking personal questions to gather detailed insights" làm người trả lời khó chịu và phải cân nhắc có nên khai hay không, nên dễ bỏ ngang chứ không giúp nhẹ việc trả lời.

Đáp án đúng: "By allowing researchers to gather feedback from participants across multiple locations". Remote testing (kiểm thử từ xa) cho người tham gia dùng sản phẩm tại nhà hoặc nơi làm việc của họ qua chia sẻ màn hình hay nền tảng kiểm thử trực tuyến, nên nhà nghiên cứu không bị giới hạn ở những người đến được phòng lab. Nhờ đó có thể tuyển người ở nhiều tỉnh thành, quốc gia, múi giờ và hoàn cảnh khác nhau, kể cả người khó di chuyển. "By only testing users from one geographic location" sai vì gói gọn một nơi làm giảm chứ không tăng tính đa dạng. "By ensuring that all participants use the same device" sai vì đồng nhất thiết bị là đặc điểm của buổi test tại lab, còn từ xa thì người tham gia dùng thiết bị của chính họ, đó cũng là một nguồn đa dạng. "By limiting participant access to users with specific skills" sai vì giới hạn theo kỹ năng thu hẹp tập người tham gia.

Đáp án đúng: "Avoid labeling response categories". Câu hỏi đóng dạng thứ bậc (ordinal) yêu cầu người trả lời chọn một mức trên thang, và thực hành tốt là gắn nhãn chữ cho mọi mức, ví dụ từ "Rất không hài lòng" đến "Rất hài lòng", để ai cũng hiểu mỗi mức giống nhau; bỏ nhãn khiến mỗi người diễn giải một kiểu nên đây là điều KHÔNG nên làm. Ba phương án kia đều là thực hành tốt nên không được chọn. "Provide a balanced scale" đúng vì số mức tích cực và tiêu cực bằng nhau giúp thang không đẩy người trả lời về một phía. "Use specific metrics rather than vague quantifiers" đúng vì hỏi theo mốc cụ thể như "mỗi tuần vài lần" rõ hơn chữ "thường xuyên" vốn mỗi người hiểu khác nhau. "Choose between unipolar and bipolar scales" đúng vì cần chọn thang đơn cực (từ không đến rất nhiều) hay lưỡng cực (từ rất tệ đến rất tốt) cho khớp với khái niệm đang đo.

Đáp án đúng: "Sampling frame". Survey mode (hình thức khảo sát) là kênh thực hiện khảo sát như trực tuyến, qua điện thoại, gặp mặt hay phiếu giấy; các hình thức được so với nhau trên những chiều như chi phí, gánh nặng cho người trả lời và độ linh hoạt. Sampling frame (khung chọn mẫu) là danh sách từ đó rút ra mẫu, ví dụ danh sách email khách hàng; nó thuộc khâu chọn mẫu chứ không phải một chiều để so sánh các hình thức. "Cost" là một chiều vì khảo sát trực tuyến rẻ hơn nhiều so với phỏng vấn trực tiếp. "Respondent burden" là một chiều vì mỗi hình thức đòi người trả lời một mức công sức khác nhau. "Flexibility" là một chiều vì phỏng vấn viên có thể giải thích và hỏi thêm, còn bảng hỏi tự điền thì cố định.

Đáp án đúng: "They allow for quick data collection from a broad audience". Khảo sát trực tuyến gửi được qua email, mạng xã hội hay ngay trong ứng dụng, nên trong thời gian ngắn và với chi phí thấp có thể thu câu trả lời từ rất nhiều người ở nhiều nơi, kết quả lại được tổng hợp tự động. "They guarantee higher response rates" sai vì khảo sát trực tuyến thường có tỷ lệ phản hồi thấp, người nhận dễ bỏ qua email hay đường link. "They eliminate the need for data analysis" sai vì dữ liệu dù được gom tự động vẫn phải làm sạch, phân tích và diễn giải. "They ensure more accurate responses than in-person interviews" không đúng: không có người hỏi thì không thể hỏi lại để làm rõ, người trả lời có thể đọc lướt hay hiểu sai câu hỏi; ưu điểm đôi khi có là giảm áp lực xã hội với câu hỏi nhạy cảm, nhưng không vì thế mà chính xác hơn nói chung.

Đáp án đúng: "Measurement error". Trong khảo sát, measurement error (sai số đo lường) xuất hiện khi câu hỏi không đo đúng khái niệm mình quan tâm, ví dụ muốn đo mức hài lòng với ứng dụng nhưng lại hỏi "Bạn mở ứng dụng bao nhiêu lần mỗi ngày?", hoặc câu chữ mơ hồ khiến mỗi người hiểu một kiểu. "Coverage Error" (sai số bao phủ) là khi danh sách dùng để chọn mẫu không bao trùm đúng tổng thể, như khảo sát qua email bỏ sót người không dùng email. "Sampling Error" (sai số chọn mẫu) là chênh lệch tự nhiên giữa kết quả của mẫu và của toàn tổng thể chỉ vì ta chỉ hỏi một phần. "Nonresponse Error" (sai số không phản hồi) là khi người không trả lời khác biệt có hệ thống với người trả lời, làm lệch kết quả. Ba loại này liên quan tới việc chọn ai và ai trả lời, không phải câu hỏi đo sai khái niệm.

Đáp án đúng: "For accurate data". Khảo sát rõ ràng và ngắn giúp người trả lời hiểu câu hỏi giống nhau và không mệt mỏi bỏ dở hoặc trả lời qua loa ở cuối, nhờ đó giảm sai lệch đo lường và sai lệch do không phản hồi, dữ liệu thu về chính xác hơn. Ví dụ một khảo sát năm phút với từ ngữ đơn giản sẽ có ít câu bỏ trống và ít người chọn bừa hơn một khảo sát nửa giờ đầy thuật ngữ. "To increase error" sai ngược hẳn, mục tiêu là giảm lỗi. "To prioritize stakeholders" sai vì thiết kế khảo sát gọn là để phục vụ người trả lời và chất lượng dữ liệu, không liên quan đến việc ưu tiên các bên liên quan. "To reduce sampling needs" sai vì cỡ mẫu do mục tiêu thống kê và đối tượng cần nghiên cứu quyết định, khảo sát rõ hơn không làm giảm số người cần hỏi.