Câu hỏi: WDU203c - Phần 3: Kiểm thử thiết kế với người dùng

Đáp án đúng: "Dedicated only for conducting user tests". Câu phủ định: cần tìm đặc điểm không quan trọng của địa điểm kiểm thử. Một usability lab (phòng thí nghiệm khả dụng) chuyên dụng có thể tiện, nhưng phòng họp, một góc yên tĩnh hay chính nơi làm việc của người dùng đều dùng được, miễn đáp ứng các điều kiện cơ bản, nên đây là đáp án. "Distraction-free" là quan trọng: tiếng ồn, người qua lại hay thông báo điện thoại làm người tham gia mất tập trung và làm sai lệch thời gian cùng số lỗi đo được. "Private" quan trọng vì người tham gia cần cảm thấy an toàn khi bộc lộ khó khăn và tin rằng thông tin của họ được giữ kín. "Quiet" quan trọng để nghe rõ lời nói to suy nghĩ và để bản ghi âm, ghi hình dùng được về sau.

Đáp án đúng gồm hai ý: "Can experienced online shoppers use Nomaza.com to find and purchase household items?" và "Are novice Internet shoppers able to complete the checkout process on Nomaza.com?". Mục tiêu của một buổi user test (kiểm thử người dùng) cần cụ thể và kiểm chứng được qua quan sát: nói rõ nhóm người dùng nào, làm tác vụ nào, trên phần nào của sản phẩm. Hai mục tiêu được chọn đều nêu nhóm người dùng (người mua sắm trực tuyến có kinh nghiệm, người mới mua sắm qua Internet) và tác vụ đo được trong một phiên (tìm và mua đồ gia dụng, hoàn tất thanh toán). "How likely are first-time users of Nomaza.com to return for a second visit?" không hợp với kiểm thử vì việc quay lại xảy ra sau phiên, phải đo bằng analytics hay khảo sát theo thời gian. "Can people find stuff they want on Nomaza.com?" quá mơ hồ: không rõ người nào, tìm món gì, nên không thể thiết kế tác vụ hay xác định khi nào là thành công.

Đáp án đúng: "The names of the participants who encountered them". Báo cáo kiểm thử phải bảo vệ danh tính người tham gia; họ được hứa giữ kín thông tin cá nhân và thường chỉ được nhắc bằng mã như P1, P2. Hơn nữa vấn đề nằm ở thiết kế chứ không ở người dùng, nêu tên chẳng giúp ai sửa giao diện. Ngược lại, mỗi vấn đề trong báo cáo đều nên có đủ các thành phần sau. "Clear description of the problem" cho biết người dùng vấp ở đâu và vấp thế nào. "Evidence" như trích lời, đoạn ghi hình hay số người gặp lỗi giúp nhóm phát triển tin rằng vấn đề có thật. "Severity" là mức độ nghiêm trọng để xếp thứ tự ưu tiên sửa. "Recommendation" là gợi ý hướng khắc phục, biến phát hiện thành việc làm được, ví dụ đổi nhãn nút hay thêm bước xác nhận.

Đáp án đúng: "Comparative A/B Testing". Summative testing (kiểm thử tổng kết) làm khi thiết kế đã tương đối hoàn chỉnh để đo hiệu quả tổng thể bằng số liệu như tỷ lệ hoàn thành, thời gian hay tỷ lệ chuyển đổi, thường để so sánh với một phiên bản khác hoặc một mốc chuẩn. A/B testing chia người dùng cho hai phiên bản và so số đo, đúng tinh thần đánh giá tổng kết. "Think Aloud" (nghĩ thành lời) chủ yếu dùng trong kiểm thử định hình để hiểu vì sao người dùng gặp khó, cho dữ liệu định tính. "Affinity Mapping" là kỹ thuật gom và phân tích dữ liệu định tính sau nghiên cứu, không phải phương pháp kiểm thử thiết kế. "Diary Study" là nghiên cứu khám phá hành vi theo thời gian trong bối cảnh thật, phục vụ hiểu người dùng hơn là đo hiệu suất một thiết kế.

Đáp án đúng: "Obtaining quantified measures of participants subjective reactions to using a system". Post-test questionnaire (bảng hỏi sau kiểm thử) được phát khi người tham gia đã làm xong nhiệm vụ, dùng thang điểm chuẩn để lượng hoá cảm nhận chủ quan như mức độ hài lòng, dễ dùng hay tự tin; ví dụ quen thuộc là thang SUS (System Usability Scale) mười câu. Điểm số giúp so sánh giữa các người tham gia hay giữa các phiên bản thiết kế. "Asking open-ended questions where participants can give any answer that comes to mind" cho câu trả lời tự do khó lượng hoá, phù hợp hơn với phỏng vấn cuối buổi. "Asking follow-up questions to understand why participants gave answers that they did" là việc của debriefing (trao đổi sau buổi test) bằng lời, bảng hỏi giấy không hỏi tiếp được. "Measuring the time it takes participants to complete a task" là số đo hiệu suất khách quan, ghi bằng quan sát trong lúc làm nhiệm vụ chứ không hỏi qua bảng hỏi.

Đáp án đúng: "Interrupting to inform the user as soon as they complete a task". Câu hỏi tìm việc KHÔNG cần thiết khi quan sát buổi kiểm thử người dùng. Người quan sát nên hạn chế can thiệp để hành vi diễn ra tự nhiên; thường người tham gia tự báo khi nghĩ mình đã xong, và việc họ có nhận ra mình hoàn thành hay không cũng là dữ liệu, nên ngắt lời ngay sẽ làm mất thông tin và sai lệch thời gian đo. Ba việc kia là cần thiết nên không được chọn. "Recording the user’s on-screen interactions" giúp xem lại chính xác thao tác. "Capturing audio of the participant’s verbal thoughts" giữ lại lời nghĩ thành lời để hiểu lý do sau mỗi hành động. "Using a log sheet to note the timing of major usability problems" giúp đánh dấu mốc thời gian để tìm lại nhanh các đoạn quan trọng trong bản ghi.

Đáp án đúng: "Informed Consent". Informed consent (đồng thuận có hiểu biết) là nguyên tắc đạo đức nền tảng khi nghiên cứu trên con người: trước khi tham gia, người tham gia phải được cho biết mục đích nghiên cứu, việc họ sẽ làm, quyền rút lui hoặc từ chối bất kỳ phần nào, và dữ liệu của họ sẽ được dùng ra sao, rồi mới tự nguyện đồng ý, thường bằng phiếu ký. "Usability" là khả dụng của sản phẩm, một thuộc tính được đo trong nghiên cứu chứ không phải nguyên tắc đạo đức. "Perceived usefulness" là mức hữu ích người dùng cảm nhận được, một khái niệm trong mô hình chấp nhận công nghệ. "Acquiescence" là xu hướng người trả lời đồng ý với mọi phát biểu, một dạng thiên lệch trong khảo sát, không phải nguyên tắc bảo vệ người tham gia.

Đáp án đúng: "They focus on finding usability issues and improving the design in future iterations". Formative test (kiểm thử hình thành) được làm khi thiết kế còn đang hình thành, thường với ít người tham gia và nguyên mẫu chưa hoàn thiện, nhằm phát hiện vấn đề khả dụng, hiểu nguyên nhân và đưa vào vòng thiết kế tiếp theo. "They are designed to prove the effectiveness of a design" là mục tiêu của summative test (kiểm thử tổng kết), làm khi thiết kế gần xong để chứng minh nó đạt yêu cầu. "They require large sample sizes for statistical analysis" sai vì theo Nielsen, mỗi vòng kiểm thử hình thành chỉ cần khoảng năm người là đã thấy phần lớn vấn đề chính; mẫu lớn chỉ cần cho kiểm thử định lượng. "They measure the performance of a product under controlled conditions" mô tả benchmark test hay summative test, vốn đo chỉ số trong điều kiện chuẩn hoá chứ không nhằm tìm lỗi để sửa.

Đáp án đúng: "To evaluate how effectively a design helps users accomplish their tasks". User testing (kiểm thử người dùng) cho người dùng thật thực hiện các tác vụ thật trên thiết kế trong khi nhà nghiên cứu quan sát, nhằm đánh giá thiết kế có giúp họ hoàn thành việc cần làm một cách hiệu quả hay không và phát hiện chỗ khiến họ vấp; ví dụ đo xem người dùng có tự đổi được mật khẩu không. "To increase the aesthetic appeal of the product" sai vì vẻ đẹp thị giác có thể được góp ý, nhưng mục tiêu chính là khả năng hoàn thành tác vụ. "To reduce the cost of product development" là lợi ích gián tiếp khi phát hiện lỗi sớm đỡ tốn chi phí sửa về sau, nhưng không phải mục tiêu chính của việc kiểm thử. "To gather marketing data for promotional strategies" sai vì dữ liệu tiếp thị đến từ nghiên cứu thị trường, còn kiểm thử người dùng tập trung vào khả dụng.

Đáp án đúng: "Participants are likely to tell us what they think we want to hear". Demand characteristics (đặc tính đòi hỏi) là những tín hiệu trong bối cảnh nghiên cứu khiến người tham gia đoán mục đích của buổi thử rồi cư xử hoặc trả lời theo điều họ nghĩ nhà nghiên cứu mong muốn, ví dụ khen thiết kế vì biết người ngồi đối diện là tác giả. Vì vậy cần hỏi trung lập và nói rõ ta đang thử thiết kế chứ không thử họ. "Participants will perform differently when observed than they would if they were on their own" mô tả hiệu ứng bị quan sát (thường gọi là hiệu ứng Hawthorne), có liên quan nhưng là khái niệm khác. "Participants who receive monetary compensation will typically perform better" không phải nội dung của khái niệm này và cũng không phải quy luật chung. "Researchers shouldn’t ask participants to do anything in particular" sai vì kiểm thử vẫn cần giao nhiệm vụ cụ thể; điều cần tránh là gợi ý câu trả lời.