Câu hỏi: WDU203c - Phần 3: Kiểm thử thiết kế với người dùng

Đáp án đúng gồm hai ý: "Identify potential design flaws" và "Improves user satisfaction". Usability testing (kiểm thử khả dụng) làm sớm, kể cả trên mẫu thử giấy, cho người dùng thật thực hiện nhiệm vụ để lộ ra chỗ họ vấp; lỗi thiết kế phát hiện lúc này sửa còn rẻ, và vì sản phẩm được chỉnh theo hành vi thật của người dùng nên trải nghiệm cuối cùng làm họ hài lòng hơn. "Guarantees project success" sai vì kiểm thử chỉ giảm rủi ro; thành công của dự án còn phụ thuộc thị trường, kỹ thuật và kinh doanh, không phương pháp nào bảo đảm được. "Ensures compliance with industry standards" sai vì việc tuân thủ tiêu chuẩn, ví dụ tiêu chuẩn về khả năng truy cập, được kiểm bằng rà soát đối chiếu với chính tiêu chuẩn đó, không phải mục tiêu của việc quan sát người dùng làm nhiệm vụ.

Đáp án đúng: "Critical incidents". Formative test (kiểm thử định hình) được làm trong lúc thiết kế với mục đích tìm vấn đề để sửa, nên dữ liệu quý nhất là critical incidents (sự cố then chốt): những thời điểm người dùng bối rối, mắc lỗi, đi sai đường hoặc bỏ cuộc, ví dụ bấm nhầm vào biểu tượng giỏ hàng khi muốn lưu sản phẩm. Mỗi sự cố chỉ ra đúng chỗ thiết kế cần chỉnh. "Perceived usability" như điểm SUS hữu ích cho đánh giá tổng kết hoặc so sánh phiên bản, nhưng một con số cảm nhận không cho biết vấn đề nằm ở màn hình nào. "Suggested improvements" có thể tham khảo, song người tham gia không phải nhà thiết kế và lời gợi ý của họ kém tin cậy hơn hành vi quan sát được. "Participant demographics" dùng để mô tả mẫu và đối chiếu kết quả, bản thân nó không phát hiện vấn đề nào của giao diện.

Đáp án đúng: "You should not know who the test participants are, and they should not know who you are.". Trong user testing (kiểm thử với người dùng), người điều phối biết rõ người tham gia: họ được tuyển theo tiêu chí, ký đồng thuận, được chào đón và hướng dẫn, còn nghiên cứu viên cũng tự giới thiệu mình. Ẩn danh cả hai chiều không phải là yêu cầu; điều cần làm là bảo mật thông tin cá nhân khi lưu và báo cáo dữ liệu, nên phát biểu này là phát biểu sai cần chọn. "You should observe test participants using the system directly." đúng vì giá trị của kiểm thử nằm ở việc nhìn thấy hành vi thật, chỗ ngập ngừng, chỗ bấm nhầm. "You should recruit test participants who are representative of your target users." đúng vì người tham gia phải giống người dùng mục tiêu thì những lỗi tìm được mới có ý nghĩa. "You should give test participants specific tasks to carry out using the system." đúng vì nhiệm vụ cụ thể giúp buổi quan sát có trọng tâm và so sánh được giữa những người tham gia.

Đáp án đúng: "Benchmark Testing". Benchmark testing (kiểm thử đối sánh chuẩn) đo hệ thống theo các chỉ tiêu hiệu năng định trước như thời gian hoàn thành tác vụ, tỷ lệ lỗi hay tỷ lệ thành công, để xác minh sản phẩm có đạt mục tiêu đề ra hay không, ví dụ người dùng mới phải đặt được vé trong dưới hai phút. "Formative Testing" là kiểm thử hình thành, làm sớm và lặp lại trong quá trình thiết kế để tìm vấn đề và cải tiến, không nhằm xác minh chỉ tiêu. "Problem Identification Testing" tập trung phát hiện và mô tả các vấn đề khả dụng người dùng gặp phải, chứ không so với ngưỡng hiệu năng. "Comparative Testing" đặt hai hay nhiều phương án thiết kế hoặc sản phẩm cạnh nhau để xem cái nào tốt hơn, không phải kiểm một hệ thống có đạt mục tiêu của chính nó hay không.

Đáp án đúng: "Declining to provide a recommendation, admitting you have no good ideas". Câu hỏi tìm điều KHÔNG nên làm khi đề xuất cách xử lý một vấn đề khả năng sử dụng. Báo cáo nghiên cứu có giá trị khi mỗi vấn đề đi kèm một hướng hành động; ngay cả khi chưa có giải pháp chắc chắn, người nghiên cứu vẫn có thể chỉ ra bước tiếp theo, nên từ chối đề xuất là bỏ dở trách nhiệm. Ba hướng kia đều là cách đề xuất hợp lệ nên không được chọn. "Identifying best practices from competitors’ products" đúng vì xem sản phẩm khác đã giải bài toán tương tự ra sao là nguồn ý tưởng nhanh và có kiểm chứng. "Suggesting further research to better characterize the problem" đúng khi vấn đề chưa rõ nguyên nhân, cần thêm dữ liệu trước khi sửa. "Recommending an iterative design process to find the best solution" đúng khi vấn đề phức tạp, cần thử vài phương án và kiểm thử lại để chọn cái tốt nhất.

Đáp án đúng: "Reword it to avoid interface-specific terms". Khi viết nhiệm vụ kiểm thử, nếu dùng đúng nhãn đang hiện trên giao diện như Shopping Cart thì người tham gia chỉ cần dò tìm chữ khớp với chữ trong nhiệm vụ, buổi kiểm thử không còn đo được việc họ có hiểu nhãn và cấu trúc của giao diện hay không; cách đúng là diễn đạt theo mục tiêu đời thường của người dùng, ví dụ xem lại những món mình đã chọn mua trước khi thanh toán. "Leave it as is" giữ nguyên chính lỗi vừa nêu, biến nhiệm vụ thành trò dò chữ. "Add more technical jargon" làm nhiệm vụ khó hiểu hơn và còn gợi ý thêm cho người tham gia. "Ask users to guess the meaning" đẩy người tham gia vào chỗ đoán mò; nhiệm vụ phải rõ ràng về mục tiêu dù không được chỉ đường.

Đáp án đúng: "Prompt the participant with clarifying questions to understand the issue better". Moderator (người điều phối) trong kiểm thử người dùng phải giữ trung lập: mục tiêu là hiểu vì sao giao diện gây bối rối, nên khi người tham gia lúng túng, cách đúng là hỏi mở để làm rõ, chẳng hạn bạn đang mong thấy điều gì ở chỗ này, để họ nói ra mô hình suy nghĩ của mình theo kiểu think-aloud (nói to suy nghĩ). "Ignore the confusion and continue with the tasks" bỏ lỡ đúng dữ liệu quý nhất của buổi thử, vì chỗ bối rối chính là dấu hiệu của vấn đề khả dụng. "Provide the participant with answers to solve the problem" làm sai lệch kết quả: người dùng thật không có ai chỉ bài, và lời gợi ý che mất vấn đề cần phát hiện. "Encourage the participant to skip the task" khiến tác vụ không được quan sát trọn vẹn; chỉ nên cho bỏ qua khi người tham gia quá căng thẳng hoặc hết thời gian, không phải phản ứng đầu tiên trước sự bối rối.

Đáp án đúng: "Behavioral". Khi tuyển người tham gia nghiên cứu, tiêu chí behavioral (hành vi) lọc theo những gì người đó thực sự đã làm, thường hỏi tần suất hay lượng thời gian trong một khoảng gần đây; câu hỏi số giờ học trên edX trong tuần qua đo đúng một hành vi đã xảy ra. "Expertise" (chuyên môn) lọc theo trình độ hay kinh nghiệm trong một lĩnh vực, như số năm làm lập trình hay mức thành thạo một phần mềm, chứ không hỏi đã làm gì trong tuần. "Characteristic" (đặc điểm) lọc theo thuộc tính nhân khẩu như tuổi, giới tính, nghề nghiệp hay nơi sống. "Attitudinal" (thái độ) lọc theo quan điểm, niềm tin hay cảm nhận, ví dụ hỏi người đó thích hay ngại học trực tuyến. Câu hỏi trong đề không hỏi cảm nghĩ hay đặc điểm cá nhân mà hỏi việc đã làm, nên thuộc nhóm hành vi.

Đáp án đúng: "To identify areas where users encounter difficulties". Kiểm thử người dùng (user testing) là quan sát người thật làm các nhiệm vụ trên sản phẩm, nên khi phân tích dữ liệu, mục tiêu chính là tìm ra chỗ họ vấp: bấm nhầm, lạc đường, mất nhiều thời gian hay bỏ dở nhiệm vụ, rồi xếp mức độ nghiêm trọng để ưu tiên sửa. Ví dụ năm trên tám người không tìm thấy nút đổi mật khẩu là một vấn đề rõ ràng cần xử lý. "To confirm that the design meets business objectives" sai vì mục tiêu kinh doanh được đo bằng chỉ số doanh thu, chuyển đổi, không phải trọng tâm của phân tích kiểm thử khả dụng. "To validate the technical feasibility of the design" sai vì tính khả thi kỹ thuật do đội phát triển đánh giá, người dùng thử không cho biết điều đó. "To assess the aesthetic appeal of the interface" sai vì cảm nhận thẩm mỹ có thể được ghi lại nhưng kiểm thử khả dụng tập trung vào việc dùng được, không phải đẹp hay không.

Đáp án đúng: "You plan to invite multiple stakeholders to observe the test sessions". Phòng lab kiểm thử cao cấp có phòng điều khiển và phòng quan sát tách biệt, thường ngăn bằng kính một chiều hoặc truyền hình ảnh trực tiếp, cho phép nhiều người như quản lý sản phẩm, kỹ sư, nhà thiết kế cùng theo dõi và bàn luận mà người tham gia không bị áp lực vì có đông người nhìn. Đây là lý do chính đáng để đầu tư loại phòng này. "You will be providing a computer for participants to use during the test" làm được trong bất kỳ phòng họp nào. "You will be using the think-aloud protocol" (nghĩ thành lời) chỉ cần người điều phối ngồi cạnh và thiết bị ghi âm, có thể làm cả từ xa. "You plan to administer a post-test questionnaire" là phát bảng hỏi sau buổi thử, trên giấy hay trực tuyến, hoàn toàn không cần phòng quan sát riêng.

Đáp án đúng: "Moderator". Trong một buổi kiểm thử với người dùng, moderator (người điều phối) là người chào đón người tham gia, giải thích quy trình, lấy đồng thuận, giao nhiệm vụ, nhắc họ nghĩ thành lời và giữ trao đổi suốt buổi. "Logger" là người ghi nhật ký, đánh dấu thời điểm và các sự cố quan trọng lên phiếu ghi, thường không nói chuyện với người tham gia. "Interviewer" là người phỏng vấn trong một buổi phỏng vấn nghiên cứu, không phải tên vai trò chuẩn trong buổi kiểm thử. "Technician" lo thiết bị, phần mềm ghi hình và môi trường kỹ thuật, không giao tiếp với người tham gia suốt buổi. Tách vai như vậy giúp người điều phối tập trung vào người tham gia trong khi dữ liệu vẫn được ghi đầy đủ.

Đáp án đúng: "False". Ghi chép dù kỹ vẫn chỉ là bản tóm lược do người quan sát chọn lọc trong lúc phải theo dõi nhiều thứ cùng lúc; screen recording (bản ghi màn hình), thường kèm tiếng nói của người tham gia, cho phép xem lại chính xác chỗ họ ngập ngừng, thao tác sai, đường di chuột và lời nói to suy nghĩ, từ đó kiểm chứng ghi chú, đo thời gian tác vụ và cho đồng đội vắng mặt hay các bên liên quan xem bằng chứng tận mắt. Vì vậy ghi chép tốt không thay được bản ghi, và phát biểu là sai. Chọn "True" nghĩa là coi ghi chú tay là nguồn đủ tin cậy, bỏ qua giới hạn của trí nhớ và sự chú ý của người quan sát; dĩ nhiên việc ghi màn hình vẫn phải được người tham gia đồng ý trước.

Đáp án đúng: "Demographic questions like age, gender, and education level". Debrief interview (phỏng vấn sau phiên kiểm thử) diễn ra ngay khi người tham gia làm xong các tác vụ, nhằm khai thác trải nghiệm vừa có khi ký ức còn mới; thông tin nhân khẩu như tuổi, giới tính, học vấn thường đã thu trong bước sàng lọc hay bảng hỏi trước phiên, nên không đưa vào phần này. Các phương án kia đều là nội dung thường có nên không được chọn: "Review of problems encountered during tasks" giúp hiểu vì sao người tham gia gặp khó ở từng chỗ; "General questions about perceived usefulness and comparisons to similar systems" cho biết người dùng thấy hệ thống có ích không và so với sản phẩm họ quen dùng ra sao; còn "A “wrap-up” question in which you ask participants for any additional thoughts" là câu kết thúc mời người tham gia nói thêm những suy nghĩ chưa được hỏi tới, phòng bỏ sót ý quan trọng.

Đáp án đúng: "Selecting and developing the tasks that you will ask users to perform". Trong kiểm thử khả dụng, nhiệm vụ là trái tim của buổi test: chọn nhiệm vụ nào quyết định phần nào của giao diện được soi, còn cách viết nhiệm vụ quyết định kết quả có đáng tin không. Nhiệm vụ phải phản ánh mục tiêu thật của người dùng, đủ cụ thể để biết khi nào xong, và không lộ tên nút cần bấm, ví dụ "Bạn muốn đổi lịch hẹn khám sang thứ Sáu" thay vì "Hãy bấm Đổi lịch". "Users often ignore tasks and do what they want" không phải đặc điểm phổ biến, người tham gia thường cố làm đúng nhiệm vụ được giao. "Most users are unfamiliar with usability testing" có thể đúng nhưng chỉ cần giới thiệu ngắn đầu buổi, không phải phần khó nhất của thiết kế test. "Tasks must be identical for every test session" là một quy ước giữ nhất quán chứ không phải thử thách, và đôi khi còn được đổi thứ tự để tránh hiệu ứng học.

Đáp án đúng: "They are partners with the researchers administering the test, working with together to find flaws in the system design". Trong kiểm thử người dùng, thứ được đánh giá là hệ thống chứ không phải con người; người tham gia là cộng sự giúp nhóm nghiên cứu tìm ra chỗ thiết kế chưa tốt, và người điều phối thường nói rõ điều này ở đầu buổi để họ thoải mái bộc lộ khó khăn. "They are being evaluated to see if they are competent enough to use the system tested" đảo ngược mục tiêu: người dùng thất bại thì đó là lỗi của thiết kế. "Once they have agreed to participate, they are obligated to complete all tasks and answer all questions, regardless of their discomfort" vi phạm đạo đức nghiên cứu: người tham gia luôn có quyền bỏ qua câu hỏi hay dừng bất cứ lúc nào. "They should remain ignorant of the goals of the test, so that they can offer more creative feedback and design suggestions" sai vì người tham gia cần hiểu mục đích chung để có informed consent (sự đồng ý có hiểu biết), và vai trò chính của họ là thể hiện cách dùng thật chứ không phải đề xuất ý tưởng thiết kế.

Đáp án đúng: "False". Phát biểu cho rằng nhà nghiên cứu UX không nên đánh mức độ nghiêm trọng cho vấn đề tìm thấy là sai. Severity rating (xếp hạng mức độ nghiêm trọng) là một phần việc của nhà nghiên cứu: chính họ đã quan sát người dùng vấp ở đâu, bao nhiêu người gặp, có tự vượt qua được không, nên họ có căn cứ tốt nhất để đánh giá tần suất, tác động và tính dai dẳng của mỗi vấn đề, như Nielsen đề xuất. Xếp hạng này giúp đội sản phẩm biết sửa gì trước. "True" sai vì đẩy hết việc này sang product owner (chủ sản phẩm) làm mất đi góc nhìn dựa trên bằng chứng quan sát; chủ sản phẩm vẫn tham gia quyết định ưu tiên, cân nhắc thêm chi phí và chiến lược, nhưng đó là bước tiếp theo dựa trên xếp hạng mà nhà nghiên cứu đưa ra.

Đáp án đúng: "To mirror real behavior and allow measurable outcomes". Nhiệm vụ thực tế (realistic) giống việc người dùng thật sẽ làm, nên hành vi quan sát được phản ánh cách họ dùng sản phẩm ngoài đời; nhiệm vụ kiểm chứng được (verifiable) có điểm kết thúc rõ ràng để biết người tham gia hoàn thành hay chưa, từ đó đo được tỉ lệ thành công, thời gian và số lỗi. Ví dụ "Tìm một chiếc áo khoác dưới 500 nghìn và thêm vào giỏ" vừa thực tế vừa kiểm chứng được, còn "Hãy khám phá trang web" thì không. "To meet academic standards" sai vì mục đích là có dữ liệu đáng tin cho thiết kế, không phải đáp ứng chuẩn học thuật. "To simplify data entry" sai vì việc ghi chép dữ liệu không phải lý do chọn nhiệm vụ. "To impress clients" sai vì nhiệm vụ được thiết kế để phát hiện vấn đề, không nhằm gây ấn tượng với khách hàng.

Đáp án đúng: "Exclusively reserved for usability testing". Địa điểm kiểm thử người dùng cần nhất là giúp người tham gia tập trung làm nhiệm vụ và giúp quan sát chính xác, còn việc phòng đó chỉ dành riêng cho kiểm thử không ảnh hưởng tới chất lượng dữ liệu; một phòng họp bình thường đóng cửa yên tĩnh vẫn đủ, nên đây là đặc điểm ít quan trọng nhất. "Free from distractions" rất quan trọng vì tiếng chuông điện thoại hay người qua lại làm gián đoạn nhiệm vụ và sai lệch thời gian đo. "Quiet enough for participants to concentrate" cũng thiết yếu, nhất là khi người tham gia phải nghĩ to (think-aloud) và cần thu âm rõ. "Used for various activities beyond testing" mô tả đúng thực tế của phần lớn các buổi test, căn phòng đa năng được dùng tạm vẫn ổn miễn là đáp ứng được yêu cầu về yên tĩnh và không bị làm phiền trong lúc test.

Đáp án đúng: "Diversity dimensions". Khi lên kế hoạch tuyển người tham gia kiểm thử, diversity dimensions (các chiều đa dạng) là những đặc điểm mà người tham gia có thể khác nhau, như độ tuổi, kinh nghiệm dùng công nghệ, tần suất dùng sản phẩm hay thiết bị đang dùng; ta cố ý phủ các chiều này để kết quả không chỉ phản ánh một kiểu người dùng. "Inclusion filters" là tiêu chí lọc xác định ai đủ điều kiện tham gia, ví dụ phải từng mua hàng trực tuyến, tức điểm chung bắt buộc chứ không phải phạm vi khác biệt. "Success benchmarks" là các mốc đo xem nhiệm vụ có đạt hay không, như hoàn thành dưới hai phút, thuộc về đo lường kết quả. "Tasks" là các nhiệm vụ người tham gia được yêu cầu làm trong buổi thử, không mô tả đặc điểm của chính người tham gia.

Đáp án đúng: "Notify participants as soon as they have met each task’s success criteria". Khi quan sát buổi kiểm thử, người điều phối không báo cho người tham gia biết họ đã đạt tiêu chí thành công của nhiệm vụ, vì làm vậy là can thiệp: người tham gia biết lúc nào nên dừng, không còn tự quyết như khi dùng thật, và nhóm mất dữ liệu về việc họ có tự nhận ra mình đã xong hay không. Đây là việc không nên làm, nên là đáp án. "Capture recordings of the user’s screen" là việc nên làm vì bản ghi màn hình cho phép xem lại chính xác thao tác. "Capture audio recordings of the user thinking aloud" nên làm vì lời nghĩ thành lời (think-aloud) cho biết lý do đằng sau thao tác. "Use a logging sheet to capture when critical incidents occur" nên làm vì phiếu ghi đánh dấu thời điểm sự cố giúp tìm lại nhanh trong bản ghi.