Câu hỏi: SWT301 Software Testing – Bộ ôn tập thi lại số 3

Đáp án đúng: "ii & iii are true, i, iv & v are false.". Lập kế hoạch kiểm thử (test planning) xác định phạm vi, rủi ro, mục tiêu, cách tiếp cận tổng thể, lịch, tiêu chí thoát và phân bổ nguồn lực, nên mục ii (xác định cách tiếp cận tổng thể) và mục iii (phân công nguồn lực) thuộc kế hoạch. Viết điều kiện kiểm thử và phát triển ca kiểm thử thuộc pha phân tích và thiết kế (rồi hoàn thiện ở pha triển khai), còn dựng môi trường kiểm thử thuộc pha triển khai và thực thi, nên mục i, iv, v không thuộc kế hoạch. "i, ii & iv are true, iii & v are false." sai vì coi phát triển ca kiểm thử và dựng môi trường là lập kế hoạch, lại loại việc phân công nguồn lực. "iv & v are true, i, ii & iii are false." đảo ngược hoàn toàn, loại cả hai hoạt động lập kế hoạch thật. "i, ii & iii are true iv & v are false." đúng hai mục nhưng gộp nhầm việc phát triển ca kiểm thử.

Đáp án đúng: "De-bugging.". Quản lý kiểm thử (test management) bao gồm lập kế hoạch và ước lượng, giám sát và điều khiển, quản lý rủi ro, quản lý sự cố và quản lý cấu hình; gỡ lỗi (debugging) là hoạt động phát triển, do lập trình viên tìm nguyên nhân lỗi, sửa mã và kiểm tra bản sửa, không phải trách nhiệm của quản lý kiểm thử nên kém quan trọng nhất trong bối cảnh này. "Estimating test duration." là ước lượng thời gian kiểm thử, phần cốt lõi của lập kế hoạch giúp bố trí lịch và nguồn lực. "Incident Management" theo dõi sự cố từ lúc phát hiện tới khi đóng, cung cấp số liệu cho giám sát tiến độ và quyết định phát hành. "Configuration Management." bảo đảm biết chính xác phiên bản phần mềm và testware đang được kiểm thử, để kết quả kiểm thử truy vết và tái lập được.

Đáp án đúng: "1 -b, 2-c, 3-a". Ước lượng kiểm thử (test estimation) là dự tính công sức, thời gian cần cho các hoạt động kiểm thử, nên 1 ghép với b; giám sát kiểm thử (test monitoring) là thu thập và theo dõi các số đo tiến độ như số ca đã chạy, số lỗi tìm thấy, độ phủ đạt được, nên 3 ghép với a; điều khiển kiểm thử (test control) là hành động khắc phục khi giám sát thấy lệch kế hoạch, chẳng hạn phân bổ lại nguồn lực hay đổi thứ tự ưu tiên, nên 2 ghép với c. "1 -b, 2-a, 3-c" đảo vai giám sát và điều khiển: coi điều khiển là đo đếm còn giám sát là phân bổ lại nguồn lực. "1 -c, 2-a, 3-b" sai cả ba cặp, gán việc phân bổ lại nguồn lực cho ước lượng và công sức cho giám sát. "1 -a, 2-b, 3-c" cũng sai cả ba vì coi ước lượng là đo tiến độ, trong khi ước lượng diễn ra từ lúc lập kế hoạch, khi chưa có tiến độ nào để đo.

Đáp án đúng: "Needs configuration management just like requirements, design and code". Testware là mọi sản phẩm tạo ra trong quá trình kiểm thử như kế hoạch, ca kiểm thử, dữ liệu kiểm thử, kịch bản, kết quả mong đợi; theo ISTQB nó phải được quản lý cấu hình (configuration management) như yêu cầu, thiết kế và mã, tức có định danh, phiên bản, kiểm soát thay đổi và truy vết được tới phiên bản phần mềm mà nó kiểm. "Should be newly constructed for each new version of the software" sai vì testware được tái sử dụng và bảo trì qua các phiên bản, nhất là cho kiểm thử hồi quy. "Is needed only until the software is released into production" sai vì sau phát hành vẫn cần testware cho kiểm thử bảo trì khi sửa lỗi hay nâng cấp. "Does not need to be documented and commented, as it does not form part" sai vì testware không có tài liệu thì người khác không hiểu, không bảo trì và không tái dùng được.

Đáp án đúng: "Interim Test report". Ma trận chức năng và kiểm thử (Function/Test Matrix) ánh xạ từng chức năng của hệ thống với các ca kiểm thử phủ nó và trạng thái chạy của chúng. Trong khung kiến thức CSTE, nó được trình bày trong nhóm báo cáo kiểm thử tạm thời (interim test reports), là những báo cáo phát hành trong lúc kiểm thử còn đang diễn ra để cho thấy chức năng nào đã được kiểm thử, chức năng nào còn lỗi. Cần nói thẳng là một số bộ ôn tập ghi "Project status report"; báo cáo trạng thái dự án đúng là có thể dùng số liệu từ ma trận, nhưng nó là báo cáo cấp dự án về tiến độ, chi phí, rủi ro nói chung, còn bản thân ma trận được xếp vào báo cáo kiểm thử tạm thời. "Final test report" là báo cáo tổng kết khi kiểm thử kết thúc, trong khi ma trận được cập nhật liên tục trong quá trình. "Management report" là tên gọi chung cho báo cáo gửi quản lý, không phải loại tài liệu mà ma trận này được phân vào.

Đáp án đúng: "Auditing conformance to ISO9001". Câu hỏi tìm mục không thuộc quản lý cấu hình. Quản lý cấu hình (configuration management) gồm bốn hoạt động chuẩn: định danh cấu hình, kiểm soát thay đổi, kế toán trạng thái (status accounting) và kiểm tra cấu hình (configuration audit) xem các hạng mục có khớp với mô tả đã duyệt. Đánh giá sự tuân thủ ISO 9001 là đánh giá hệ thống quản lý chất lượng của cả tổ chức, thuộc đảm bảo chất lượng, không phải hoạt động của quản lý cấu hình. Các mục kia đều thuộc quản lý cấu hình nên không được chọn. "Status accounting of configuration items" là ghi nhận và báo cáo trạng thái các hạng mục cấu hình. "Identification of test versions" thuộc định danh cấu hình. "Record of changes to documentation over time" là lưu vết thay đổi, phục vụ kiểm soát thay đổi. "Controlled library access" là kiểm soát quyền truy cập thư viện lưu các phiên bản.

Đáp án đúng: "False". Phát biểu mô tả việc so sánh chất lượng sản phẩm với tiêu chuẩn áp dụng và hành động khi phát hiện không phù hợp; đó là định nghĩa của kiểm soát chất lượng (Quality Control) theo QAI, hoạt động hướng vào sản phẩm, mang tính phát hiện. Đảm bảo chất lượng (Quality Assurance) là hoạt động phòng ngừa ở cấp quy trình: thiết lập và cải tiến quy trình, tiêu chuẩn để sản phẩm làm ra đạt chất lượng ngay từ đầu. Nhiều tài liệu ôn tập chép nhau ghi phát biểu này là đúng vì gộp hai khái niệm làm một, nhưng chính chỗ gán định nghĩa QC cho QA là chỗ sai của phát biểu. "True" vì vậy không được chọn: nó chấp nhận sự nhầm lẫn giữa QA phòng ngừa và QC phát hiện mà khung chất lượng phân biệt rõ.

Đáp án đúng: "(2) Record/Playback". Kiểm thử hồi quy (regression testing) là chạy lại các ca kiểm thử đã có sau mỗi thay đổi để chắc rằng phần chưa sửa không bị ảnh hưởng; vì bộ ca này lặp lại nhiều lần với cùng các bước, công cụ ghi và phát lại (record/playback), một dạng công cụ thực thi kiểm thử tự động, là lựa chọn điển hình: ghi thao tác một lần rồi phát lại ở mỗi bản dựng mới và so kết quả. "(1) Performance" là công cụ đo hiệu năng, mô phỏng tải và thời gian đáp ứng, phục vụ kiểm thử phi chức năng chứ không nhằm xác nhận chức năng cũ còn chạy đúng. "Both of (1) and (2)" sai vì công cụ hiệu năng không phải loại công cụ dành cho hồi quy chức năng. "None of (1) nor (2)" sai vì record/playback chính là loại công cụ được dùng phổ biến nhất cho kiểm thử hồi quy.

Đáp án đúng: "User requirements.". Công cụ ghi và phát lại (capture and replay) ghi các thao tác trên giao diện như nhấp chuột, gõ phím thành kịch bản để chạy lại tự động nhiều lần, nên hợp với "GUI testing", với kiểm thử hồi quy, và với "Performance testing" khi kịch bản đã ghi được nhân lên thành nhiều người dùng ảo để tạo tải. "User requirements." không phải một hoạt động kiểm thử chạy được bằng ghi rồi phát lại: yêu cầu người dùng là tài liệu, được thẩm định bằng rà soát và kiểm thử chấp nhận với người dùng thật, nên đây là chỗ ghi-phát lại ít dùng nhất. Có ý kiến chọn "Recovery testing" vì kiểm thử phục hồi phải cố ý gây sự cố như ngắt điện, rút mạng, điều mà công cụ ghi thao tác không tạo ra được; lập luận đó có lý, nhưng sau khi gây sự cố, kịch bản ghi sẵn vẫn được phát lại để xác nhận hệ thống khôi phục đúng, còn với yêu cầu người dùng thì gần như không có chỗ dùng.

Đáp án đúng: "A test management tool". Công cụ quản lý kiểm thử (test management tool) hỗ trợ quản lý toàn bộ hoạt động kiểm thử: lưu yêu cầu và ca kiểm thử cùng liên kết truy vết (traceability) giữa chúng, lên lịch chạy kiểm thử, ghi kết quả và sự cố, báo cáo tiến độ; cả ba chức năng câu hỏi nêu đều thuộc nhóm này. "A dynamic analysis tool" theo dõi chương trình lúc chạy để phát hiện rò rỉ bộ nhớ, con trỏ hỏng. "A test execution tool" chạy kịch bản kiểm thử tự động và so sánh kết quả, không quản lý truy vết hay lịch. "A debugging tool" giúp lập trình viên chạy từng bước, xem giá trị biến để tìm nguyên nhân lỗi. "A configuration management tool" quản lý phiên bản và baseline của phần mềm cùng testware, không ghi sự cố hay lên lịch kiểm thử.

Đáp án đúng: "Configuration Control". Quản lý cấu hình (configuration management) gồm các hoạt động nhận diện cấu hình, kiểm soát cấu hình, ghi nhận trạng thái và kiểm toán cấu hình. Kiểm soát cấu hình (configuration control) bao gồm việc cung cấp và quản lý một thư viện có kiểm soát (controlled library) chứa mọi hạng mục cấu hình, cùng việc đánh giá, phê duyệt và thực hiện thay đổi lên các hạng mục đó, bảo đảm không ai sửa phiên bản đã được chấp thuận mà không qua quy trình. "Status Accounting" (ghi nhận trạng thái) là ghi chép và báo cáo tình trạng của các hạng mục cùng các yêu cầu thay đổi, chẳng hạn phiên bản nào đang dùng ở đâu, thay đổi nào đã duyệt, không phải việc quản lý thư viện. "Configuration Identification" (nhận diện cấu hình) là chọn ra các hạng mục cấu hình, đặt tên, đánh số phiên bản và xác lập baseline, tức bước xác định cái gì cần quản lý chứ chưa phải lưu giữ và kiểm soát chúng.

Đáp án đúng: "Generating expected outputs". Câu hỏi dạng EXCEPT: cần tìm việc mà công cụ thực thi kiểm thử thương mại thông thường không làm được. Công cụ thực thi chạy và đối chiếu, nhưng kết quả mong đợi phải đến từ một nguồn hiểu đặc tả, tức test oracle như yêu cầu, người kiểm thử hay hệ thống tham chiếu; công cụ không tự biết đầu ra đúng là gì, đó là bài toán oracle. Các phát biểu kia đều là năng lực điển hình của công cụ nên không được chọn. "Replaying inputs according to a programmed script" đúng vì chạy lại kịch bản đã lập trình là chức năng cốt lõi. "Comparison of expected outcomes with actual outcomes" đúng vì công cụ so kết quả thực tế với kết quả mong đợi đã được cung cấp sẵn. "Recording test inputs" đúng vì kiểu record/playback ghi lại thao tác đầu vào. "Reading test values from a data file" đúng vì kiểm thử hướng dữ liệu (data-driven) đọc giá trị từ tệp dữ liệu.

Đáp án đúng: "Use of automated test execution tools". Kiểm thử chấp nhận của người dùng (user acceptance testing, UAT) nhằm xác nhận hệ thống phù hợp để người dùng nghiệp vụ sử dụng, do chính người dùng thực hiện trên các kịch bản nghiệp vụ thực tế. Đặc trưng của nó là con người đánh giá sự phù hợp, nên việc dùng công cụ tự động thực thi kiểm thử không phải đặc trưng của UAT; tự động hoá thường gắn với kiểm thử hồi quy, kiểm thử hiệu năng ở các cấp khác. "Testing performed by users." là đặc trưng cốt lõi, đúng như tên gọi. "Testing against acceptance test criteria" cũng là đặc trưng, vì UAT đối chiếu hệ thống với tiêu chí chấp nhận đã thống nhất để quyết định có nhận hệ thống hay không. "Integration of system with user documentation." cũng là đặc trưng, vì UAT kiểm tra hệ thống dùng được cùng tài liệu hướng dẫn sử dụng, quy trình nghiệp vụ thực tế.

Đáp án đúng: "Both of (1) and (2)". Công cụ và tự động hoá kiểm thử mang lại hai thuộc tính cốt lõi: tốc độ và hiệu suất, vì máy chạy hàng nghìn ca kiểm thử lặp lại nhanh hơn người rất nhiều, giảm việc thủ công lặp đi lặp lại; và độ chính xác, độ chuẩn xác, vì máy thực hiện đúng từng bước như nhau mọi lần, so sánh kết quả không bỏ sót và không mệt mỏi. ISTQB Foundation cũng nêu lợi ích của công cụ là giảm việc lặp lại, tăng tính nhất quán và khả năng lặp lại, cung cấp đánh giá khách quan. Vì cả hai thuộc tính cùng đúng nên phải chọn cả hai. "(1) Speed & efficiency" chỉ nêu một nửa, bỏ mất tính chính xác. "(2) Accuracy & precision" cũng chỉ nêu một nửa, bỏ mất tốc độ. "None of (1) nor (2)" sai vì phủ nhận cả hai lợi ích cơ bản nhất mà tự động hoá mang lại.

Đáp án đúng: "Capture/Playback". Công cụ ghi và phát lại (capture/playback) ghi lại thao tác của người kiểm thử thành kịch bản rồi chạy lại tự động bao nhiêu lần cũng được, nên là công cụ thực thi kiểm thử điển hình dùng để tự động hoá kiểm thử hồi quy (regression test), loại kiểm thử phải lặp lại sau mỗi lần thay đổi. "Output comparator." chỉ so sánh kết quả thực tế với kết quả mong đợi; nó hỗ trợ kiểm thử tự động nhưng tự nó không chạy được các ca kiểm thử, nên không phải công cụ chính để tự động hoá hồi quy. "Data tester" gợi tới việc chuẩn bị hoặc kiểm tra dữ liệu kiểm thử, phục vụ khâu chuẩn bị chứ không phát lại kiểm thử. "Boundary tester" gợi tới thiết kế ca kiểm thử theo giá trị biên, là khâu thiết kế chứ không phải tự động thực thi lặp lại.

Đáp án đúng: "Requirements management tools". Theo phân loại công cụ trong ISTQB Foundation, công cụ quản lý yêu cầu (requirements management tool) lưu trữ các phát biểu yêu cầu cùng thuộc tính của chúng, kiểm tra tính nhất quán và yêu cầu chưa định nghĩa, cho phép xếp mức ưu tiên và lập truy vết (traceability) từ từng ca kiểm thử tới yêu cầu, chức năng, tính năng; đó đúng là bộ chức năng câu hỏi mô tả. "Incident management tools" (công cụ quản lý sự cố) lưu và theo dõi báo cáo lỗi, sự cố cùng trạng thái xử lý, không quản lý yêu cầu. "Configuration management tools" (công cụ quản lý cấu hình) lưu phiên bản và bản dựng của phần mềm, testware, giúp truy vết phiên bản chứ không kiểm tra tính nhất quán hay ưu tiên yêu cầu. "None of the others" sai vì đã có một loại công cụ khớp đúng mô tả.

Đáp án đúng: "i and iv". ISTQB Foundation liệt kê lợi ích tiềm năng của công cụ kiểm thử: giảm công việc lặp lại, tăng tính nhất quán và khả năng lặp lại của kiểm thử (mục iv), cung cấp đánh giá khách quan như số đo tĩnh, độ phủ, và dễ truy cập thông tin về kiểm thử và quá trình kiểm thử (mục i) qua thống kê, biểu đồ. Ngược lại, tài liệu này nêu rõ rủi ro là đánh giá thấp thời gian, chi phí để giới thiệu công cụ và đánh giá thấp công sức bảo trì các tài sản kiểm thử do công cụ sinh ra. Vì vậy mục ii, giảm bảo trì testware, và mục iii, dễ và rẻ để triển khai, là hai kỳ vọng sai. "ii and iv" sai vì kèm giảm bảo trì, vốn là rủi ro chứ không phải lợi ích. "ii and iii" sai vì cả hai đều là kỳ vọng phi thực tế. "i and iii" sai vì triển khai công cụ thường tốn kém và mất công, không dễ và rẻ.

Đáp án đúng: "Management". Rà soát kỹ thuật (technical review) là buổi thảo luận giữa đồng nghiệp và chuyên gia kỹ thuật nhằm đạt đồng thuận về nội dung kỹ thuật và tìm khiếm khuyết; ISTQB mô tả nó có thể thực hiện như rà soát đồng cấp (peer review) không có sự tham gia của quản lý, vì sự có mặt của quản lý khiến người tham gia ngại nêu vấn đề và dễ biến buổi rà soát thành đánh giá con người. "Analysts" là người viết hoặc hiểu sâu yêu cầu, thường tham gia rà soát kỹ thuật tài liệu yêu cầu và thiết kế. "Developers" là đồng nghiệp kỹ thuật cốt lõi, rà soát mã và thiết kế của nhau. "Testers" tham gia để kiểm tra khả năng kiểm thử và phát hiện mâu thuẫn trong sản phẩm được rà soát, cũng là thành phần kỹ thuật bình thường.

Đáp án đúng: "i, ii, iii is true and iv is false". Theo ISTQB Foundation, trưởng nhóm kiểm thử (test leader) phụ trách các việc mang tính quản lý: lập và điều chỉnh kế hoạch, làm việc với nhà cung cấp và chọn công cụ hỗ trợ kiểm thử (mục i), quyết định cái gì nên tự động hoá, đến mức nào và bằng cách nào (mục iii), theo dõi tiến độ và viết báo cáo tổng kết kiểm thử từ thông tin thu được (mục ii). Còn tạo đặc tả kiểm thử (test specifications) là việc của người kiểm thử (tester), người phân tích, thiết kế và hiện thực ca kiểm thử, nên mục iv sai. "ii,iii,iv is true and i is false" sai vì coi việc làm việc với nhà cung cấp công cụ không thuộc trưởng nhóm và gán nhầm việc viết đặc tả. "i is true and ii,iii,iv are false" bỏ sót việc viết báo cáo tổng kết và quyết định tự động hoá. "iii and iv is correct and i and ii are incorrect" vừa gán nhầm mục iv vừa bác hai việc vốn là trách nhiệm trưởng nhóm.

Đáp án đúng: "When the test completion criteria are met.". Tiêu chí hoàn thành kiểm thử (test completion criteria) được thống nhất khi lập kế hoạch và kết hợp nhiều thước đo như độ phủ, số khiếm khuyết còn mở, rủi ro còn lại, ràng buộc thời gian và chi phí; đạt được chúng là căn cứ khách quan để dừng kiểm thử. "When the specified number of faults are found" sai vì không ai biết trước phần mềm có bao nhiêu khiếm khuyết, dừng theo số lỗi đã tìm không nói gì về số lỗi còn lại. "When all high and medium priority tests are complete." chỉ là một điều kiện có thể nằm trong tiêu chí, tự nó chưa đủ vì chưa xét kết quả và khiếm khuyết còn mở. "When all statements have been executed" là phủ câu lệnh 100%, cũng chỉ là một thước đo có thể dùng trong tiêu chí, không chứng minh được hành vi đã đúng.