Tiêu chuẩn Quốc gia TCVN 12849-2:2020 ISO/IEC/IEEE 29119-2:2013 Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 2: Quy trình kiểm thử
- Thuộc tính
- Nội dung
- Tiêu chuẩn liên quan
- Lược đồ
- Tải về
Đây là tiện ích dành cho thành viên đăng ký phần mềm.
Quý khách vui lòng Đăng nhập tài khoản LuatVietnam và đăng ký sử dụng Phần mềm tra cứu văn bản.
Tiêu chuẩn Việt Nam TCVN 12849-2:2020
Số hiệu: | TCVN 12849-2:2020 | Loại văn bản: | Tiêu chuẩn Việt Nam |
Cơ quan ban hành: | Bộ Khoa học và Công nghệ | Lĩnh vực: | Nông nghiệp-Lâm nghiệp |
Ngày ban hành: | 14/07/2020 | Hiệu lực: | |
Người ký: | Tình trạng hiệu lực: | Đã biết Vui lòng đăng nhập tài khoản gói Tiêu chuẩn hoặc Nâng cao để xem Tình trạng hiệu lực. Nếu chưa có tài khoản Quý khách đăng ký tại đây! | |
TIÊU CHUẨN QUỐC GIA
TCVN 12849-2:2020
ISO/IEC/IEEE 29119-2:2013
KỸ THUẬT HỆ THỐNG VÀ PHẦN MỀM - KIỂM THỬ PHẦN MỀM - PHẦN 2: QUY TRÌNH KIỂM THỬ
Software and systems engineering - Software testing - Part 2: Test processes
Lời nói đầu
TCVN 12849-2:2020 hoàn toàn tương đương ISO/IEC/IEEE 29119-2:2013.
TCVN 12849-2:2020 do Viện Khoa học Kỹ thuật Bưu điện biên soạn, Bộ Thông tin và Truyền thông đề nghị, Tổng cục Tiêu chuẩn Đo lường Chất lượng thẩm định, Bộ Khoa học và Công nghệ công bố.
Lời giới thiệu
Mục đích của bộ tiêu chuẩn kiểm thử phần mềm TCVN 12849 (ISO/IEC/IEEE 29119) là đưa ra một mô hình quy trình chung để kiểm thử phần mềm mà có thể được sử dụng bởi bất kỳ tổ chức nào khi thực hiện bất kỳ dạng kiểm thử phần mềm nào. Bộ tiêu chuẩn này bao gồm những mô tả về quy trình kiểm thử của tổ chức, quy trình quản lý kiểm thử và quy trình kiểm thử động. Ngoài ra bộ tiêu chuẩn này còn đưa ra các sơ đồ thông tin mô tả các quy trình. Bộ tiêu chuẩn TCVN 12849 (ISO/IEC/IEEE 29119) hỗ trợ kiểm thử động, kiểm thử chức năng và kiểm thử phi chức năng, kiểm thử bằng tay và kiểm thử tự động, kiểm thử dựa trên kịch bản và kiểm thử không dựa trên kịch bản. Các quy trình được định nghĩa trong bộ tiêu chuẩn này có thể được sử dụng phù hợp với bất kỳ mô hình vòng đời phát triển phần mềm nào. Mỗi quy trình được định nghĩa đều sử dụng quy trình mẫu chung được quy định trong ISO/IEC TR 24774:2010 Kỹ thuật hệ thống và phần mềm - Quản lý vòng đời - Hướng dẫn mô tả quy trình, bao gồm: Mục đích của quy trình, kết quả, hoạt động, nhiệm vụ và đầu ra của từng quy trình.
Kiểm thử là phương pháp chính để giảm thiểu rủi ro trong phát triển phần mềm. Phần này của bộ tiêu chuẩn đi theo phương pháp kiểm thử dựa trên rủi ro. Kiểm thử dựa trên rủi ro là phương pháp thực hành tốt nhất để vạch chiến lược và quản lý kiểm thử, nó cho phép kiểm thử được ưu tiên và tập trung vào các tính năng và thuộc tính chất lượng quan trọng nhất.
Các khái niệm và từ vựng mà hỗ trợ bộ các tiêu chuẩn quốc tế này được định nghĩa trong TCVN 12849-1:2020 (ISO/IEC/IEEE 29119-1:2013) Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 1: Khái niệm và định nghĩa. Các mẫu tài liệu kiểm thử và các ví dụ về tài liệu kiểm thử được tạo ra trong quy trình kiểm thử được định nghĩa trong TCVN 12849-3:2020 (ISO/IEC/IEEE 29119-3:2013) Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 3: Tài liệu kiểm thử. Các kỹ thuật thiết kế kiểm thử phần mềm mà có thể được sử dụng trong khi kiểm thử được định nghĩa trong TCVN 12849- 4:2020 (ISO/IEC/IEEE 29119-4:2015) Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 4: Kỹ thuật kiểm thử.
Đây là bộ các tiêu chuẩn quốc tế nhằm cung cấp cho những người chịu trách nhiệm về kiểm thử phần mềm các thông tin cần thiết để quản lý và thực hiện kiểm thử phần mềm trong bất kỳ tổ chức nào.
KỸ THUẬT HỆ THỐNG VÀ PHẦN MỀM - KIỂM THỬ PHẦN MỀM - PHẦN 2: QUY TRÌNH KIỂM THỬ
Software and systems engineering - Software testing - Part 2: Test processes
1. Phạm vi áp dụng
Tiêu chuẩn này quy định các quy trình kiểm thử có thể được sử dụng để kiểm soát, quản lý và thực hiện kiểm thử phần mềm cho bất kỳ tổ chức, dự án hoặc hoạt động kiểm thử nào. Tiêu chuẩn này bao gồm những mô tả chung về quy trình kiểm thử phần mềm. Tiêu chuẩn này cũng đưa ra các sơ đồ thông tin mô tả các quy trình kiểm thử.
Tiêu chuẩn này có thể áp dụng để kiểm thử trong tất cả các mô hình vòng đời phát triển phần mềm.
Tiêu chuẩn này được áp dụng cho nhưng không giới hạn, các kỹ sư kiểm thử, người quản lý kiểm thử, các nhà phát triển và người quản lý dự án, đặc biệt là những người chịu trách nhiệm quản lý và thực hiện kiểm thử phần mềm.
2. Đánh giá sự phù hợp
2.1. Mục đích sử dụng
Các yêu cầu trong tiêu chuẩn này được đưa ra trong các Điều 6, 7 và 8. Tiêu chuẩn này cung cấp các yêu cầu đối với một số quy trình phù hợp cho việc sử dụng trong suốt vòng đời của phần mềm. Các tổ chức hoặc các dự án cụ thể có thể không cần thiết phải sử dụng tất cả các quy trình được cung cấp trong tiêu chuẩn này. Do đó, việc triển khai tiêu chuẩn này thường liên quan đến việc lựa chọn một tập các quy trình phù hợp với dự án hoặc tổ chức đó. Có hai cách triển khai mà tổ chức có thể xác nhận để phù hợp với các điều của tiêu chuẩn này.
Bất kỳ yêu cầu sự phù hợp nào được trích dẫn theo một trong hai hình thức dưới đây:
2.1.1. Sự phù hợp hoàn toàn
Sự phù hợp hoàn toàn đạt được bằng cách chứng minh rằng tất cả các yêu cầu của tập các quy trình được quy định trong tiêu chuẩn này đã được đáp ứng.
2.1.2. Sự phù hợp có sửa đổi
Khi tiêu chuẩn này được sử dụng làm cơ sở để thiết lập một tập các quy trình không đủ điều kiện về sự phù hợp hoàn toàn, thì tập con các quy trình mà đủ điều kiện về sự phù hợp có sửa đổi được xác nhận và được ghi lại. Sự phù hợp có sửa đổi đạt được bằng cách chứng minh rằng các yêu cầu đối với quy trình đó đã được đáp ứng.
Nếu cần phải sửa đổi, phải đưa ra được lý lẽ (hoặc trực tiếp hoặc tham chiếu) bất kỳ khi nào một quy trình được quy định trong các điều 6, 7 và 8 của tiêu chuẩn này không được tuân theo. Tất cả những quyết định về việc sửa đổi phải được ghi lại cùng với lý do về việc sửa đổi, kể cả việc xem xét đến nhưng rủi ro có thể áp dụng. Những quyết định về việc sửa đổi phải được các bên liên quan chấp nhận.
VÍ DỤ: Nếu các tổ chức tuân theo các quy trình quản lý hạng mục thông tin trong các tiêu chuẩn như TCVN 7420 (ISO 15489) Thông tin và tư liệu- Quản lý hồ sơ hoặc TCVN ISO 9001 Hệ thống quản lý chất lượng - Các yêu cầu hoặc sử dụng các quy trình tương tự của tổ chức, họ có thể quyết định sử dụng các quy trình đó thay thế nhiệm vụ quản lý hạng mục thông tin được quy định trong tiêu chuẩn này.
3. Tài liệu viện dẫn
Các tài liệu viện dẫn sau rất cần thiết cho việc áp dụng tiêu chuẩn này. Đối với các tài liệu viện dẫn ghi năm công bố thì áp dụng phiên bản được nêu. Đối với các tài liệu viện dẫn không ghi năm công bố thì áp dụng phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có).
TCVN 12849-1:2020 (ISO/IEC/IEEE 29119-1:2013) Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 1: Khái niệm và định nghĩa
TCVN 12849-3:2020 (ISO/IEC/IEEE 29119-3:2013) Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 3: Tài liệu kiểm thử
TCVN 12849-4:2020 (ISO/IEC/IEEE 29119-4:2015) Kỹ thuật hệ thống và phần mềm - Kiểm thử phần mềm - Phần 4: Kỹ thuật kiểm thử
TCVN 10539:2014 (ISO/IEC 12207:2008) Kỹ thuật hệ thống và phần mềm - Các quá trình vòng đời phần mềm
ISO/IEC/IEEE 24765:2017 Systems and software engineering - Vocabulary (Kỹ thuật hệ thống và phần mềm - Từ vựng).
4. Thuật ngữ và định nghĩa
Tiêu chuẩn này sử dụng các thuật ngữ và định nghĩa nêu trong ISO/IEC/IEEE 24765 và các thuật ngữ và định nghĩa dưới đây:
CHÚ THÍCH: Việc sử dụng các thuật ngữ trong tiêu chuẩn này là để tiện tham khảo và không bắt buộc phải phù hợp với tiêu chuẩn này. Các thuật ngữ và định nghĩa dưới đây được đưa ra để hỗ trợ việc nắm bắt và dễ đọc tiêu chuẩn này. Điều này chỉ bao gồm các thuật ngữ then chốt liên quan đến tiêu chuẩn này. Điều này không cung cấp một danh sách đầy đủ các thuật ngữ kiểm thử. Tiêu chuẩn ISO/IEC/IEEE 24765 Từ vựng về các hệ thống và kỹ thuật phần mềm có thể được dùng tham chiếu cho các thuật ngữ không được định nghĩa tại điều này (Nguồn tại trang web: http://www.computer.org/sevocab). Tất cả các thuật ngữ được định nghĩa trong) phần này cũng được định nghĩa trong TCVN 12849-1:2020 (ISO/IEC/IEEE 29119-1:2013), như vậy bộ tiêu chuẩn quốc tế về kiểm thử phần mềm bao gồm tất cả các thuật ngữ được sử dụng trong TCVN 12849-1:2020 (ISO/IEC/IEEE 29119-1:2013), TCVN 12849-2:2020 (ISO/IEC/IEEE 29119-2:2013), TCVN 12849-3:2020 (ISO/IEC/IEEE 29119-3:2013) và TCVN 12849-4:2020 (ISO/IEC/IEEE 29119-4:2015).
4.1.
Kết quả thực tế (actual results)
Tập các thuộc tính hoặc các điều kiện của một hạng mục kiểm thử hoặc tập các điều kiện dữ liệu liên quan hoặc môi trường kiểm thử được coi là kết quả của việc thực hiện kiểm thử.
VÍ DỤ: Đầu ra màn hình, đầu ra phần cứng, những thay đổi dữ liệu, báo cáo và các bản tin thông báo đã được gửi đi.
4.2.
Điều kiện kết thúc kiểm thử (completion criteria)
Các điều kiện trong đó các hoạt động kiểm thử được coi là kết thúc.
4.3.
Hạng mục độ bao phủ (coverage item)
Xem các hạng mục độ bao phủ kiểm thử (4.33)
4.4.
Kiểm thử động (dynamic testing)
Kiểm thử yêu cầu thực hiện mã chương trình.
4.5.
Phân vùng tương đương (equivalence partition)
Tập con các giá trị của một biến hoặc tập các biến trong một hạng mục kiểm thử hoặc tại giao diện của nó, vì thế tất cả các giá trị trong phân vùng hợp lý có thể sẽ được xử lý tương tự các hạng mục kiểm thử (tức là chúng có thể được coi là “tương đương”).
4.6.
Độ bao phủ phân vùng tương đương (equivalence partition coverage)
Tỷ lệ phân vùng tương đương xác định của một hạng mục kiểm thử được bao phủ bởi một bộ kiểm thử.
CHÚ THÍCH 1: Trong nhiều trường hợp, việc xác định các phân vùng tương đương mang tính chủ quan (đặc biệt là trong các phân vùng con của phân vùng “không hợp lệ”), do đó, việc xác định số lượng phân vùng tương đương trong một hạng mục kiểm thử không thể thực hiện được.
4.7.
Kỹ thuật phân vùng tương đương (equivalence partitioning)
Kỹ thuật thiết kế kiểm thử, trong đó các ca kiểm thử được thiết kế để thực hiện các phân vùng tương đương bằng cách sử dụng một hoặc nhiều lớp đại diện của từng phân vùng.
4.8.
Kết quả mong đợi (expected result)
Hành vi dự đoán quan sát được của hạng mục kiểm thử theo điều kiện quy định dựa trên đặc tả của nó hoặc các nguồn tài liệu khác.
4.9.
Kiểm thử thăm dò (exploratory testing)
Kiểu kiểm thử dựa trên kinh nghiệm không có kịch bản, trong đó kỹ sư kiểm thử tự thiết kế và thực hiện các kiểm thử dựa trên kiến thức của mình, thăm dò trước các hạng mục kiểm thử (bao gồm cả các kết quả kiểm thử trước đây) và phỏng đoán theo “quy tắc ngón tay cái” liên quan đến các thuộc tính phần mềm và các loại lỗi.
CHÚ THÍCH 1: Kiểm thử thăm dò tìm kiếm các thuộc tính ẩn (bao gồm cả các cơ chế ẩn) mà có thể tác động đến các thuộc tính khác của phần mềm đang được kiểm thử, vì thế nó có thể xảy ra rủi ro khiến phần mềm không đạt.
4.10.
Tập tính năng (feature set)
Tập con các hạng mục kiểm thử có thể được xử lý độc lập với các tập tính năng khác trong các hoạt động thiết kế kiểm thử tiếp theo.
CHÚ THÍCH 1: Tập này có thể là tập các tính năng dành cho hạng mục kiểm thử (tập đầy đủ các tính năng của nó) hoặc một tập con được xác định cho một mục đích cụ thể (tập tính năng về chức năng, vv).
4.11.
Báo cáo sự cố (Incident Report)
Tài liệu hướng dẫn về việc xảy ra sự cố, bản chất và tình trạng của sự cố.
CHÚ THÍCH 1: Báo cáo sự cố cũng được gọi là báo cáo bất thường, báo cáo bug, báo cáo lỗi, báo cáo các vấn đề.
4.12.
Kiểm thử hiệu năng (performance testing)
Kiểu kiểm thử được thực hiện để đánh giá mức độ mà một hạng mục kiểm thử hoàn thành chức năng được chỉ định với những ràng buộc về thời gian và tài nguyên khác.
4.13.
Quy trình kiểm thử của tổ chức (Organizational Test Process)
Quy trình kiểm thử để phát triển và quản lý các đặc tả kiểm thử của tổ chức.
4.14.
Chính sách kiểm thử của tổ chức (Organizational Test Policy)
Xem chính sách kiểm thử.
4.15.
Đặc tả kiểm thử của tổ chức (Organizational Test Specification)
Tài liệu cung cấp thông tin về kiểm thử cho một tổ chức, tức là thông tin không phải dự án cụ thể.
VÍ DỤ: Ví dụ phổ biến nhất về đặc tả kiểm thử của tổ chức là chính sách kiểm thử của tổ chức và chiến lược kiểm thử của tổ chức.
4.16.
Chiến lược kiểm thử của tổ chức (Organizational Test Strategy)
Tài liệu thể hiện các yêu cầu chung về kiểm thử được thực hiện trên tất cả các dự án trong tổ chức, nó cung cấp chi tiết cách thức thực hiện kiểm thử.
CHÚ THÍCH 1: Chiến lược kiểm thử tổ chức phải phù hợp với chính sách kiểm thử tổ chức.
CHÚ THÍCH 2: Một tổ chức có thể có nhiều chiến lược kiểm thử bao gồm các nội dung khác nhau.
4.17.
Rủi ro sản phẩm (product risk)
Rủi ro mà một sản phẩm có thể bị lỗi về mặt chức năng, chất lượng hoặc cấu trúc của nó.
4.18.
Rủi ro dự án (project risk)
Rủi ro liên quan đến việc quản lý một dự án.
VÍ DỤ: Thiếu nhân lực, thời hạn nghiêm ngặt, những yêu cầu thay đổi trong quá trình thực hiện dự án.
4.19.
Kiểm thử hồi quy (regression testing)
Kiểm thử sau khi có những sửa đổi về hạng mục kiểm thử hoặc môi trường vận hành để xác định xem liệu rằng có xuất hiện lỗi hồi quy không.
CHÚ THÍCH 1: Có đủ một tập các ca kiểm thử hồi quy phụ thuộc vào các hạng mục cần kiểm thử và phụ thuộc vào những sửa đổi đối với hạng mục kiểm thử hoặc môi trường vận hành của nó.
4.20.
Kiểm thử lại (retesting)
Thực hiện lại các ca kiểm thử mà trước đó có kết quả phản hồi “không đạt”, để đánh giá hiệu quả của việc can thiệp các hành động hiệu chỉnh.
CHÚ THÍCH 1: Kiểm thử lại thưởng được phối hợp với kiểm thử hồi quy.
CHÚ THÍCH 2: Kiểm thử lại cũng được gọi là kiểm thử xác nhận.
4.21.
Kiểm thử dựa trên rủi ro (risk-based testing)
Kiểm thử trong đó việc quản lý, lựa chọn, ưu tiên và sử dụng các hoạt động kiểm thử và nguồn lực dựa trên các kiểu và các mức rủi ro được phân tích.
4.22.
Kiểm thử khả năng bảo mật (security testing)
Kiểu kiểm thử được tiến hành để đánh giá mức độ mà hạng mục kiểm thử, thông tin và dữ liệu được bảo vệ để các hệ thống hoặc những người không có thẩm quyền không thể sử dụng, đọc hoặc sửa đổi được, chỉ các hệ thống hoặc những người có thẩm quyền mới được phép truy cập.
4.23.
Kiểm thử có kịch bản (scripted testing)
Kiểm thử được thực hiện dựa trên kịch bản kiểm thử.
CHÚ THÍCH 1: Thuật ngữ này thường được áp dụng đối với kiểm thử được thực hiện thủ công chứ không phải là thực hiện một kịch bản tự động.
4.24.
Kiểm thử tĩnh (static testing)
Kiểm thử trong đó hạng mục kiểm thử được kiểm tra dựa trên một bộ chất lượng hoặc các tiêu chí khác mà không cần thực thi mã.
VÍ DỤ: Xem xét hoặc phân tích tự động.
4.25.
Kiểm thử khả năng chịu tải (stress testing)
Kiểu kiểm thử hiệu năng được thực hiện để đánh giá thuộc tính của một hạng mục kiểm thử dưới các điều kiện đáp ứng tối đa vượt quá các yêu cầu về khả năng chịu tải dự định hoặc quy định hoặc dưới các điều kiện về nguồn lực nằm dưới các yêu cầu quy định tối thiểu.
4.26.
Cơ sở kiểm thử (test basis)
Nền tảng kiến thức được sử dụng làm cơ sở cho việc thiết kế kiểm thử và những ca kiểm thử.
CHÚ THÍCH 1: Cơ sở kiểm thử có thể là một dạng tài liệu, chẳng hạn như đặc tả yêu cầu, đặc tả thiết kế hoặc đặc tả module nhưng cũng có thể là một thỏa thuận về hành xử bắt buộc không được ghi bằng văn bản.
CHÚ THÍCH 2: Đối với kiểm thử dựa trên đặc tả, cơ sở kiểm thử được sử dụng để lựa chọn các đầu vào và kết quả mong đợi, đối kiểm thử dựa trên cấu trúc, cơ sở kiểm thử chỉ được sử dụng để lựa chọn kết quả mong đợi.
4.27.
Ca kiểm thử (test case)
Tập hợp các điều kiện tiên quyết, các đầu vào (bao gồm các hành động nếu có) và kết quả mong đợi, được phát triển để thực hiện một hạng mục kiểm thử nhằm thỏa mãn các mục tiêu kiểm thử, bao gồm việc chuẩn bị kiểm thử, xác nhận lỗi, kiểm tra chất lượng và thông tin có giá trị khác.
CHÚ THÍCH 1: Ca kiểm thử là mức đầu vào kiểm thử thấp nhất (tức là các ca kiểm thử không được tạo thành từ các ca kiểm thử khác).
4.28.
Đặc tả ca kiểm thử (Test Case Specification)
Tài liệu chứa một tập một hoặc nhiều ca kiểm thử.
4.29.
Quy trình kết thúc kiểm thử (Test Completion Process)
Quy trình quản lý kiểm thử để đảm bảo rằng tất cả tài nguyên kiểm thử hữu ích phải có sẵn để sử dụng sau này, các môi trường kiểm thử được duy trì trong điều kiện thích hợp, các kết quả kiểm thử phải được ghi lại và được gửi đến các bên liên quan.
4.30.
Báo cáo kết thúc kiểm thử (Test Completion Report)
Báo cáo tóm tắt quá trình kiểm thử đã được thực hiện.
4.31.
Điều kiện kiểm thử (test condition)
Khía cạnh có thể kiểm thử của một thành phần hoặc một hệ thống chẳng hạn như một chức năng, một tiến trình, một tính năng, thuộc tính chất lượng hoặc thành phần cấu trúc được xác định như một cơ sở để kiểm thử.
CHÚ THÍCH 1: Điều kiện kiểm thử có thể được sử dụng để lựa chọn hạng mục bao phủ kiểm thử hoặc có thể tự tạo thành hạng mục bao phủ kiểm thử.
4.32.
Độ bao phủ kiểm thử (test coverage)
Tỷ lệ (được tính theo phần trăm) một hoặc nhiều ca kiểm thử được thực hiện trên tổng số ca kiểm thử đa có.
4.33.
Hạng mục độ bao phủ kiểm thử (test coverage item)
Thuộc tính hoặc tổ hợp các thuộc tính được lựa chọn từ một hoặc nhiều điều kiện kiểm thử bằng cách sử dụng một kỹ thuật thiết kế kiểm thử cho phép đo mức độ hoàn thành của việc thực hiện kiểm thử.
4.34.
Dữ liệu kiểm thử (test data)
Dữ liệu được tạo ra hoặc được lựa chọn để thỏa mãn các yêu cầu đầu vào để thực hiện một hoặc nhiều ca kiểm thử, có thể được xác định trong kế hoạch kiểm thử, ca kiểm thử hoặc thủ tục kiểm thử.
CHÚ THÍCH 1: Dữ liệu kiểm thử có thể được lưu trữ trong các sản phẩm được kiểm thử (ví dụ, trong các mảng dữ liệu, các tập tin hoặc một cơ sở dữ liệu) hoặc có thể có sẵn hoặc được cung cấp từ các nguồn bên ngoài, chẳng hạn như các hệ thống khác, các thành phần khác của hệ thống, thiết bị phần cứng hoặc người khai thác.
4.35.
Báo cáo tính sẵn sàng dữ liệu kiểm thử (Test Data Readiness Report)
Tài liệu mô tả tình trạng của từng yêu cầu dữ liệu kiểm thử.
4.36.
Quy trình thiết kế và chuẩn bị kiểm thử (Test Design and Implementation Process)
Quy trình kiểm thử để tạo ra và xác định các ca kiểm thử và các thủ tục kiểm thử.
4.37.
Đặc tả thiết kế kiểm thử (Test Design Specification)
Tài liệu quy định các tính năng cần phải thực hiện kiểm thử và các điều kiện kiểm thử tương ứng của chúng.
4.38.
Kỹ thuật thiết kế kiểm thử (test design technique)
Các hoạt động, các khái niệm, các quy trình và các mẫu được sử dụng để xây dựng một mô hình kiểm thử mà được sử dụng để xác định các điều kiện kiểm thử cho một hạng mục kiểm thử, lựa chọn các hạng mục bao phủ kiểm thử tương ứng và sau đó tạo ra hoặc lựa chọn ca kiểm thử tương ứng.
4.39.
Môi trường kiểm thử (test environment)
Các phương tiện, phần cứng, phần mềm, phần sụn, các thủ tục và tài liệu hướng dẫn dành cho hoặc được sử dụng để thực hiện kiểm thử phần mềm.
4.40.
Báo cáo tính sẵn sàng của môi trường kiểm thử (test environment readiness report)
Tài liệu mô tả trạng thái của từng yêu cầu về môi trường kiểm thử.
4.41.
Yêu cầu về môi trường kiểm thử (Test Environment Requirements)
Mô tả các thuộc tính cần thiết của môi trường kiểm thử.
CHÚ THÍCH 1: Có thể tham khảo thông tin tất cả hoặc một số yêu cầu về môi trường kiểm thử trong chiến lược kiểm thử của tổ chức, kế hoạch kiểm thử và/hoặc đặc tả kiểm thử.
4.42.
Quy trình thiết lập môi trường kiểm thử (Test Environment Set-up Process)
Quy trình kiểm thử động để thiết lập và duy trì một môi trường kiểm thử cần thiết.
4.43.
Thực hiện kiểm thử (test execution)
Quy trình thực hiện kiểm thử trên một hạng mục kiểm thử, tạo ra kết quả thực tế.
4.44.
Nhật ký thực hiện kiểm thử (Test Execution Log)
Tài liệu ghi lại chi tiết việc thực hiện một hoặc nhiều thủ tục kiểm thử.
4.45.
Quy trình thực hiện kiểm thử (Test Execution Process)
Quy trình kiểm thử động đề thực hiện các thủ tục kiểm thử được tạo ra trong Quy trình thiết kế và chuẩn bị kiểm thử trong một môi trường kiểm thử đã được chuẩn bị và ghi lại các kết quả thực hiện.
4.46.
Quy trình báo cáo sự cố kiểm thử (Test Incident Reporting Process)
Quy trình kiểm thử động để báo cáo cho các bên liên quan những vấn đề đã được xác định trong quá trình thực hiện kiểm thử mà cần tiếp tục đưa ra hành động để khắc phục.
4.47.
Hạng mục kiểm thử (test item)
Tài liệu dự án là đối tượng kiểm thử.
VÍ DỤ: Tài liệu về hệ thống, tài liệu hạng mục phần mềm, tài liệu yêu cầu, đặc tả thiết kế, tài liệu hướng dẫn người dùng.
4.48.
Mức kiểm thử (test level)
Trường hợp cụ thể của quy trình kiểm thử con.
VÍ DỤ: Mức kiểm thử phổ biến mà có thể được khởi tạo như các quy trình kiểm thử con: kiểm thử thành phần, kiểm thử tích hợp, kiểm thử hệ thống và kiểm thử chấp nhận người dùng.
CHÚ THÍCH 1: Mức kiểm thử còn được gọi là giai đoạn kiểm thử.
4.49.
Quản lý kiểm thử (test management)
Lập kế hoạch, ước lượng, giám sát, báo cáo, kiểm soát và kết thúc các hoạt động kiểm thử.
4.50.
Quy trình quản lý kiểm thử (Test Management Process)
Quy trình kiểm thử bao gồm các quy trình con cần thiết để quản lý một dự án kiểm thử.
CHÚ THÍCH 1: Xem quy trình lập kế hoạch kiểm thử, quy trình giám sát và kiểm soát kiểm thử, quy trình kết thúc kiểm thử.
4.51.
Quy trình giám sát và kiểm soát kiểm thử (Test Monitoring and Control Process)
Quy trình quản lý kiểm thử để đảm bảo việc kiểm thử được thực hiện đúng theo đúng kế hoạch kiểm thử và theo đúng các đặc tả kiểm thử của tổ chức.
4.52.
Giai đoạn kiểm thử (test phase)
Trường hợp cụ thể của quy trình kiểm thử con.
CHÚ THÍCH 1: Giai đoạn kiểm thử đồng nghĩa với mức kiểm thử, do đó ví dụ về các giai đoạn kiểm thử tương tự mức kiểm thử (ví dụ: giai đoạn kiểm thử hệ thống/quy trình kiểm thử con).
4.53.
Kế hoạch kiểm thử (Test Plan)
Bản mô tả chi tiết các mục tiêu kiểm thử cần phải đạt được và các phương tiện và lịch trình để đạt được chúng, được đưa vào tổ chức để phối hợp các hoạt động kiểm thử cho một số hạng mục kiểm thử hoặc tập hợp các hạng mục kiểm thử.
CHÚ THÍCH 1: Một dự án có thể có nhiều hơn một kế hoạch kiểm thử, ví dụ có thể là kế hoạch kiểm thử dự án (còn được gọi là kế hoạch kiểm thử chính) bao gồm tất cả các hoạt động kiểm thử về dự án; chi tiết thêm về các hoạt động kiểm thử cụ thể có thể được định nghĩa trong một hoặc nhiều kế hoạch kiểm thử con (tức là kế hoạch kiểm thử hệ thống hoặc kế hoạch kiểm thử hiệu năng).
CHÚ THÍCH 2: Kế hoạch kiểm thử cũng có thể được viết cho các hoạt động phi dự án, ví dụ: kế hoạch kiểm thử bảo trì.
4.54.
Quy trình lập kế hoạch kiểm thử (Test Planning Process)
Quy trình quản lý kiểm thử được sử dụng để hoàn thành việc lập kế hoạch kiểm thử và triển khai các kế hoạch kiểm thử.
4.55.
Chính sách kiểm thử (Test Policy)
Tài liệu mô tả mục đích, mục tiêu, nguyên lý và phạm vi kiểm thử trong một tổ chức.
CHÚ THÍCH 1: Chính sách kiểm thử xác định kiểm thử được thực hiện là gì và nó được mong đợi sẽ đạt được những gì nhưng không đi vào chi tiết cách thức kiểm thử được thực hiện.
CHÚ THÍCH 2: Chính sách kiểm thử cung cấp một khung hướng dẫn chung để thiết lập, xem xét đánh giá và tiếp tục cải thiện các kiểm thử tổ chức.
4.56.
Thủ tục kiểm thử (test procedure)
Chuỗi các ca kiểm thử thực hiện tuần tự và mọi hành động cần thiết để thiết lập các điều kiện tiên quyết và mọi hành động ràng buộc cần phải thực hiện.
CHÚ THÍCH 1: Thủ tục kiểm thử bao gồm những hướng dẫn chi tiết về cách thức để chạy một bộ gồm một hoặc nhiều ca kiểm thử được lựa chọn để chạy liên tục, bao gồm việc thiết lập các điều kiện tiên quyết, cung cấp đầu vào và đánh giá kết quả thực tế cho từng ca kiểm thử.
4.57.
Đặc tả thủ tục kiểm thử (Test Procedure Specification)
Tài liệu quy định một hoặc nhiều thủ tục kiểm thử, nó là những tập hợp các ca kiểm thử được thực hiện cho một mục tiêu cụ thể.
CHÚ THÍCH 1: Các ca kiểm thử trong một bộ kiểm thử được liệt kê theo thứ tự yêu cầu của chúng trong thủ tục kiểm thử.
CHÚ THÍCH 2: Đặc tả thủ tục kiểm thử cũng được biết đến như một kịch bản kiểm thử thủ công. Đặc tả thủ tục kiểm thử dùng cho kiểm thử tự động thường được gọi là kịch bản kiểm thử.
4.58.
Quy trình kiểm thử (test process)
Được sử dụng để cung cấp thông tin về chất lượng của một sản phẩm phần mềm, thường bao gồm một số hoạt động được nhóm lại thành một hoặc nhiều quy trình kiểm thử con.
4.59.
Kết quả kiểm thử (test result)
Chỉ số cho biết có hoặc không có ca kiểm thử cụ thể nào đạt hoặc không đạt, tức là nếu kết quả thực tế tương ứng với kết quả mong đợi hoặc nếu kết quả thực tế lệch so với kết quả mong đợi.
4.60.
Yêu cầu kiểm thử (test requirement)
Xem điều kiện kiểm thử (4.31)
4.61.
Kịch bản kiểm thử (test script)
Đặc tả thủ tục kiểm thử dùng cho việc kiểm thử thủ công hoặc kiểm thử tự động.
4.62.
Bộ kiểm thử (test set)
Tập hợp các ca kiểm thử dùng để kiểm thử một mục tiêu kiểm thử cụ thể.
CHÚ THÍCH 1: Các bộ kiểm thử sẽ phản ánh các tập tính năng nhưng chúng có thể chứa các ca kiểm thử thay cho một số tập tính năng.
CHÚ THÍCH 2: Các ca kiểm thử thay cho một bộ kiểm thử có thể được lựa chọn dựa trên các rủi ro được xác định, cơ sở kiểm thử, kiểm thử lại và / hoặc kiểm thử hồi quy.
4.63.
Đặc tả kiểm thử (test specification)
Tài liệu hoàn chỉnh về thiết kế kiểm thử, các ca kiểm thử và các thủ tục kiểm thử cho một hạng mục kiểm thử.
CHÚ THÍCH 1: Đặc tả kiểm thử có thể được trình bày chi tiết trong một tài liệu, trong một bộ tài liệu hoặc dưới các dạng khác, ví dụ như được trình bày chi tiết trong cả các tài liệu và cơ sở dữ liệu.
4.64.
Kỹ thuật đặc tả kiểm thử (test specification technique)
Xem kỹ thuật thiết kế kiểm thử (4.38)
4.65.
Báo cáo tình trạng kiểm thử (Test Status Report)
Báo cáo cung cấp thông tin về tình trạng kiểm thử được thực hiện trong khoảng thời gian báo cáo quy định.
4.66.
Chiến lược kiểm thử (test strategy)
Một phần của kế hoạch kiểm thử mô tả phương pháp kiểm thử cho một dự án kiểm thử cụ thể hoặc một quy trình kiểm thử con hoặc các quy trình kiểm thử con.
CHÚ THÍCH 1: Chiến lược kiểm thử là một dạng khác biệt so với chiến lược kiểm thử tổ chức.
CHÚ THÍCH 2: Chiến lược kiểm thử thường mô tả một hoặc tất cả những hạng mục như: các quy trình kiểm thử con được thực hiện; kiểm thử lại hoặc kiểm thử hồi quy được sử dụng; các kỹ thuật thiết kế kiểm thử và điều kiện kết thúc kiểm thử tương ứng sẽ được sử dụng; dữ liệu kiểm thử; môi trường kiểm thử và những yêu cầu về công cụ kiểm thử; kỳ vọng về khả năng chuyển giao kiểm thử.
4.67.
Quy trình kiểm thử con (test sub-process)
Quy trình quản lý kiểm thử và quy trình kiểm thử động (và tĩnh) được sử dụng để thực hiện một mức kiểm thể cụ thể (ví dụ: kiểm thử hệ thống, kiểm thử mức chấp nhận người dùng) hoặc kiểu kiểm thử thông thường (ví dụ: kiểm thử tính dễ sử dụng, kiểm thử hiệu năng) trong phạm vi của một quy trình kiểm thử tổng thể đối với một dự án kiểm thử.
CHÚ THÍCH 1: Quy trình kiểm thử con có thể bao gồm một hoặc nhiều kiểu kiểm thử. Tùy thuộc vào mô hình vòng đời được sử dụng, quy trình kiểm thử con cũng được gọi là giai đoạn kiểm thử, mức kiểm thử hoặc các nhiệm vụ kiểm thử.
4.68.
Kỹ thuật kiểm thử (test technique)
Xem kỹ thuật thiết kế kiểm thử (4.38)
4.69.
Kiểu kiểm thử (test type)
Nhóm các hoạt động kiểm thử tập trung vào các đặc tính chất lượng cụ thể.
CHÚ THÍCH 1: Một kiểu kiểm thử có thể được thực hiện trong một quy trình kiểm thử con duy nhất hoặc có thể được thực hiện đồng thời trong một số quy trình kiểm thử con (ví dụ như kiểm thử hiệu năng được kết thúc tại quy trình kiểm thử thành phần và cũng kết thúc tại quy trình kiểm thử con hệ thống).
VÍ DỤ: Kiểm thử khả năng bảo mật, kiểm thử chức năng, kiểm thử khả năng dễ sử dụng và kiểm thử hiệu năng.
4.70.
Kiểm thử (testing)
Tập hợp các hoạt động được thực hiện để phát hiện và/ hoặc đánh giá các thuộc tính của một hoặc nhiều hạng mục kiểm thử.
CHÚ THÍCH 1: Các hoạt động kiểm thử bao gồm việc lập kế hoạch, chuẩn bị, thực hiện, báo cáo và các hoạt động quản lý kiểm thử.
5. Mô hình quy trình kiểm thử nhiều lớp
Trong tiêu chuẩn này các hoạt động kiểm thử thực hiện trong suốt vòng đời của một hệ thống phần mềm có thể được chia thành ba nhóm quy trình như trong hình 1.
Mỗi một quy trình con trong mô hình này bao gồm: Mục đích của quy trình, kết quả thu được, các hoạt động và nhiệm vụ cần phải thực hiện trong quy trình.
Hình 1 - Các quy trình kiểm thử nhiều lớp
Mục đích của từng quy trình trong mô hình:
a) Quy trình kiểm thử của tổ chức (điều 6)
(1) Định nghĩa một quy trình để tạo và duy trì các đặc tả kiểm thử của tổ chức như các chính sách, chiến lược, quy trình, thủ tục và các vấn đề liên quan đến hoạt động kiểm thử của tổ chức.
b) Quy trình quản lý kiểm thử (điều 7)
(1) Định nghĩa các quy trình để quản lý kiểm thử toàn bộ dự án hoặc trong bất kỳ giai đoạn kiểm thử nào (ví dụ: kiểm thử hệ thống) hoặc các kiểu kiểm thử (ví dụ: kiểm thử hiệu năng) trong một dự án kiểm thử (quản lý kiểm thử dự án, quản lý kiểm thử hệ thống và quản lý kiểm thử hiệu năng).
(2) Các quy trình quản lý kiểm thử bao gồm:
i) Quy trình lập kế hoạch kiểm thử (điều 7.2);
ii) Quy trình kiểm soát và giám sát kiểm thử (điều 7.3);
iii) Quy trình kết thúc kiểm thử (điều 7.4)
c) Quy trình kiểm thử động (điều 8)
1) Định nghĩa các quy trình chung để thực hiện kiểm thử động. Kiểm thử động có thể được thực hiện ở bất kỳ giai đoạn kiểm thử nào (ví dụ: kiểm thử đơn vị, kiểm thử tích hợp, kiểm thử hệ thống, kiểm thử chấp nhận) hoặc một kiểu kiểm thử cụ thể (ví dụ: kiểm thử hiệu năng, kiểm thử bảo mật và kiểm thử chức năng) trong một dự án.
2) Các quy trình kiểm thử động bao gồm:
i) Quy trình thiết kế và chuẩn bị kiểm thử (điều 8.2)
ii) Quy trình thiết lập và duy trì môi trường kiểm thử (điều 8.3)
iii) Quy trình thực hiện kiểm thử (điều 8.4);
iv) Quy trình báo cáo sự cố kiểm thử (điều 8.5)
CHÚ THÍCH: Trong IEEE 1012, quy trình kiểm thử động được xem như là “quy trình kiểm thử”
Hình 2 - Mô hình đa lớp hiển thị tất cả quy trình kiểm thử
6. Quy trình kiểm thử của tổ chức
6.1. Giới thiệu
Quy trình kiểm thử của tổ chức được sử dụng để triển khai và quản lý các tài liệu đặc tả kiểm thử của tổ chức. Những đặc tả này thường được dùng trong toàn bộ tổ chức (tức là không phải đặc tả dựa trên dự án). Chính sách kiểm thử và chiến lược kiểm thử của tổ chức là những ví dụ về đặc tả kiểm thử của tổ chức. Quy trình kiểm thử của tổ chức thường chỉ mang tính chung chung và có thể được sử dụng để triển khai và quản lý các tài liệu kiểm thử cụ thể phi dự án, chẳng hạn như chiến lược kiểm thử có thể áp dụng cho một số dự án liên quan.
Chính sách kiểm thử của tổ chức là một tài liệu liên quan đến việc quản lý và thực hiện các kế hoạch, nó mô tả mục đích, mục tiêu và phạm vi tổng thể của quá trình kiểm thử trong một tổ chức. Nó cũng đưa ra các thực hành kiểm thử của tổ chức và cung cấp một khuôn mẫu để thiết lập, xem xét đánh giá và cải tiến liên tục chính sách, chiến lược kiểm thử của tổ chức và phương pháp để lập kế hoạch quản lý kiểm thử.
Chiến lược kiểm thử của tổ chức là một tài liệu kỹ thuật chi tiết định nghĩa cách thức thực hiện kiểm thử trong tổ chức. Đây là một tài liệu chung cung cấp các hướng dẫn cho một số dự án trong tổ chức và nó không phải là tài liệu cụ thể phi dự án.
Hình 3 minh họa quy trình kiểm thử tiêu biểu của tổ chức, quy trình này được áp dụng để tạo và duy trì chính sách kiểm thử và chiến lược kiểm thử của tổ chức. Theo như minh họa trong hình 3, hai quy trình của kiểm thử tổ chức có sự tác động qua lại với nhau. Chiến lược kiểm thử của tổ chức cần phải phù hợp với chính sách kiểm thử của tổ chức và tác động tới chính sách kiểm thử của tổ chức để cải tiến chính sách cho phù hợp với tổ chức. Tương tự như vậy, các quy trình thực hiện kiểm thử của tổ chức sử dụng trong mỗi dự án cần phải phù hợp với chiến lược (và chính sách) kiểm thử của tổ chức. Các phản hồi thu được từ việc quản lý các dự án này sẽ được sử dụng để cải tiến quy trình kiểm thử của tổ chức và duy trì các đặc tả kiểm thử của tổ chức.
Hình 3 - Ví dụ về việc thực hiện quy trình kiểm thử của tổ chức
6.2. Quy trình kiểm thử của tổ chức
6.2.1. Tổng quan
Quy trình kiểm thử của tổ chức bao gồm các hoạt động tạo ra, xem xét và duy trì các đặc tả kiểm thử của tổ chức. Nó cũng bao gồm việc giám sát sự tuân thủ đặc tả của tổ chức (xem hình 4).