Tiêu chuẩn Quốc gia TCVN 11698-2:2016 ISO/TS 20282-2:2013 Tính khả dụng của các sản phẩm tiêu dùng và các sản phẩm sử dụng công cộng-Phần 2: Phương pháp thử nghiệm tổng thể

TIÊU CHUẨN QUỐC GIA

TCVN 11698-2:2016

ISO/TS 20282-2:2013

TÍNH KHẢ DỤNG CỦA CÁC SẢN PHẨM TIÊU DÙNG VÀ CÁC SẢN PHẨM SỬ DỤNG CÔNG CỘNG - PHẦN 2: PHƯƠNG PHÁP THỬ NGHIỆM TỔNG THỂ

Usability of consumer products and products for public use - Part 2: Summative test method

Lời nói đầu

TCVN 11698-2:2016 hoàn toàn tương đương với ISO/TS 20282-2:2013.

TCVN 11698-2:2016 do Ban kỹ thuật tiêu chuẩn quốc gia TCVN/TC 159 Ecgônômi biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng thẩm định, Bộ Khoa học và Công nghệ công bố.

Bộ tiêu chuẩn TCVN 11698 (ISO 20282) gồm các phần sau:

- TCVN 11698-1:2016 (ISO 20282-1:2006), Tính dễ vận hành của các sản phẩm hằng ngày - Phần 1: Yêu cầu thiết kế đối với tình huống sử dụng và đặc tính người sử dụng;

- TCVN 11698-2:2016(ISO/TS 20282-2:2013), Tính khả dụng của sản phẩm tiêu dùng và các sản phẩm sử dụng công cộng - Phần 2: Phương pháp thử nghiệm tổng thể.

Lời giới thiệu

Nhiều người nhận thấy một số sản phẩm tiêu dùng và sản phẩm có thể sử dụng ngay, bao gồm các sản phẩm tiêu dùng được cung cấp sử dụng công cộng, khó cài đặt và sử dụng, đặc biệt khi sử dụng lần đầu tiên hoặc sử dụng không thường xuyên. Đối với những nhà sản xuất ra các sản phẩm trên, các tổ chức sử dụng các sản phẩm để cung cấp dịch vụ, và những người sử dụng thì điều này là hoàn toàn không được mong đợi. Do vậy, thông tin về tính khả dụng của một sản phẩm có giá trị to lớn đối với các nhà sản xuất, như một phần của sự phát triển và tiếp thị, và cho nhà cung cấp dịch vụ, cho các khách hàng tiềm năng là người sẽ đưa ra quyết định mua hoặc so sánh các sản phẩm khác nhau. Điều này sẽ tạo ra sự khích lệ trong việc sản xuất các sản phẩm dễ dàng cài đặt và sử dụng hơn, đồng thời cho phép các khách mua tiềm năng lưu tâm đặc biệt tới tính khả dụng khi lựa chọn một sản phẩm để mua và sử dụng. Thật khó để đánh giá tính khả dụng trong một tình huống mua sắm mà không có sẵn những kết quả kiểm tra tính khả dụng mang tính chất so sánh.

Tính khả dụng (xem TCVN 7318 [ISO 9241-11]) là một sự mở rộng mà với nó một sản phẩm có thể được sử dụng bởi những người sử dụng riêng biệt để đạt được những mục tiêu riêng biệt với hiệu quả, hiệu suất và sự thỏa mãn trong một tình huống sử dụng riêng biệt. Hiệu quả là nền tảng để đạt được (các) mục tiêu dự kiến. Hiệu suất đề cập tới các nguồn lực (như thời gian hay nỗ lực) cần để người sử dụng đạt được các mục tiêu, do vậy cũng rất quan trọng. Ngoài ra, việc người sử dụng thỏa mãn với trải nghiệm của mình cũng rất quan trọng, đặc biệt khi người sử dụng cân nhắc liệu có nên sử dụng một sản phẩm hay không và có thể sẵn sàng chọn phương thức khác để đạt được các mục tiêu của họ. Trong tiêu chuẩn này, khả năng tiếp cận được thao tác hóa như một lĩnh vực mà ở đó một sản phẩm có thể được sử dụng hiệu quả, đem lại hiệu suất và đạt được sự thỏa mãn bởi một tập hợp người với một phạm vi rộng nhất các đặc điểm và năng lực để đạt được một mục tiêu xác định trong một tình huống sử dụng cụ thể.

Tính khả dụng và/hoặc khả năng tiếp cận kém có thể tạo ra sai số và dẫn đến một số dạng rủi ro, ví dụ: sự bất tiện do không đạt được mục tiêu hoặc sai mục tiêu, gánh chịu những chi phí không mong muốn hoặc thương tích thân thể. Tại nhiều quốc gia, có các quy định pháp luật để cung cấp các sản phẩm, dịch vụ và cơ sở vật chất có thể tiếp cận được.

VÍ DỤ: Gọi nhầm di động cho một người có thể đem lại hậu quả tiêu cực về chi phí cho cuộc gọi không mong muốn cũng như đối với người gọi điện và người được gọi (là người có thể phải thanh toán phí cho cuộc gọi).

Ngoài những rủi ro gây ra hậu quả có tác hại tiềm ẩn đối với người sử dụng khi không đạt được mục tiêu hoặc sai mục tiêu (hiệu quả kém), thì còn có những rủi ro khác như bị trễ do hiệu suất kém hoặc người sử dụng tránh dùng một sản phẩm khó sử dụng do sự thỏa mãn thu lại quá thấp.

Đánh giá mẫu sử dụng phương pháp kiểm tra chuyên môn hoặc thử nghiệm dựa trên người sử dụng để đưa ra phản hồi nhằm tăng cường tính khả dụng của sản phẩm, là một phần không thể thiếu của quá trình thiết kế lặp lấy con người làm trung tâm được khuyến nghị trong tiêu chuẩn ISO 9241-210.

Đánh giá tổng thể có thể được dùng để công nhận tính khả dụng và/hoặc các yêu cầu về khả năng tiếp cận, cung cấp mốc chuẩn, hoặc cung cấp một nền tảng cho việc so sánh giữa các sản phẩm khác nhau. Mặc dù một số dạng của phương pháp kiểm tra chuyên môn căn cứ trên danh mục kiểm tra hoặc tiêu chuẩn có thể đưa ra được dữ liệu tổng thể, nhưng các mặt về tính khả dụng và/hoặc khả năng tiếp cận đo được là hạn chế nếu so sánh với các phương pháp đo đạc về hiệu quả, hiệu suất và sự thỏa mãn có được nhờ việc thử nghiệm dựa trên người sử dụng.

VÍ DỤ: Một nghiên cứu phát hiện ra rằng chỉ có 50 % những vấn đề gặp phải trên 16 trang web bởi 32 người sử dụng bị khiếm thị được bao quát bởi Các tiêu trí Thành Công trong Hướng dẫn Truy nhập Nội dung Trang web (WCAG 2.0). [23].

Việc kiểm tra có thể thực hiện trước khi tiến hành thử nghiệm căn cứ trên người sử dụng để nhận diện (và nếu được, tính toán) những vấn đề dễ dàng xác định và kiểm tra sản phẩm có khả năng đạt được những mục tiêu dự kiến đối với những người sử dụng dự kiến hay không (xem 7.4).

Để cung cấp dữ liệu đáng tin cậy về hiệu quả, hiệu suất và sự thỏa mãn, là những dữ liệu có thể so sánh, tốt nhất nên có một quy trình thử nghiệm tổng thể theo tiêu chuẩn dựa trên người sử dụng. Tiêu chuẩn này xác định phương pháp thử nghiệm tổng thể dựa trên người sử dụng là phương pháp có thể được sử dụng để cung cấp đánh giá về giá trị của tính khả dụng và/hoặc khả năng tiếp cận và dễ dàng mở đóng gói, thiết lập và cài đặt các sản phẩm tiêu dùng, tính khả dụng, và/hoặc khả năng tiếp cận của các sản phẩm sử dụng công cộng (bao gồm cả những sản phẩm có thể sử dụng được ngay), có thể áp dụng cho những sản phẩm được sử dụng để đạt được các mục tiêu với những tiêu chí thành công rõ ràng và liên quan tới những dạng chủ đề được xác định rõ ràng.

Đặc điểm kỹ thuật TCVN 11698-2 (ISO/TS 20282-2) mô tả chi tiết các nguồn khác nhau về đặc điểm người sử dụng, phần nào hình thành nên tình huống sử dụng cần được tính đến khi thiết kế tính khả dụng. Thông tin này cần thiết để nhận diện các thành tố của tình huống sử dụng được yêu cầu thử nghiệm tại tiêu chuẩn này. Thông tin chi tiết về những đặc điểm của người cao tuổi và người khuyết tật có thể tham khảo tại ISO/TR 22411.

TÍNH KHẢ DỤNG CỦA CÁC SẢN PHẨM TIÊU DÙNG VÀ CÁC SẢN PHẨM SỬ DỤNG CÔNG CỘNG - PHẦN 2: PHƯƠNG PHÁP THỬ NGHIỆM TỔNG THỂ

Usability of consumer products and products for public use - Part 2: Summative test method

1  Phạm vi áp dụng

Tiêu chuẩn này chỉ rõ phương pháp thử nghiệm tổng thể dựa trên người sử dụng để đo đạc tính khả dụng và/hoặc khả năng tiếp cận các sản phẩm tiêu dùng sử dụng công cộng (bao gồm cả những sản phẩm có thể sử dụng được ngay) dành cho một hoặc nhiều nhóm người sử dụng đặc thù. Phương pháp thử nghiệm này coi khả năng tiếp cận như một trường hợp đặc biệt về tính khả dụng, nơi người sử dụng tham gia vào việc thử nghiệm đại diện cho các cực trị của phạm vi về đặc điểm và khả năng của tập hợp người sử dụng thông thường. Khi phương pháp thử nghiệm liên quan đến tính khả dụng, thì phương pháp này cũng có thể được sử dụng để thử nghiệm khả năng tiếp cận (trừ khi phương pháp khác được chỉ rõ).

Phương pháp thử nghiệm này sử dụng khi cần những phương pháp có cơ sở và đáng tin cậy để xác định hiệu quả, hiệu suất và sự thỏa mãn.

CHÚ THÍCH 1: Các sản phẩm sử dụng công cộng bao gồm các sản phẩm có thể sử dụng được ngay, cung cấp dịch vụ cho công chúng.

Phương pháp thử nghiệm cũng có thể được sử dụng để đánh giá tính khả dụng và/hoặc khả năng tiếp cận để đạt được các mục tiêu mở đóng gói, cài đặt và thiết lập một sản phẩm tiêu dùng.

Tiêu chuẩn này được sử dụng cho việc thử nghiệm tính khả dụng và/hoặc khả năng tiếp cận các sản phẩm khi:

- Có thể nhận diện các tình huống sử dụng điển hình, đại diện cho hoạt động sử dụng của (các) sản phẩm.

- Có thể nhận diện các tiêu chí nhằm đạt được mục tiêu của người sử dụng một cách thành công, và

- Có một số hữu hạn các mục tiêu được thử nghiệm đồng thời.

Trong khi phương pháp thử nghiệm nhằm mục đích kiểm tra các sản phẩm tiêu dùng và các sản phẩm sử dụng công cộng, thì nó cũng có thể được sử dụng để kiểm tra các sản phẩm, hệ thống và dịch vụ khác với những đặc điểm được mô tả như trên.

Nếu việc sử dụng một sản phẩm bao gồm sự tương tác với các đầu vào, đầu ra hoặc môi trường, hoàn toàn khác biệt và/hoặc phức tạp với sự khác biệt hoặc phức tạp không thể phân loại được trong các tập con rõ ràng, thì sản phẩm sẽ nằm ngoài phạm vi vì không thể đạt được những mục tiêu đáng tin cậy. Xem Phụ lục A đề cập đến những ví dụ về các sản phẩm và mục tiêu nằm trong phạm vi tại tiêu chuẩn này.

VÍ DỤ: Phương pháp có thể được áp dụng đối với một máy phô tô tài liệu tại văn phòng, một trang mạng chuyên bán sách hoặc vé tàu hỏa, hoặc một dịch vụ tư vấn luật. Phương pháp sẽ không phù hợp đối với một trang mạng thương mại điện tử phức tạp, một bộ xử lý từ ngữ hoặc một chiếc xe đạp.

Phương pháp nhằm mục đích chủ yếu là sử dụng để đánh giá các phiên bản đã hoàn thiện của sản phẩm, nhưng cũng có thể được sử dụng cho các mục đích nội bộ trong suốt quá trình phát triển để phán đoán, đánh giá và thông tin về tính khả dụng và/hoặc khả năng đánh giá về các phiên bản chức năng nguyên mẫu.

Kết quả của phương pháp thử nghiệm tổng thể có thể được sử dụng cho những mục đích sau:

- Đánh giá khả năng đạt được các giá trị mục tiêu của hiệu quả, hiệu suất và sự thỏa mãn trong việc sử dụng thực tế;

- Công bố thông tin về tính khả dụng và/hoặc khả năng tiếp cận của một sản phẩm;

- So sánh tính khả dụng và/hoặc khả năng tiếp cận của một vài sản phẩm;

- So sánh kết quả với một tính khả dụng và/hoặc đặc điểm các yêu cầu khả năng tiếp cận;

- Hỗ trợ hoạt động mua bán.

CHÚ THÍCH 2: Phụ lục H lập danh sách thông tin liên quan khi xác định quy trình được sử dụng để thử nghiệm tính khả dụng và/ hoặc khả năng tiếp cận [Phụ lục G] có đáp ứng yêu cầu không.

Người sử dụng dự kiến tại tiêu chuẩn này là những người có chuyên môn trong thiết kế và quản lý hoạt động thử nghiệm tính khả dụng và/hoặc khả năng tiếp cận, làm việc trong phạm vi hoặc thay mặt các nhà sản xuất, nhà cung cấp, các tổ chức thu mua hoặc các bên thứ ba (ví dụ: các tổ chức thử nghiệm hoặc các tổ chức của người tiêu dùng).

2  Tính tuân thủ

Một báo cáo về các giá trị dành cho tính khả dụng và/hoặc khả năng tiếp cận của một sản phẩm là tuân thủ theo tiêu chuẩn này nếu:

- Phương pháp thử nghiệm được sử dụng tuân thủ theo các yêu cầu tại Điều 6, 7, 8 và 9 và các Phụ lục C và D, và

- Báo cáo về những kết quả bao gồm thông tin được chỉ rõ tại Phụ lục F.

Văn bản trình bày các yêu cầu đối với kết quả về tính khả dụng tuân thủ theo tiêu chuẩn này nếu nó tuân thủ theo các yêu cầu tại Phụ lục G.

Đặc điểm về một quy trình thử nghiệm tính khả dụng tuân thủ theo tiêu chuẩn này nếu nó tuân thủ theo các yêu cầu tại Phụ lục H.

3  Tài liệu viện dẫn

Các tài liệu viện dẫn sau rất cần thiết cho việc áp dụng tiêu chuẩn này. Đối với các tài liệu viện dẫn ghi năm công bố thì áp dụng phiên bản được nêu. Đối với các tài liệu viện dẫn không ghi năm công bố thì áp dụng phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có).

TCVN 11698-1:2016 (ISO 20282-1:2006), Tính dễ vận hành của các sản phẩm hằng ngày - Phần 1: Yêu cầu thiết kế đối với tình huống sử dụng và đặc tính người sử dụng.

4  Thuật ngữ và định ngữ

Trong tiêu chuẩn này sử dụng các thuật ngữ và định nghĩa sau

4.1

Khả năng tiếp cận (accessibility)

Phạm vi mà trong đó các sản phẩm, hệ thống, dịch vụ, môi trường và cơ sở vật chất có thể được sử dụng bởi những người từ một quần thể dân cư trong phạm vi rộng về đặc điểm và năng lực để đạt được mục tiêu trong một tình huống sử dụng xác định

CHÚ THÍCH: Tình huống sử dụng bao gồm việc sử dụng trực tiếp hoặc việc sử dụng được hỗ trợ bởi các công nghệ hỗ trợ.

[ISO 26800:2011, 2.1]

CHÚ THÍCH: Khi tiến hành một phương pháp đo tổng thể dựa trên người sử dụng về khả năng tiếp cận, cả ba thành tố của tính khả dụng (hiệu quả, hiệu suất và thỏa mãn) cần được tính đến.

4.2

Người sử dụng thực tế (actual users)

(Các) nhóm người trực tiếp tương tác với sản phẩm

CHÚ THÍCH: Trước khi một sản phẩm được công bố, đây là nhóm sử dụng dự kiến, và sau khi được công bố thì dựa trên những gì đã biết về nhóm người sử dụng thực tế.

[TCVN 11698-1:2016 (ISO 20282-1:2016), 3.1]

4.3

Sản phẩm tiêu dùng (consumer product)

Sản phẩm dự kiến được mua và được sử dụng bởi một cá nhân cho mục đích cá nhân hơn là mục đích nghề nghiệp

[TCVN 11698-1:2016 (ISO 20282-1:2006), 3.2]

4.4

Tình huống đánh giá (context of evaluation)

Người sử dụng, nhiệm vụ, thiết bị (phần cứng, phần mềm và tài liệu), và môi trường vật lý và xã hội mà tại đó một sản phẩm được đánh giá

[TCVN 11698-1:2016 (ISO 20282-1:2006), 4.3]

4.5

Tình huống sử dụng (context of use)

Người sử dụng, nhiệm vụ, thiết bị (phần cứng, phần mềm và tài liệu), và môi trường vật lý và xã hội mà tại đó một sản phẩm được sử dụng

(TCVN 7318-11:2015 (ISO 9241-11:1998), 3.5]

4.6

Tính dễ tương tác (ease of interaction)

Tính khả dụng của việc tương tác với giao diện người sử dụng của một sản phẩm

CHÚ THÍCH: Tính dễ tương tác là hiệu quả, hiệu suất và độ thỏa mãn mà với chúng người sử dụng có thể tương tác thành công với giao diện của sản phẩm.

4.7

Hiệu quả (effectiveness)

Độ chính xác và hoàn thiện mà với nó người sử dụng đạt được những mục tiêu xác định

[TCVN 7318-11:2015 (ISO 9241-11:1998), 3.2]

4.8

Hiệu suất (efficiency)

Tài nguyên đã được sử dụng liên quan đến độ chính xác và hoàn thiện mà với nó người sử dụng đạt được các mục tiêu

[TCVN 7318-11:2015 (ISO 9241-11:1998), 3.2]

4.9

Đánh giá mẫu (formative evaluation)

Đánh giá được thiết kế và sử dụng nhằm cải thiện đối tượng của việc đánh giá, đặc biệt khi đối tượng đó vẫn đang được phát triển

[ISO/TR 18152:2010, 4.6]

CHÚ THÍCH: Phương pháp thử nghiệm mẫu được sử dụng để thực hiện việc đánh giá mẫu.

4.10

Mục tiêu (goal)

Đầu ra dự kiến

[TCVN 7318-11:2015 (ISO 924-11:1998), 3.8]

CHÚ THÍCH: Một mục tiêu được xác định độc lập về chức năng được sử dụng để đạt tới mục tiêu đó.

4.11

Người sử dụng dự kiến (intended users)

(Các) nhóm người mà một sản phẩm được thiết kế phục vụ nhóm người đó

CHÚ THÍCH: Trong nhiều trường hợp, tập hợp người sử dụng thực tế khác biệt so với người sử dụng nguyên bản mà nhà sản xuất dự tính. Nhóm người sử dụng dự kiến dựa trên những tính toán thực tế về việc xác định ai sẽ là những người sử dụng sản phẩm trong thực tế.

[TCVN 11698-1:2016 (ISO 20282-1:2006), 4.12]

4.12

Tương tác (interaction)

Trao đổi thông tin hai chiều giữa người sử dụng và thiết bị

[IEC/TR 61997:2001, 3.4]

CHÚ THÍCH 1: Thiết bị bao gồm cả phần cứng và phần mềm.

CHÚ THÍCH 2: Trao đổi thông tin có thể bao gồm các hành động thể chất, nhận được từ phản hồi giác quan.

4.13

Mục tiêu chính (main goal (s))

(Các) mục tiêu thường xuyên và quan trọng nhất mà toàn bộ hoặc phần lớn người sử dụng đều muốn đạt được khi sử dụng một sản phẩm

[TCVN 11698-1:2016 (ISO 20282-1:2006), 3.14]

CHÚ THÍCH 1: Các mục tiêu chính có thể dựa trên đạt việc được những mục tiêu nhỏ.

CHÚ THÍCH 2: Những ví dụ về các mục tiêu chính được giới thiệu tại Phụ lục A.

4.14

Sự thỏa mãn (satisfaction)

Trạng thái không còn cảm giác khó chịu, và có thái độ tích cực khi sử dụng một sản phẩm.

[TCVN 7318-11:2015 (ISO 924-11:1998), 3.4]

4.15

Mẫu phân tầng (stratified sample)

Mẫu thiết lập bởi một quy trình trong đó dân số được chia thành các tiểu quần thể (tầng), mỗi một tầng ứng với một số lượng quy định của cá nhân được chọn ngẫu nhiên.

[ISO 15535:2006, 3.4]

4.16

Tỷ lệ thành công (success rate)

<tính khả dụng> phần trăm người sử dụng đạt được mục tiêu thành công

4.17

Đánh giá tổng thể (summative evaluation)

Đánh giá được thiết kế để trình bày những kết luận về giá trị hay sự xứng đáng của đối tượng được đánh giá

CHÚ THÍCH 1: Những kết quả có thể được sử dụng để đưa ra các khuyến nghị về việc liệu có cần ghi nhớ, sửa đổi hoặc xóa bỏ.

CHÚ THÍCH 2: Có thể thiết kế một phương pháp để cung cấp một đánh giá kết hợp giữa mẫu và tổng thể.

CHÚ THÍCH 3: Phương pháp thử nghiệm khả thi được sử dụng để thực hiện một đánh giá tổng thể.

[ISO/TS 18152:2010, 4.10, sửa đổi - Tài liệu tham khảo cho các khuyến nghị đã được lược bỏ và những CHÚ THÍCH cho các mục đã được bổ sung.]

4.18

Nhiệm vụ (task)

Các hoạt động được yêu cầu để đạt được một mục tiêu.

CHÚ THÍCH 1: Những hoạt động có thể là về thể lực hoặc về nhận thức.

[TCVN 7318-11:2015 (ISO 9241-11:1998), 3.9]

4.19

Tính khả dụng (usability)

Phạm vi mà tại đó một hệ thống, sản phẩm, hoặc dịch vụ có thể được sử dụng bởi những người sử dụng xác định để đạt được những mục tiêu xác định với sự hiệu quả, hiệu suất và sự thỏa mãn trong một tình huống sử dụng xác định.

[ISO 9241-210:2010, 2.13]

CHÚ THÍCH 1: tham khảo thuật ngữ “tính khả dụng” trong phần mô tả phương pháp thử dựa trên người sử dụng bao gồm việc áp dụng các phương pháp thử khả năng tiếp cận (trừ khi có quy định khác)

4.20

Yêu cầu về tính khả dụng (usability requirement)

Mức độ yêu cầu về tính khả dụng được thể hiện bằng các phép đo hiệu quả, hiệu suất và sự thỏa mãn trong một tình huống sử dụng xác định

4.21

Thử nghiệm tính khả dụng (usability testing)

Việc đánh giá bao gồm những người sử dụng đại diện thực hiện những nhiệm vụ xác định cùng với hệ thống cho phép tiến hành việc đo đạc hiệu quả, hiệu suất và sự thỏa mãn.

[ISO/IEC 25060, 2.17]

4.22

Người sử dụng (user)

Người tương tác với một hệ thống, sản phẩm hoặc dịch vụ

CHÚ THÍCH: người sử dụng một dịch vụ được cung cấp bởi một hệ thống công việc, ví dụ như: một khách hàng trong một cửa hàng hoặc một hành khách trên chuyến tàu, có thể được coi là người sử dụng.

[ISO 26800:2011, 2.10, sửa đổi - CHÚ THÍCH 1 và CHÚ THÍCH 3 đã được xóa bỏ]

4.23

Các đặc điểm của người sử dụng (user characteristics)

Những thuộc tính của người sử dụng cũng có thể ảnh hưởng đến tính khả dụng

[TCVN 11698-1:2016 (ISO 20282-1:2006), 3.20, sửa đổi - Từ “có thể - can” đã được thay thế bằng “cũng có thể - could”.]

4.24

Nhóm người sử dụng (user group)

<tính khả dụng> nhóm những người sử dụng phân biệt bởi đặc điểm của người sử dụng, nhiệm vụ hoặc môi trường được kỳ vọng ảnh hưởng tới tính khả dụng

CHÚ THÍCH: Nhóm này có thể gồm nhóm người sử dụng dự kiến và nhóm người sử dụng thử nghiệm.

4.25

Giao diện người sử dụng (user interface)

Các cấu kiện của một sản phẩm được sử dụng để điều khiển và nhận thông tin về trạng thái của sản phẩm đó

CHÚ THÍCH: Một danh sách các hướng dẫn vận hành được hiển thị cố định trên sản phẩm là một phần của giao diện người sử dụng.

VÍ DỤ: Giao diện người sử dụng của một vòi tắm là mức điều khiển nước, tại nơi chuyển động của cần gạt điều khiển nhiệt độ của nước và vị trí của cần gạt thông báo nhiệt độ tới người sử dụng.

[TCVN 11698-1:2016 (ISO 20282-1:2006), 3.21, sửa đổi - Cụm từ “sự tương tác cho phép người sử dụng dùng nó cho mục đích dự kiến của tương tác đó” đã được xóa bỏ.]

4.26

Thử nghiệm nhóm người sử dụng/Nhóm thử nghiệm người sử dụng (user test group)

Nhóm người được chọn để tham gia vào việc kiểm tra tính khả dụng, được thử nghiệm dựa theo những yêu cầu xác định

4.27

Sản phẩm có thể sử dụng được ngay (walk-up-and-use product)

Sản phẩm cung cấp một dịch vụ cho công chúng

CHÚ THÍCH: Các sản phẩm có thể sử dụng được ngay được thiết kế cho phép người sử dụng tiếp cận và sử dụng sản phẩm thành công mà không cần có kinh nghiệm trước.

5  Các nguyên lý chung

5.1  Dạng thức sử dụng của sản phẩm được thử nghiệm

Phương pháp thử nghiệm dựa trên người sử dụng có thể được dùng để đo tính khả dụng và khả năng tiếp cận trong việc:

- mở đóng gói, cài đặt và thiết lập các sản phẩm tiêu dùng,

- sử dụng các sản phẩm tiêu dùng,

- các sản phẩm sử dụng công cộng, bao gồm các sản phẩm có thể sử dụng được ngay, cung cấp một dịch vụ cho công chúng, và

- các sản phẩm khác được sử dụng để đạt được những mục tiêu có các tiêu chí thành công rõ ràng và liên quan đến các dạng chính được xác định rõ.

CHÚ THÍCH: Khả năng tiếp cận là đặc biệt quan trọng đối với các sản phẩm có thể sử dụng được ngay và các sản phẩm tiêu dùng được cung cấp cho mục đích công cộng.

Phương pháp thử nghiệm đo đạc hiệu quả, hiệu suất và sự thỏa mãn khi được dùng bởi những nhóm người sử dụng xác định trong những tình huống sử dụng riêng biệt. Khả năng tiếp cận được đo bằng phạm vi mà tại đó các sản phẩm, hệ thống, dịch vụ, môi trường và cơ sở vật chất có thể được sử dụng bởi những người từ một tập hợp dân số với các đặc điểm và khả năng ở phạm vi rộng nhất để đạt được một mục tiêu xác định trong một tình huống sử dụng riêng biệt.

5.2  Mục đích của việc thử nghiệm

Tiêu chuẩn này có thể được các nhà sản xuất sản phẩm sử dụng nhằm:

a) thử nghiệm sản phẩm đơn lẻ để xác định xem tính khả dụng và/hoặc khả năng tiếp cận đã được đáp ứng,

b) thử nghiệm sản phẩm đơn lẻ để cung cấp bằng chứng về tính khả dụng và/hoặc khả năng tiếp cận của một sản phẩm cho một người sử dụng hoặc vì mục đích tiếp thị,

c) thử nghiệm sản phẩm đơn lẻ để thiết lập một điểm chuẩn mà các sản phẩm tương lai có thể đối chiếu so sánh,

d) so sánh giữa các sản phẩm khác nhau,

e) so sánh giữa các phiên bản của cùng một sản phẩm, và

f) chỉ rõ những yêu cầu về tính khả dụng và/hoặc khả năng tiếp cận đối với một sản phẩm được phát triển [Phụ lục G] và các tình huống để sử dụng khi thử nghiệm xem liệu các yêu cầu có được đáp ứng [Phụ lục H].

Tiêu chuẩn này có thể được sử dụng cho việc cung ứng bởi doanh nghiệp hoặc những người mua sản phẩm nói chung để:

a) thử nghiệm một sản phẩm đơn lẻ nhằm quyết định xem sản phẩm đó có đáp ứng những yêu cầu về tính khả dụng và/hoặc khả năng tiếp cận hay không,

b) kiểm tra một nhóm các sản phẩm tương tự để so sánh tạo điều kiện đưa ra được quyết định phù hợp nhất,

c) đảm bảo các hoạt động thử nghiệm của các sản phẩm tương tự sử dụng cùng phương pháp luận để thông tin về tính khả dụng và/hoặc khả năng tiếp cận có thể được so sánh trong suốt quá trình cung ứng, và

d) chỉ rõ những yêu cầu về tính khả dụng và/hoặc khả năng tiếp cận đối với một sản phẩm được cung ứng [ví dụ: khi các sản phẩm được sử dụng tại trường học, khách sạn hoặc những hộ gia đình có người lớn tuổi] [Phụ lục G] và các tình huống để được sử dụng khi tiến hành thử nghiệm xem liệu các yêu cầu có được đáp ứng hay không [Phụ lục H].

CHÚ THÍCH 1: ISO/IEC 25062 cung cấp một định dạng phục vụ việc báo cáo thông tin dạng này cho các sản phẩm sử dụng chuyên môn.

Tiêu chuẩn này có thể được sử dụng bởi một tổ chức thử nghiệm bên thứ ba hoặc tổ chức bảo vệ quyền lợi của người tiêu dùng nhằm:

a) thử nghiệm một sản phẩm đơn lẻ hoặc nhiều sản phẩm khác nhau để quyết định xem liệu chúng có đáp ứng những yêu cầu về tính khả dụng và/hoặc khả năng tiếp cận đối với một nhóm người sử dụng hay không,

b) thử nghiệm một sản phẩm đơn lẻ hoặc nhiều sản phẩm khác nhau để thiết lập điểm chuẩn mà các sản phẩm tương lai có thể dùng để so sánh,

c) so sánh các sản phẩm khác nhau để cung cấp thông tin sẽ được nêu trong báo cáo, và

d) so sánh giữa các hệ thống cạnh tranh (kiểm tra các mục tiêu sử dụng chính của loại sản phẩm hoặc hệ thống trừ khi có những lý do đặc biệt đối với việc thử nghiệm các mục tiêu khác).

VÍ DỤ 1: Một tổ chức thử nghiệm muốn tìm hiểu làm thế nào để những người mới sử dụng điện thoại di động dễ dàng thực hiện một cuộc gọi từ danh bạ. Yêu cầu là phải có 80 % độ tin cậy về 80 % tỉ lệ thành công. Một nhóm đại diện gồm 12 người chưa từng sử dụng loại điện thoại này được lựa chọn. Để đáp ứng được các yêu cầu, 11 trong số 12 người sử dụng sẽ phải thành công trong một khoảng thời gian hạn chế được xác định trước. Tỷ lệ thành công và thời gian thực hiện nhiệm vụ được ghi lại, sự thỏa mãn được đo sau khi từng nhiệm vụ, sử dụng thang đo tính khả dụng của hệ thống [SUS].

VÍ DỤ 2: Một nhà sản xuất muốn chứng minh rằng một đầu máy video cá nhân [PVR] rất dễ lập trình. Nhà sản xuất đã xác định yêu cầu 95 % độ tin cậy rằng 80 % bộ phận người sử dụng có thể lập trình được thiết bị PVR. Một mẫu đại diện gồm 30 người vừa mua thiết bị PVR với dự định lập trình thiết bị đó để ghi các chương trình được tuyển chọn. Họ được chọn theo lứa tuổi, trình độ học vấn và đã sở hữu các thiết bị PVR của các nhãn hiệu khác nhau. Mỗi lần dự tính mất khoảng từ 15 min đến 20 min và hai thiết bị PVR được thiết lập với các TV phục vụ việc lập trình. Từng người được hỏi về lập trình PVR để ghi lại một chương trình riêng biệt. Kết quả thử nghiệm được đưa ra khi tỷ lệ thành công đo được cùng một khoảng tin tưởng. Yêu cầu được đáp ứng khi 28 trên 30 người được thử nghiệm thành công trong việc lập trình thiết bị.

VÍ DỤ 3: Một nhà sản xuất muốn chứng minh một máy in/máy phô tô gia đình đa chức năng rất dễ cài đặt, phục vụ những người sử dụng hiện tại đang sử dụng những loại máy in/máy phô tô khác. Nhà sản xuất đã xác định yêu cầu là 95 % độ tin cậy rằng 80 % bộ phận người sử dụng có thể cài đặt thành công máy in. Một mẫu bao gồm 30 người sở hữu máy in/ máy phô tô tại nhà được tuyển chọn. Họ được lựa chọn dựa trên lứa tuổi, trình độ học vấn và đã sở hữu những nhãn hiệu máy in/phô tô khác. Mỗi lần mất khoảng từ 10 min đến 30 min và hai bộ thử được chuẩn bị sẵn. Máy in/máy phô tô được quay lại các chế độ thiết lập mặc định để hoàn thành từng phần thử nghiệm và đóng gói lại như lúc người mua nhận được nó. Từng người được yêu cầu cài đặt máy in/máy phô tô và in/copy thử một bản. Kết quả kiểm tra được đưa ra khi mức độ thành công đo được cùng với một khoảng tin cậy và trung bình nhân thời gian thực hiện nhiệm vụ cùng với một khoảng tin cậy.

5.3  Phạm vi của các mục tiêu được sử dụng trong thử nghiệm

5.3.1  Lựa chọn các mục tiêu

Cần đưa ra hai quyết định về phạm vi của các mục tiêu được sử dụng trong thử nghiệm.

a) (Những) mục tiêu nào được thử nghiệm để đạt được kết quả trong (các) tình huống sử dụng nào [xem 5.3.2]?

b) Mục tiêu đạt được sẽ được đánh giá bởi tương tác với giao diện có thành công (dễ tương tác) hay đầu ra tổng thể từ việc tương tác có đáp ứng được nhu cầu của người sử dụng (tính khả dụng tổng thể của sản phẩm) [xem 5.3.3]?

5.3.2  Kết quả thử nghiệm các mục tiêu chính trong tình huống sử dụng chính hoặc (các) mục tiêu riêng biệt trong (các) tình huống sử dụng riêng biệt

Phạm vi thử nghiệm có thể để:

a) kiểm tra kết quả thực hiện các mục tiêu chính trong (các) tình huống sử dụng chính nhằm đạt được các phép đo về hiệu quả, hiệu suất và sự thỏa mãn, là đại diện của tính khả dụng tổng thể hoặc khả năng tiếp cận của sản phẩm. (Khi thử nghiệm việc cài đặt và thiết lập, thì mục tiêu chính là cài đặt cấu hình phổ biến nhất để đạt được các phép đo đại diện tính khả dụng tổng thể của quá trình cài đặt.)

b) kiểm tra kết quả của (các) mục tiêu cụ thể hơn và/hoặc sử dụng (các) tình huống sử dụng cụ thể hơn để đạt được các phép đo đại diện cho tính khả dụng của sản phẩm hoặc quá trình cài đặt trong (các) tình huống sử dụng cụ thể [ví dụ, đối với một nhóm người sử dụng cụ thể [xem 7.3.3], môi trường cụ thể hoặc nhiệm vụ cụ thể].

5.3.3  Đo việc cài đặt và thiết lập, tính khả dụng của giao diện người sử dụng, và tương tác hoặc tính khả dụng tổng thể

Những điều kiện tiên quyết đối với tính khả dụng của một sản phẩm [có nghĩa là những điều kiện tiên quyết dành cho người sử dụng để có thể đem lại hiệu quả, hiệu suất và sự thỏa mãn] là:

a) những người sử dụng cụ thể có thể tương tác thành công với giao diện của sản phẩm trong các tình huống sử dụng cụ thể (dễ tương tác), và

b) sản phẩm có khả năng tạo ra những kết quả về chất lượng kỹ thuật có thể được chấp nhận như là kết quả của sự tương tác.

Trong khi việc tương tác với sản phẩm cho phép người sử dụng đạt được các mục tiêu tổng thể của họ, thì sản phẩm cũng cần có khả năng tạo ra những kết quả tương ứng.

VÍ DỤ 1: Nếu mục tiêu là sử dụng một máy ảnh để chụp ảnh loại có thể sử dụng dành cho các bức ảnh khổ lớn, thì người sử dụng phải có khả năng tương tác thành công với giao diện và chất lượng của hình ảnh do chiếc máy ảnh đó tạo ra cần đáp ứng được các yêu cầu của một tấm ảnh khổ lớn.

Phạm vi thử nghiệm có thể là:

a) mở đóng gói, thiết lập và cài đặt các sản phẩm tiêu dùng,

b) tính khả dụng giao diện của người sử dụng và sự tương tác [“dễ dàng tương tác”], hoặc

CHÚ THÍCH: Nếu một sản phẩm tạo ra các kết quả đáng tin cậy về chất lượng kỹ thuật được chấp nhận, thì việc chỉ tiến hành thử nghiệm tính dễ tương tác là phù hợp.

c) Tính khả dụng của sản phẩm xét như một tổng thể [“tính khả thi tổng thể”: phạm vi mà sản phẩm cho phép người sử dụng đạt được mục tiêu tổng thể của mình bằng sự hiệu quả, hiệu suất và sự thỏa mãn].

VÍ DỤ 2: Hiệu quả đạt được mục tiêu khi sử dụng một đồng hồ báo thức để đánh thức vào buổi sáng có thể được phân tích.

Tính khả dụng của một chiếc đồng hồ báo thức đối với mục tiêu sẽ được đánh thức vào buổi sáng có thể được thử nghiệm bằng cách phát hiện xem, liệu sau khi thiết lập chế độ báo thức, người sử dụng có được gọi dậy ở thời điểm xác định vào buổi sáng hay không.

Ngoài ra, nếu nhận biết được khi nào chức năng báo thức được thiết lập chính xác, thì nó sẽ luôn kêu vào một thời điểm xác định và đủ to để đánh thức người sử dụng, việc đo đạc tính khả dụng của tương tác với giao diện người sử dụng bằng cách quan sát xem liệu người sử dụng có thiết lập thời gian chính xác và bật chức năng báo thức không là phù hợp với sự tin tưởng về tính khả dụng của sản phẩm đối với mục tiêu là được gọi dậy.

Do đó nếu đồng hồ báo thức được nhận biết là có chất lượng kỹ thuật như yêu cầu, thì việc thử nghiệm tính khả dụng của tương tác với giao diện người sử dụng cũng là một phương pháp kiểm tra tính khả dụng của sản phẩm. Nếu chất lượng kỹ thuật của đồng hồ báo thức không được nhận biết, thì tính khả dụng của tương tác với giao diện người sử dụng sẽ không cung cấp sự bảo đảm về tính khả dụng của đồng hồ báo thức trong việc đánh thức người sử dụng.

5.4  Hiệu lực và độ tin cậy

Cần dành sự quan tâm đặc biệt đến thiết kế các hoạt động thử nghiệm dựa trên người sử dụng nhằm bảo đảm kết quả đạt được sẽ:

- có hiệu lực, nghĩa là dữ liệu đó được thu thập trong thực tế và đo đạc đúng đối tượng mà việc thử nghiệm dự kiến được tiến hành đo đạc [nghĩa là chúng là những phép đo tính khả dụng phù hợp] và

- đáng tin cậy, nghĩa là hoạt động thử nghiệm sẽ tạo ra những kết quả nhất quán nếu phải tiến hành lặp đi lặp lại.

Một hoạt động thử nghiệm có hiệu lực và đáng tin cậy cung cấp cơ sở để từ đó một người có thể đánh giá các kết quả có thể được phổ biến để phán đoán được tính khả dụng của sản phẩm được thử nghiệm.

Phương pháp thử nghiệm được chỉ rõ tại Điều 6 kết hợp với nghiệm tốt được thiết kế để cực đại hóa tính hiệu lực và độ tin cậy của kết quả. Điều đặc biệt quan trọng là một mẫu đại diện của người sử dụng dự kiến tham gia vào hoạt động thử nghiệm nếu kết quả được áp dụng vào bộ phận người sử dụng dự kiến đó.

5.5  Các vấn đề về đạo đức

Bất kỳ hoạt động thử nghiệm nào có sự tham gia của con người cần được triển khai thực hành tốt trong các vấn đề liên quan đến đạo đức.

CHÚ THÍCH 1: Một số quốc gia có luật về nghiên cứu chủ thể là con người. Nhiều tổ chức tuân thủ theo các quy trình và quy định đã được thiết lập. Một số các tổ chức nghề nghiệp có các bộ quy tắc thực hành dành cho việc quản lý về mặt đạo đức của hoạt động thực nghiệm. Mục đích của các bộ quy tắc thực hành này là để bảo đảm lợi ích và quyền của những bên liên quan, bao gồm cả những người tham gia và những người có thể bị ảnh hưởng bởi hoạt động thử nghiệm, cũng như các điều tra viên.

Đặc biệt, việc thiết kế và tiến hành các hoạt động thử nghiệm cần bảo đảm bảo vệ được quyền lợi và sự an toàn của các cá nhân. Ví dụ:

- Không hoạt động thử nghiệm nào được yêu cầu các mức độ vượt quá các nỗ lực tâm lý hoặc tâm thần.

CHÚ THÍCH 2: Điều này đóng vai trò cực kỳ quan trọng khi các hoạt động thử nghiệm có sự tham gia của người cao tuổi hoặc những người khuyết tật.

- Cần bảo đảm tính riêng tư của các cá nhân tham gia.

- Cần duy trì sự bí mật của bất kỳ dữ liệu nào được thu thập.

- Nếu một số nhóm người sử dụng được xem là dễ bị tổn thương, ví dụ: trẻ em, người già, hoặc người khuyết tật, cần đặc biệt lưu tâm nhằm bảo vệ quyền lợi của các đối tượng này.

- Những người tham gia thử nghiệm cần được cung cấp thông tin phù hợp về mục đích và cách thức tiến hành bất kỳ nghiên cứu nào để từ đó cho phép họ quyết định xem liệu có nên tham gia hay không.

- Những người tham dự cần được cấp quyền có thể rút lui không tham dự ở bất kỳ giai đoạn nào của quá trình thử nghiệm.

6  Tổng quan quy trình thử nghiệm

Để đo tính khả dụng và/hoặc khả năng tiếp cận sử dụng phương thức thử nghiệm tổng thể tại Điều 7, các hoạt động sau đây sẽ được tiến hành.

CHÚ THÍCH: Khi có những sự phụ thuộc qua lại lẫn nhau, có thể cần tiến hành song song một số hoạt động.

a) Xác định mục đích và phạm vi của hoạt động thử nghiệm (xem 7.1).

b) Nhận diện (các) sản phẩm được thử nghiệm (xem 7.2).

c) Xác định rõ các mục tiêu được tính tới trong hoạt động thử nghiệm (xem 7.3.2).

d) Xác định rõ (các) nhóm người sử dụng tham gia vào thử nghiệm (xem 7.3.3).

e) Xem xét liệu có sử dụng các nhóm người sử dụng thử nghiệm có chọn lọc để đánh giá khả năng tiếp cận hay không (xem 7.3.3.4).

f) Xác định rõ các đặc điểm về môi trường (xem 7.3.4).

g) Kiểm tra độ tương thích của sản phẩm với đặc điểm và mục tiêu của người sử dụng (xem 7.4).

h) Nhận diện các phép đo liên quan (xem 7.5.2).

i) Xác định số lượng người tham gia được yêu cầu để đạt được mức độ tin cậy như mong muốn (xem 7.5.3).

j) Tuyển dụng một mẫu những người sử dụng (xem 7.5.4).

k) Cấu hình sản phẩm (xem 7.5.5).

l) Xác định rõ các kịch bản thử nghiệm và các tiêu chí mục tiêu (xem 7.5.6).

m) Thiết lập thủ tục thử nghiệm (xem 7.5.7).

n) Tạo lập môi trường thử nghiệm (xem 7.5.8).

o) Đánh giá xem các tiêu chí để đạt được mục tiêu có đáp ứng được người sử dụng cá nhân hay không (xem 7.5.10).

p) Tính toán kết quả (xem Điều 8).

q) Chuẩn bị một bản báo cáo đầy đủ và tóm tắt ngắn gọn nếu được yêu cầu (xem Điều 9 và Phụ lục F).

7  Phương pháp thử nghiệm

7.1  Mục đích và phạm vi thử nghiệm

Loại hình sử dụng của sản phẩm đã thử nghiệm phải được nhận diện, và quyết định xem liệu có cần phải thử nghiệm đối với khả năng tiếp cận hay không (xem 7.3.3.4). Mục đích của việc thử nghiệm (xem 5.2) và phạm vi (xem 5.3) của thử nghiệm sẽ được xác định để cho phép thiết kết được một thử nghiệm phù hợp và đem lại thông tin như yêu cầu.

7.2  Sản phẩm được thử nghiệm

Nhận diện (các) sản phẩm và (các) phiên bản cụ thể được thử nghiệm và, nếu phù hợp, tổ chức chịu tránh nhiệm cung cấp dịch vụ được hỗ trợ bởi sản phẩm.

Nếu bất kỳ sản phẩm nào được thử nghiệm không có chứng nhận sản phẩm, thì cần đảm bảo rằng những sản phẩm này an toàn để những người tham gia thử nghiệm sử dụng.

VÍ DỤ: Những vấn đề bao gồm an toàn điện, cạnh sắc hoặc các bộ phận nhỏ và không đính chặt khi tiến hành thử nghiệm ở trẻ nhỏ.

7.3  Tình huống đánh giá

7.3.1  Khái quát

Tình huống sử dụng phục vụ việc đánh giá sẽ được chỉ rõ. Tình huống và các mục tiêu này đạt được cần càng gần với các mục tiêu và tình huống sử dụng dự kiến dành cho (các) nhóm người sử dụng cụ thể càng tốt.

CHÚ THÍCH 1: Thông tin chi tiết về tình huống sử dụng có thể tham khảo tại ISO/IEC 25063.

CHÚ THÍCH 2: Nếu thông tin chi tiết về tình huống sử dụng hiện thời hoặc dự kiến không sẵn có, thì cần phải tìm hiểu về thông tin dạng này. Ví dụ, nếu một thử nghiệm đang được tiến hành bởi hoặc thay mặt cho nhà sản xuất, thì nhà sản xuất có thể đã sẵn có những thông tin này.

7.3.2  Chỉ rõ việc đạt được mục tiêu sẽ được đo như thế nào

7.3.2.1  Phạm vi của các mục tiêu

Việc đo đạc tính khả dụng có thể tập trung vào [1] việc liệu người sử dụng có thể tương tác thành công với giao diện của sản phẩm, hay [2] liệu sản phẩm nói chung có đáp ứng được các tiêu chí khả dụng, hoặc [3] liệu việc cài đặt và thiết lập một sản phẩm tiêu dùng có đáp ứng được các tiêu chí khả dụng (xem 5.3).

7.3.2.2  Xác định rõ các mục tiêu của người sử dụng

(Các) mục đích chủ yếu về tính khả dụng của một sản phẩm cần được xác định.

Các mục tiêu của người sử dụng được thử nghiệm sẽ được xác định. Các mục tiêu cần được xác định trong mối liên hệ với việc nhận diện các nhóm người sử dụng (xem 7.3.3). Những nhóm người sử dụng khác nhau có thể có những mục tiêu khác nhau.

Đối với những mục tiêu được sử dụng để thử nghiệm, sẽ có khả năng được:

- nhận diện các tình huống sử dụng đặc thù đại diện cho việc sử dụng sản phẩm cho mục tiêu đó, và

- nhận diện những tiêu chí để đạt được mục tiêu một cách thành công.

Việc đạt được một mục tiêu có thể phụ thuộc vào việc đạt được các mục tiêu nhỏ.

VÍ DỤ 1: Mục đích của việc xem tin tức trên TV có thể dựa trên việc đạt được những mục tiêu nhỏ là bật TV lên và chọn chương trình phù hợp.

Đôi khi có nhiều hơn một cách để đạt được cùng một mục tiêu.

VÍ DỤ 2: Một bản ghi có thể được xác định bởi cả ngày tháng và thời gian hoặc bằng tên.

Trong suốt quá trình sử dụng sản phẩm lần đầu tiên, mục tiêu chính có thể là việc cài đặt. Khi cài đặt đã hoàn tất, thì nó sẽ không còn là mục tiêu chính nữa.

(Các) mục tiêu của người sử dụng và tình huống sử dụng sản phẩm sẽ được nhận diện dựa trên hiểu biết về nhu cầu của người sử dụng, ví dụ: dựa trên thông tin thu được từ người sử dụng, khách hàng hoặc nhà cung cấp. Khi thử nghiệm các mục tiêu chính (xem 5.3.1), những mục tiêu được thử nghiệm sẽ bao gồm các dạng người sử dụng và mục đích người sử dụng thường xuyên và quan trọng nhất, và việc báo cáo kết quả sẽ giải thích làm thế nào các mục tiêu chính được nhận diện.

CHÚ THÍCH 1: Khi tiến hành thử nghiệm một sản phẩm sử dụng được ngay, tổ chức chịu trách nhiệm việc vận hành sản phẩm hoặc cung cấp dịch vụ có thể chia nhỏ tần suất và đặc điểm của những giao dịch mong đợi được thực hiện khi sử dụng sản phẩm.

Những mục tiêu và tình huống sử dụng được thử nghiệm sẽ dành cho các đầu ra mà người sử dụng có thể hy vọng một cách hợp lý là có khả năng đạt được trong tình huống sử dụng khi dùng sản phẩm để phục vụ một hoặc nhiều mục đích được xác định bởi nhà sản xuất.

Nếu khi tiến hành thử nghiệm một vài sản phẩm, một hoặc nhiều sản phẩm không cung cấp chức năng để hỗ trợ cho một hoặc nhiều mục tiêu hoặc tình huống sử dụng được dùng để thử nghiệm, thì những mục tiêu hoặc (những) tình huống sử dụng này sẽ không có trong các nhiệm vụ thử nghiệm được dùng cho (những) sản phẩm đặc biệt này, nhưng thông tin về việc thiếu đi sự hỗ trợ sẽ được ghi lại đầy đủ.

CHÚ THÍCH 2: Tình huống này có thể nảy sinh khi tiến hành các thử nghiệm mang tính cạnh tranh khi sử dụng một vài sản phẩm với những phạm vi chức năng khác nhau.

VÍ DỤ: Một trong những mục tiêu chính được nhận diện khi sử dụng một chiếc điện thoại di động là có thể sử dụng nó trong một phạm vi rộng các điều kiện môi trường, bao gồm môi trường khá ồn ào, do vậy môi trường này có thể được tính đến trong một thử nghiệm mang tính cạnh tranh thậm chí chất lượng âm thanh của một chiếc điện thoại không phù hợp để nó có thể được nghe thấy trong môi trường này. Điện thoại không có chất lượng âm thanh phù hợp sẽ không có mặt trong nhiệm vụ thử nghiệm dành cho tình huống đó, nhưng sự không tương xứng của nó sẽ được ghi lại.

7.3.2.3  Thiết lập các tiêu chí dành cho việc kiểm tra đạt được mục tiêu thử nghiệm

Các mục tiêu thử nghiệm sẽ được thể hiện dưới hình thức những đầu ra dự kiến. Khi đo đạc tính năng tổng thể, các mục tiêu sẽ được mô tả độc lập theo phương tiện mà nhờ đó để đạt được các mục tiêu đã đề ra.

VÍ DỤ 1: Mục tiêu của một cái lò là để lò được làm nóng tới một nhiệt độ nhất định. Mục đích của một chiếc máy bán vé tự động là có thể mua được vé khứ hồi từ Luân-đôn tới Man-chét-tơ với giá rẻ nhất có thời hạn sử dụng phù hợp với ngày giờ dự kiến.

Những tiêu chí dành cho việc đạt được mục tiêu chính xác và hoàn thiện một cách phù hợp sẽ được xác định rõ theo cách có thể kiểm tra được. Các tiêu chí mà việc đạt được thành công một mục đích nào đó sẽ càng phù hợp với các tiêu chí có thể áp dụng bởi một người sử dụng tiêu biểu càng tốt, hơn là có bất kỳ trở ngại nào về công nghệ. Đối với một số sản phẩm, có thể chỉ có một kết quả được chấp nhận [ví dụ: để mở được một kiện hàng]. Đối với những sản phẩm khác, có thể có một loạt những đầu ra chấp nhận được [ví dụ: sự chính xác về nhiệt độ của một chiếc lò hay độ khô của quần áo].

Nếu một mục tiêu tổng thể có thể phần nào đạt được, cần xác định các tiêu chí đối với việc đạt được những mục tiêu nhỏ góp phần vào mục tiêu tổng thể.

VÍ DỤ 2: Mục tiêu khi sử dụng máy ảnh là có thể tạo ra một bức ảnh của một đồ vật ở đằng xa trong điều kiện ánh sáng kém. Tấm ảnh tốt nhất có thể chụp được sử dụng chế độ phóng to hết cỡ, chống rung và không sử dụng đèn flash. Nếu không sử dụng một trong những chế độ thiết lập này có thể sẽ làm giảm chất lượng của bức ảnh do vậy từng mục tiêu phụ được đánh giá riêng biệt.

Vì việc hoàn thiện thành công chính là tiêu chí, do vậy các phương thức khác nhau để đạt được (các) mục đích (bao gồm cả các lỗi được hiệu chỉnh thành công) sẽ được tính đến như những kết quả khả quan trừ khi phương tiện được sử dụng đem lại những kết quả không như mong muốn, ví dụ như đặt ra một rủi ro đối với sức khỏe của một cá nhân hoặc gây hư hỏng sản phẩm.

7.3.2.4  Thiết lập tiêu chí đối với các đầu ra của nhiệm vụ con

Các mục tiêu và nhiệm vụ có thể được phân thành các mục tiêu và nhiệm vụ con.

Các đầu ra của nhiệm vụ con cần đạt được để sử dụng sản phẩm nhằm đạt được (các) mục tiêu sẽ được nhận diện để hỗ trợ trong việc lập kế hoạch thử nghiệm và diễn giải kết quả. Sự nhận diện các nhiệm vụ con có thể được căn cứ trên thông tin do nhà sản xuất cung cấp, phân tích sản phẩm và/hoặc quan sát một mẫu đại diện của những người sử dụng tiềm năng.

7.3.3  Xác định (các) nhóm người sử dụng được dùng để thử nghiệm

7.3.3.1  Khái quát

Nhận diện phạm vi của những người sử dụng thực tế hoặc tiềm năng của sản phẩm. Đối với các sản phẩm tiêu dùng, điều này cần bao gồm cả những người sử dụng hiện có và người sử dụng mới, nếu phù hợp. Những nhóm người sử dụng khác nhau có thể sử dụng sản phẩm cho những mục tiêu khác nhau.

CHÚ THÍCH: Một số sản phẩm nhằm vào các phân khúc dân số đặc biệt (ví dụ: những người có sở thích đặc biệt hoặc một phân khúc thị trường liên quan đến thu nhập hay nhóm tuổi) hoặc có thể trong một họ các sản phẩm liên quan dành cho các phân khúc thị trường khác nhau.

Điều quan trọng là cần xét đến những người ở gần cuối phạm vi đặc điểm của người sử dụng trong bộ phận người sử dụng (xem 7.3.3.4), đặc biệt đối với những sản phẩm có thể dùng được ngay và những sản phẩm khác sẵn sàng được sử dụng công cộng. Đặc biệt là những dạng sau:

- những người sử dụng có các khả năng thể chất và nhận thức ở gần cuối phạm vi (ví dụ: kích thước cơ thể, sức bền, năng lực cơ sinh, các khả năng thị giác hoặc thính giác), đặc biệt là người cao tuổi, và

- những người sử dụng có các đặc điểm nhận thức ở gần cuối phạm vi như là kết quả của kiến thức, kinh nghiệm, văn hóa, khả năng biết đọc biết viết hoặc ngôn ngữ riêng biệt.

Một quyết định sẽ được đưa ra để xem việc thử nghiệm sẽ bao gồm toàn bộ phạm vi người sử dụng hay một tập con của những người sử dụng đó có tương ứng với những mục đích của việc thử nghiệm.

Những người sử dụng với một phạm vi về đặc điểm và khả năng rộng nhất có thể (bên trong bất kỳ tập con nào) mà thích hợp với việc thử nghiệm cần được thử nghiệm [có tính đến khả năng tiếp cận, xem 7.3.3.4], và nếu bất kỳ đặc điểm nào được trông đợi là có ảnh hưởng to lớn đến tính khả dụng, thì mỗi nhóm người sử dụng hoặc điều kiện của bối cảnh cần được thử nghiệm hoặc phân tích riêng biệt (xem Phụ lục C).

7.3.3.2  Các đặc điểm của người sử dụng

Các đặc điểm phân biệt mọi người trong những nhóm người sử dụng được lựa chọn và được trông đợi là có một ảnh hưởng đáng kể đối với tính khả dụng sẽ được nhận diện, tính đến cả những đặc điểm được giải thích trong TCVN 11698-1 (ISO 20282-1), Điều 7, và được tóm tắt dưới đây (xem C.2).

Đối với những nhóm người sử dụng tham gia vào hoạt động thử nghiệm, thì những thông tin sau đây được xem là cần thiết:

- Những đặc điểm về người sử dụng nào có thể ảnh hưởng tới tính khả dụng của sản phẩm nào đang được thử nghiệm?

- Phạm vi của những đặc điểm nào tồn tại trong nhóm người sử dụng dự kiến hoặc thực tế?

- Sự phân bổ của từng đặc điểm của người sử dụng tương ứng được mong đợi là gì?

a) Các đặc điểm tâm lý và xã hội

Cần thiết lập các đặc điểm và khả năng nhận thức (ví dụ: kiến thức và kinh nghiệm, những khác biệt về văn hóa, và khả năng biết đọc biết viết và ngôn ngữ) sẽ tạo ra ảnh hưởng lo lớn tới tính khả dụng. Điều này được thực hiện bởi đánh giá chuyên môn, sự thu thập dữ liệu sử dụng thực tế hoặc những nghiên cứu theo kinh nghiệm để đánh giá hiệu quả của những đặc điểm về người sử dụng khác nhau.

b) Các đặc điểm vật lý

Nhận diện xem sản phẩm yêu cầu những đặc điểm thể chất riêng biệt (ví dụ như kích thước cơ thể, sức bền, năng lực cơ sinh, khả năng thị giác và thính giác hoặc khả năng sử dụng tay thuận). Cả những thử nghiệm trước đó của người sử dụng gần với các giới hạn mong đợi và việc sử dụng các nguồn dữ liệu hiện có về phạm vi đặc điểm của con người có thể được dùng để thiết lập xem liệu phạm vi dự kiến của người sử dụng có thể sử dụng sản phẩm hay không. Nếu số người không thể sử dụng sản phẩm đại diện cho một phần không thể bỏ qua của người sử dụng dự kiến, thì kết quả kiểm thử trên người sử dụng là không thích hợp. (xem 7.4.2).

VÍ DỤ 1: Dữ liệu đang tồn tại có thể được sử dụng để xác định cỡ chữ để dễ đọc bởi các phân khúc đặc biệt của dân số hoặc chiều cao được yêu cầu để với tới các phím điều khiển của một máy bán hàng tự động.

c) Nhân khẩu học

Nhân khẩu học như tuổi tác, giới tính và tình trạng kinh tế xã hội đem lại một cách thức thuận tiện cho việc phân nhóm một số các đặc điểm thể chất, tâm lý và xã hội, nhưng những đặc điểm khác biết khác (như kinh nghiệm với những dạng khác nhau của một loại sản phẩm) có thể đóng vai trò quan trọng hơn.

VÍ DỤ 2: Tập hợp người sử dụng một chiếc điện thoại di động dự tính là 80 % nói tiếng Anh, 10 % nói tiếng Pháp và 10 % nói các ngôn ngữ khác. Giả định như tất cả những người sử dụng này sẽ có kinh nghiệm trước về sử dụng điện thoại di động để gọi một cuộc điện thoại.

7.3.3.3  Các nhóm người sử dụng

Quyết định xem những đặc điểm của các nhóm người sử dụng dự kiến hoặc thực tế được xác định trong 7.3.3.1 chia người sử dụng thành các tiêu chí riêng sẽ có một ảnh hưởng lớn tới tính khả dụng (Xem C.2).

VÍ DỤ 1: Một sản phẩm toàn cầu được thử nghiệm, sử dụng các nhóm riêng biệt đối với từng dân tộc hoặc ngôn ngữ.

Cần quyết định việc thử nghiệm đối với người sử dụng lần đầu và/hoặc người đã có kinh nghiệm trước đó. Thậm chí với một sản phẩm mới, người ta có thể có kinh nghiệm với cùng loại sản phẩm hoặc kiểu dáng tương tự có từ trước, do vậy dạng kinh nghiệm thích hợp rất cần được xác định.

VÍ DỤ 2: Khi thử nghiệm một hệ thống định vị toàn cầu (GPS), các nhóm người sử dụng riêng biệt có và không có kinh nghiệm với dạng ứng dụng này sẽ được tiến hành thử nghiệm.

CHÚ THÍCH: Đối với việc thiết lập và cài đặt, cũng như đối với các sản phẩm sử dụng trong những tình huống nhất định, thì việc tiến hành với những người sử dụng lần đầu tiên là phù hợp. Nhưng đối với một sản phẩm chủ yếu được sử dụng thường xuyên, tốt hơn hết là thử nghiệm những người sử dụng sau các giai đoạn thực hành ban đầu.

7.3.3.4  Lựa chọn các nhóm người sử dụng để đánh giá khả năng tiếp cận

Việc lựa chọn các nhóm người sử dụng cho thử nghiệm có thể cung cấp thông tin về khả năng tiếp cận một sản phẩm.

Nếu sản phẩm được thử nghiệm là sản phẩm có thể sử dụng được ngay hoặc một sản phẩm sẵn sàng được sử dụng ở nơi công cộng, và khi sản phẩm dự định sẽ hỗ trợ những người có phạm vi về đặc điểm và khả năng rộng nhất, những người mà các đặc điểm về thể chất và tâm lý hướng đến gần các cực trị của phạm vi kể trên bên trong một bộ phận dân cư nói chung, thì các nhóm đại diện cho từng cực trị của phạm vi được mong đợi có ảnh hưởng nhất định đến tính khả dụng sẽ được lựa chọn để thử nghiệm.

Cần tính đến các xu hướng về nhân khẩu học nói chung, ví dụ: tại nơi dân số nhìn chung là người cao tuổi, người già cần được tham gia trừ khi sản phẩm đặc biệt loại trừ việc tham gia sử dụng của họ.

Thay vì thử nghiệm một mẫu từ công chúng, các nhóm thử nghiệm được lựa chọn từ những người có khả năng sẽ thấy khó khăn khi đạt được những mục tiêu đã xác định, đặc biệt, các mục tiêu liên quan đến sự hiệu quả. Một kết quả khả quan đối với sự hiệu quả thường cũng có tác dụng đối với những thành viên của công chúng phổ thông những người ít có cơ hội được trải nghiệm những khó khăn (xem C.5).

VÍ DỤ 1: Những thử nghiệm sơ bộ đối với một máy bầu cử điện tử đã cho thấy nó có thể được sử dụng thành công bởi những người không thuộc về các cực trị của phạm vi đặc điểm và khả năng, là những thứ có thể ảnh hưởng tới khả năng sử dụng máy bầu cử của những người này. Để đưa ra một sự bảo đảm bổ sung, rằng có thể được sử dụng bởi tất cả những người trong phạm vi có quyền được bầu cử, các thử nghiệm được lặp lại ở hai nhóm nhỏ, một nhóm với các khả năng hạn chế về thể chất và nhóm thứ hai là nhóm có ở lứa tuổi trên 75 và không có kỹ năng sử dụng máy tính.

VÍ DỤ 2: Bao bì dự kiến được sử dụng với những người ở độ tuổi từ 8 đến 90. Có một sự quan tâm đặc biệt về việc bao bì này có thể được mở bởi những người lớn tuổi, những người mà cả sức bền về thể chất lẫn khả năng về giác quan đều kém hơn so với những người sử dụng trẻ tuổi. Các thử nghiệm được tiến hành trên một mẫu gồm những người sử dụng tuổi đời từ 65 đến 90. Nếu nhóm thử nghiệm thành công trong việc mở được bao bì, thì có thể dự báo được rằng những thành viên trẻ tuổi hơn của dân số sử dụng sẽ cũng có khả năng mở được bao bì đó.

CHÚ THÍCH 1: Lợi ích của sự tiếp cận này là nếu việc thử nghiệm có thể bị hạn chế đối với những mẫu từ những cực trị của dân số, thì tổng số những người tham dự có thể giảm xuống trong khi vẫn chiếm một mức khá cao về lòng tin thường gắn với số người tham dự nhiều hơn.

CHÚ THÍCH 2: Nếu mục đích thử nghiệm là để dự đoán kết quả hoạt động tổng thể, cần tiến hành các thử nghiệm trên toàn bộ phạm vi của các nhóm người sử dụng tiềm năng.

Tuyên bố về khả năng tiếp cận của một sản phẩm cần cụ thể đối với những đặc điểm của những người tham dự vào thử nghiệm. Ví dụ, được thiết lập rằng một sản phẩm có thể được sử dụng bởi những người hạn chế về khả năng trí tuệ, điều này không thể sử dụng để tuyên bố rằng sản phẩm cũng có thể được sử dụng phù hợp cho những người gặp hạn chế về màu sắc. Bất kỳ một tuyên bố nào về khả năng tiếp cận của một sản phẩm sẽ được hỗ trợ bởi các chi tiết về tập hợp người sử dụng là tập hợp mà những người tham gia là mẫu đại diện.

7.3.4  Nhận diện các đặc điểm môi trường

Những môi trường chủ đạo mà sản phẩm được (hoặc dự kiến sẽ) sử dụng cho những người sử dụng được lựa chọn và các nhiệm vụ cần được xác định. Những thuộc tính về vật lý, xã hội hoặc môi trường kỹ thuật đó có khả năng sẽ tạo ra những ảnh hưởng đáng kể đối với hiệu quả, hiệu suất hoặc sự thỏa mãn mà với chúng những mục tiêu có thể đạt được sẽ được xác định.

VÍ DỤ: Máy ảnh có thể được sử dụng vào buổi tối khi có thể không có sự chiếu sáng nào cả. Nhiệt độ trải rộng từ - 5°C đến + 40°C.

7.4  Kiểm tra xem sản phẩm có khả năng đạt được những mục tiêu dự kiến đối với những người sử dụng dự kiến

7.4.1  Kiểm tra xem sản phẩm có khả năng kỹ thuật đáp ứng tiêu chí để đảm bảo đạt được mục tiêu một cách thành công

Đối với từng mục tiêu được thử nghiệm, một cuộc kiểm tra sẽ được tiến hành để xem sản phẩm có khả năng tạo ra những kết quả có thể thỏa mãn đầy đủ những nhu cầu của người sử dụng. Những mục tiêu đơn giản có thể được kiểm tra bằng việc thanh tra (ví dụ: xem công tắc bật/tắt có vận hành chính xác). Đối với những mục tiêu phức tạp hơn (ví dụ: xem chuông báo động có phát ra âm thanh đủ lớn hoặc chiếc lò nóng lên tới mức nhiệt hiển thị không), việc kiểm tra sẽ căn cứ như sau:

a) Tài liệu do nhà sản xuất cung cấp nói rõ việc vận hành sản phẩm đáp ứng được những tiêu chuẩn kỹ thuật đã được thiết lập.

b) Thực hiện những thử nghiệm kỹ thuật dựa trên các Tiêu chuẩn Quốc tế hoặc các tiêu chuẩn đã được công bố khác mà với đó thiết lập nên chất lượng được công nhận (ví dụ: xem các tính năng điều khiển của một thang máy có ở trong đường bao tầm với của những người ngồi xe lăn).

c) Tiến hành đánh giá chuyên môn về chất lượng kỹ thuật, nếu có thể, dựa trên các Tiêu chuẩn Quốc tế hoặc các tiêu chuẩn đã được công bố khác dành cho các kết quả kỹ thuật rơi vào khoảng có thể chấp nhận được.

d) Đối với việc cài đặt và thiết lập, một chuyên gia có thể kiểm tra xem sản phẩm có thể được cài đặt và thiết lập theo cách sẽ đáp ứng được những yêu cầu của người sử dụng một cách phù hợp.

Nếu không sẵn có một nguồn chứng cứ nào nói trên, thử nghiệm để đạt được các mục tiêu nằm ngoài phạm vi tại tiêu chuẩn này và sự thiếu vắng bằng chứng để hỗ trợ cho mục tiêu này sẽ được nhắc tới trong báo cáo.

Nếu từ một kết quả của các hoạt động kiểm tra nói trên, không mục tiêu nào có thể đạt được cùng sản phẩm, thì chúng sẽ bị loại bỏ khỏi thử nghiệm về tính khả dụng tổng thể của sản phẩm đó.

7.4.2  Kiểm tra xem sản phẩm có tương thích với những đặc điểm của người sử dụng dự kiến

Kiểm tra sẽ được tiến hành xem các nhóm người sử dụng dự kiến có thể, nói chung, vận hành một sản phẩm, ví dụ: xem các tính năng điều khiển có trong tầm với và/hoặc xem những người sử dụng có kiến thức thiết yếu cần thiết.

CHÚ THÍCH 1: Một số nhóm người sử dụng, ví dụ như người cao tuổi hoặc người khuyết tật, có thể sử dụng các chế độ tương tác khác nhau.

Tại nơi việc thanh tra sản phẩm cho thấy việc đạt được thành công bất kể một mục tiêu nào được xác định tại Mục 7.3.2.2 là không thể đối với một số thành viên của một nhóm sử dụng dự kiến, thông tin về sự thiếu vắng hỗ trợ dành cho mục tiêu này sẽ được nêu ra trong báo cáo.

CHÚ THÍCH 2: Ngoài ra, có thể sẽ phù hợp để tiến hành xem xét việc thiết kế hoạt động thử nghiệm.

CHÚ THÍCH 3: ISO/TR 22411 bao gồm dữ liệu và kiến thức ecgônômi về khả năng của con người đối với người cao tuổi và những người khuyết tật mà căn cứ vào đó để tiến hành các hoạt động thanh tra.

VÍ DỤ: Bộ phận người sử dụng dự kiến dành cho máy bán vé tự động bao gồm một nhóm con cụ thể những người sử dụng dự kiến: trẻ em từ 8 tuổi với một tiêu chí đạt được mục tiêu thành công là 95 %. Có thể thấy rằng, những người sử dụng hướng tay với lên trên không tới 1,5 m sẽ không thể vận hành được máy để mua vé. Dữ liệu nhân trắc học liên quan đối với nhóm tuổi cho thấy cần một đánh giá có trách nhiệm từ những số liệu tính toán đến 50 % số người trong nhóm này sẽ không thể lấy được vé từ chiếc máy.

7.5  Thiết kế và tiến hành thử nghiệm

7.5.1  Khái quát

Một lần thử nghiệm có thể bao gồm các thử nghiệm đối với những sản phẩm khác nhau, những nhóm người sử dụng và/hoặc những mục tiêu khác nhau và cũng có thể bao gồm nhiều hơn một nhiệm vụ được tiến hành thử nghiệm. Các phép đo được mô tả trong phần còn lại của 7.5 là những phép đo cần được nhận diện cho từng nhiệm vụ.

7.5.2  Nhận diện các phép đo liên quan

7.5.2.1  Khái quát

Các phép đo được yêu cầu (chữ đậm) và các ví dụ về những thuộc tính lựa chọn có thể được đo được đưa ra trong Bảng 1.

Bảng 1 - Các ví dụ về những phép đo thuộc tính của tính khả dụng

Tầm quan trọng tương đối của các phép đo khác nhau sẽ phụ thuộc vào dạng (các) mục tiêu và tình huống sử dụng.

7 5.2.2  Hiệu quả

Hiệu quả sẽ được đo bằng tỷ lệ thành công: tỷ lệ phần trăm người sử dụng thành công trong việc đạt được từng nội dung sử dụng sản phẩm [xem 7.3.2.3]

CHÚ THÍCH: Nếu mất nhiều thời gian hơn thời gian thực hiện nhiệm vụ cho phép tối đa, thì nhiệm vụ được phân loại là không thành công [xem 7.5.2.3],

Nhận thức của người tham gia về sự thành công (thành công được nhận thấy) cũng cần được đánh giá đối với những nhiệm vụ thực hiện tại nơi có thể không có một sự chắc chắn nào.

7.5.2.3  Hiệu suất

a) Tận dụng nguồn lực

Thời gian dùng để thực hiện mục tiêu cần được đo đạc.

Nhằm cho phép tính thời gian thực hiện nhiệm vụ, cần xác định chỉ tiêu dành cho việc hoàn thiện nhiệm vụ. Điều này cần bao gồm một tuyên bố của người sử dụng cho thấy họ tin tưởng rằng mình đã hoàn thành nhiệm vụ. Các phép đo thời gian thực hiện nhiệm vụ sẽ chỉ bao gồm thời gian tự thực hiện nhiệm vụ, không kể thời gian đọc và hiểu những chỉ dẫn dành cho nhiệm vụ. Việc tính thời gian nên bắt đầu sau khi người sử dụng đã đọc những chỉ dẫn và tại thời điểm thông tin trên màn hình tương tác được hiển thị phục vụ người sử dụng. Những hướng dẫn nhiệm vụ thử nghiệm cần sẵn có cho người tham dự để tiến hành xem lại trong suốt quá trình thực hiện nhiệm vụ.

Cần thiết lập một khoảng thời gian tối đa cho phép để đạt được mục tiêu một cách thành công. Khoảng thời gian này cần phù hợp nhằm cho phép những người thử nghiệm thử nhiều cách khác nhau để đạt được mục tiêu trước khi họ từ bỏ. Khoảng thời gian được mong đợi để hoàn thiện nhiệm vụ cần được ước tính từ những lần tiền thử nghiệm và khoảng thời gian tối đa cho phép để người sử dụng thực hiện trước khi họ được phân loại như đã không đạt được mục tiêu tối thiểu phải lớn hơn 3 lần so với thời gian mong đợi. Phép đo thời gian thực hiện nhiệm vụ cần dừng lại nếu cần nhiều thời gian hơn là khoảng thời gian tối đa và nhiệm vụ sẽ được phân loại là không thành công.

Chi phí thực hiện nhiệm vụ: Mặc dù thời gian là nguồn lực được đo phổ biến nhất, nhưng trong một số trường hợp, các nguồn lực khác tính bằng chi phí tiền tệ lại đóng vai trò quan trọng (như chi phí cho một cuộc gọi).

Thời gian được nhận thấy, chi phí được nhận thấy: điều quan trọng là biết được cảm giác của người sử dụng về thời gian hay chi phí.

b) Yêu cầu về nguồn lực con người

Nỗ lực về nhận thức và thể chất sẽ được đo khi nhiệm vụ tạo ra một yêu cầu đáng kể về nguồn lực nhận thức và thể chất.

Nỗ lực thể chất: đối với các tính năng điều khiển vật lý, sẽ có một mức độ tối ưu về nỗ lực thể chất và có một mức độ tối đa có thể chấp nhận được về nỗ lực thể chất được đo một cách khách quan hoặc chủ quan.

Nỗ lực tâm lý: ngoài nỗ lực tâm lý có thể được chấp nhận tối đa, còn có thể tồn tại một lượng nhỏ các nhiệm vụ (ví dụ để duy trì sự yêu thích). Nỗ lực tâm lý thường được đo nhiều nhất thông qua một bộ câu hỏi.

7.5.2.4  Sự thỏa mãn

Sự thỏa mãn toàn diện đối với tất cả các mục tiêu có trong thử nghiệm sẽ được đo ngay tại phần cuối của thử nghiệm sử dụng thang đo biểu tượng diễn cảm tại E.1. SUS cũng có thể được sử dụng.

CHÚ THÍCH 1: Thang đo biểu tượng diễn cảm có lợi thế là đơn giản và nhanh chóng đối với người quản trị và được sử dụng rộng rãi trong nghiên cứu về người tiêu dùng.

CHÚ THÍCH 2: Thang đo SUS được sử dụng rộng rãi trong nghiên cứu tính khả dụng và, vì nó có 10 câu hỏi, nên có lẽ sẽ có độ tin cậy cao hơn. Sự phân bố kết quả đối với các dạng thức khác nhau của sản phẩm cũng sẵn có. [24]

Đo đạc sự thỏa mãn có thể bao gồm sự thỏa mãn toàn diện về sản phẩm, sự thỏa mãn với từng đặc điểm của sản phẩm, sự thỏa mãn với việc đạt được mục tiêu tương ứng, sự thích thú khi sử dụng.

Khi hơn một nhiệm vụ được thử nghiệm, nếu phù hợp, sự thỏa mãn cần được đo cho từng nhiệm vụ cũng như cho việc sử dụng tổng thể (xem E.2).

CHÚ THÍCH 3: Đo sự thỏa mãn sau thử nghiệm tổng thể sẽ có được cảm tưởng toàn diện của người sử dụng một cách chính xác hơn, trong khi đo sự thỏa mãn sau từng nhiệm vụ (ví dụ: với thang đo biểu tượng diễn cảm) sẽ đem lại sự đánh giá chính xác hơn về sự thỏa mãn của người sử dụng với từng mục tiêu hoặc nhiệm vụ.

Khi những khía cạnh khác của sự thỏa mãn như kinh nghiệm của người sử dụng, sự hài lòng, hoặc lòng tin đóng vai trò quan trọng, thì có thể sử dụng nhiều cá thang đo đặc biệt hơn. Khi có sẵn một bộ câu hỏi đã được xuất bản và có hợp lệ, thì bộ câu hỏi này có thể được sử dụng bởi nó sẽ đem lại những kết quả đáng tin cậy hơn so với bộ câu hỏi không theo thể thức.

CHÚ THÍCH 4: Kết quả của sự thỏa mãn có thể bao gồm những ảnh hưởng đến thái độ như mua hoặc sử dụng lại một sản phẩm hoặc một nhãn hiệu được tin dùng.

7.5.3  Xác định số người tham dự được yêu cầu đối với mức độ tin cậy mong đợi

Để giảm bớt tác động của bất kỳ lỗi lấy mẫu nào, một lượng ít nhất là 10 người tham gia đại diện sẽ được sử dụng cho từng nhóm người sử dụng được thử nghiệm (xem C.3).

Mức độ tin cậy thống kê được yêu cầu (tin tưởng rằng kết quả không tình cờ xảy ra) sẽ được nhận diện. Mức độ của sự tin cậy cần thiết sẽ phụ thuộc vào dạng thử nghiệm và mục đích. Tỷ lệ thành công theo yêu cầu càng cao và sự tin cậy càng cao, thì sẽ yêu cầu càng nhiều người sử dụng.

CHÚ THÍCH: Trong công tác khoa học, thường yêu cầu tối thiểu 95 % sự tin cậy để rút ra kết luận, nhưng đối với một số mục đích kinh doanh, thì mức độ thấp hơn về lòng tin (khoảng 80 %) có thể phù hợp [21] nếu 20 % rủi ro của một kết luận không chính xác có thể được chấp nhận.

VÍ DỤ 1: Tiêu chuẩn Quốc tế đối với các hộp đựng không chỉ định cho trẻ em, tiêu chuẩn ISO 8317, yêu cầu 75 % trẻ em không thể mở được hộp, với 95 % tin tưởng.

VÍ DỤ 2: Bảng D.2 cho thấy 95 % sự tin cậy và 80 % tỷ lệ thành công, với một mẫu gồm 14 người sử dụng, thì tất cả những người sử dụng này phải thành công hoặc 20 trong số 21 người sử dụng trong một mẫu thử phải thành công. Bảng D.1 cho thấy rằng nếu 80 % sự tin cậy là vừa đủ, thì các mẫu thử nhỏ bằng 4 có thể đem lại 80 % sự tin cậy trong tỷ lệ thành công là 80 %.

7.5.4  Tuyển một mẫu thử người sử dụng

Một mẫu thử (hoặc các mẫu thử) đại diện cho (các) nhóm người sử dụng dự kiến hoặc người sử dụng thực tế sẽ được tuyển chọn (từ tập hợp người sử dụng được nhận diện trong mục 7.3.3) để tham gia thử nghiệm. (Những) mẫu người sử dụng sẽ được lựa chọn để làm mô phỏng cho sự phân bổ các đặc điểm người sử dụng thích hợp trong (các) nhóm người sử dụng xác định (xem C.4). (Các) mẫu cần có sự phân bổ giá trị hoặc thuộc tính của các đặc điểm người sử dụng liên quan gần với (các) nhóm người sử dụng dự kiến hoặc thực tế được xác định trong 7.3.3.

CHÚ THÍCH 1: Nhiều đặc điểm chung, thể chất và tâm lý (thể lực, thị lực và khả năng nhận thức) có thể được lấy mẫu tương ứng thông qua sự khác biệt về nhân khẩu học như lứa tuổi và trình độ học vấn. Tuy nhiên hướng tiếp cận này sẽ không bao gồm các nhân tố như các dạng tàn tật nhất định, những kinh nghiệm có liên quan trước đó, kiến thức hoặc các kỹ năng đặc biệt và văn hóa. Những nhóm này có thể được lựa chọn dựa trên các yêu cầu về sản phẩm và giao diện dành cho việc tương tác thành công với sản phẩm và được kiểm tra riêng biệt (xem C.1).

VÍ DỤ: Một chuông báo thức yêu cầu sự khéo léo trong sử dụng để vận hành các tính năng điều khiển và tuổi đọc 12 năm để hiểu được các hướng dẫn. Những đặc điểm người sử dụng liên quan này được lấy mẫu thông qua những người sử dụng được tuyển với một sự phân bổ đại diện về lứa tuổi và trình độ học vấn hiện có. Chỉ 5 % người mua được kỳ vọng có kinh nghiệm trước về dạng đồng hồ báo thức này, và vì nhiệm vụ thiết lập báo thức được mong đợi là sẽ khó hơn rất nhiều đối với những người chưa có kinh nghiệm sử dụng, chỉ những người chưa có kinh nghiệm trước mới được thử nghiệm.

Những người tham gia thử nghiệm sẽ không thuộc tổ chức tiến hành thử nghiệm hay chế tạo ra sản phẩm, trừ khi sản phẩm được sử dụng trong tổ chức đó, trong trường hợp này những người tham gia thử nghiệm sẽ không thuộc bộ phận phát triển, cần cố gắng tuyển những người không phải là thành viên gia đình hay bạn bè vì họ có thể sẽ thiên vị.

CHÚ THÍCH 2: Những người tham dự đã quen với lĩnh vực công nghệ và/hoặc quy trình thiết kế và phát triển sở hữu kiến thức và kỹ năng mà những người sử dụng đại diện không có. Tham gia cùng họ trong nghiên cứu có thể thỏa hiệp sự hợp lệ của nghiên cứu đó.

7.5.5  Cấu hình sản phẩm

Phiên bản của sản phẩm được thử nghiệm sẽ được ghi lại. Việc đánh giá sẽ được tiến hành với sản phẩm đang được sử dụng kết hợp với thiết bị hoặc tài liệu thông thường có mặt trong quá trình sử dụng sản phẩm.

Thương hiệu sản phẩm có thể ảnh hưởng lớn đến sự thỏa mãn do vậy nếu phù hợp để giảm bớt ảnh hưởng của Thương hiệu sản phẩm lên kết quả, thì nên dấu kín Thương hiệu sản phẩm đó.

Sản phẩm cần được lắp đặt theo một cấu hình phù hợp (thường là cấu hình mặc định khi phân phối), hoặc đối với việc lắp đặt và thiết lập, thì cấu hình sẽ được cung cấp khi người sử dụng theo cách điển hình mà họ nhận được.

Khi thử nghiệm bắt đầu, sản phẩm cần được thiết lập theo một cấu hình đặc thù mà người sử dụng có thể sẽ được trải nghiệm.

VÍ DỤ: Sử dụng một chiếc điện thoại di động với các cài đặt mặc định hoặc sử dụng một đầu ghi TV đặt dưới TV. Để cài đặt, chiếc điện thoại di động được cung cấp một chiếc hộp trong đó có tài liệu liên quan. Một chiếc lò nướng được lắp đặt chuyên nghiệp trong một căn nhà thực tế kết nối với đường cung cấp khí đốt hoặc điện, nhưng thiếu cấu hình cho đồng hồ hoặc các tính năng điều khiển khác.

Bất kỳ hướng dẫn đi kèm với sản phẩm đều được cung cấp cho người sử dụng, trừ khi mục đích thử nghiệm là để kiểm tra tính khả dụng hoặc khả năng tiếp cận mà không cần hướng dẫn.

7.5.6  Xác định các tình huống thử nghiệm và tiêu chí mục đích

Một tình huống thử nghiệm sẽ được xác định cho từng mục tiêu được thử nghiệm.

Một tình huống thử nghiệm là một ví dụ về tình huống đánh giá mô tả một hoàn cảnh mà tại đó người tham dự được yêu cầu đạt được (các) mục tiêu nhất định trong một môi trường đặc biệt.

Tình huống thử nghiệm sẽ bao gồm một tuyên bố chính xác về mục tiêu sẽ đạt được (xem 7.3.2).

VÍ DỤ 1: Sử dụng điện thoại gọi đến số 01509 123456.

VÍ DỤ 2: Thiết lập các tính năng cho một chiếc điện thoại di động trong lần sử dụng đầu tiên.

Đối với từng mục tiêu thử nghiệm, tiêu chí đối với việc đạt được mục tiêu sẽ được xác định (xem 7.3.2.3), cùng với cách thức thiết lập để có thể đạt được mục tiêu đó.

Đôi khi có thể thiết lập tiêu chí dành cho thời gian thực hiện nhiệm vụ có thể chấp nhận được, [27] ví dụ, dựa trên khoảng thời gian người sử dụng dự kiến sẽ đạt được cùng mục tiêu khi sử dụng sản phẩm khác. Thời gian có thể chấp nhận được tối đa sẽ được xác định cho từng nhiệm vụ (xem 7.5.2.3).

Nếu có nhiều hơn một mục tiêu được tiến hành thử nghiệm, sẽ cần phải quyết định thứ tự tiến hành các nhiệm vụ. Nói chung, nếu có một trình tự thông thường mà các nhiệm vụ sẽ được tiến hành, thì trình tự đó sẽ chính là thứ tự tiến hành thử nghiệm. Nếu không tồn tại trình tự nào cả, thì cần tránh tiến hành thử nghiệm theo một trình tự cố định nhằm tránh các ảnh hưởng trật tự tùy tiện. Trong trường hợp này, trật tự cần được thay đổi một cách có hệ thống hoặc chỉ định người tham gia thử nghiệm một cách ngẫu nhiên.

7.5.7  Thiết lập thủ tục thử nghiệm

a) Một kịch bản bằng văn bản sẽ được chuẩn bị cho từng mục tiêu nhiệm vụ, bao gồm các hướng dẫn được trình diễn cho từng người sử dụng. Kịch bản sẽ bao gồm phần mô tả tình huống trong đó việc thử nghiệm sẽ được tiến hành (ví dụ: chụp một bức ảnh tại buổi họp mặt gia đình) và sẽ xác định rõ mục đích cụ thể và các điều kiện áp dụng cho mục đích đó. Sẽ không có những gợi ý về việc đạt được mục tiêu hay sử dụng những đặc điểm nào. Kịch bản nên bao gồm tất cả những thông tin mà người sử dụng cần biết để thực hiện nhiệm vụ. Những người tham dự sẽ không được yêu cầu đọc bất kỳ một hướng dẫn sử dụng sản phẩm sẵn có nào (xem 7.5.5).

b) Người sử dụng sẽ không được cung cấp bất kỳ một gợi ý hoặc hỗ trợ nào từ nhân sự tiến hành thử nghiệm, nhưng dựa trên mục đích của thử nghiệm, những hướng dẫn đi kèm với sản phẩm có thể được cung cấp.

c) Những người tiến hành thử nghiệm sẽ ghi lại khoảng thời gian cần để đạt được từng mục tiêu. Nếu người sử dụng dùng hết tổng lượng thời gian tối đa cho phép mà không đạt được mục tiêu, họ sẽ được yêu cầu dừng lại và nếu phù hợp, sẽ chuyển tới mục tiêu tiếp theo.

d) Bản chất của bất kỳ lỗi nào hoặc những khó khăn khác mà người sử dụng gặp phải có thể được ghi lại nhằm nhận diện các vấn đề về tính khả dụng và có thể được cung cấp như phản hồi để phục vụ thiết kế. Điều này có thể bao gồm những gì mà tập con các mục tiêu đã đạt được hoặc chưa đạt được và lý do tại sao.

7.5.8  Tạo ra môi trường thử nghiệm

a) Thử nghiệm sẽ được tiến hành trong một môi trường mô phỏng gần giống với môi trường mà sản phẩm sẽ được sử dụng. Nếu sử dụng một phòng thí nghiệm tính khả dụng, thì cần ghi lại các điều kiện thông thường có thể ảnh hưởng tới mức độ của tính khả dụng đạt được.

Nếu một mục tiêu đạt được trong khi việc sử dụng sản phẩm có thể chịu ảnh hưởng xấu bởi các điều kiện môi trường cụ thể, thì thử nghiệm có thể được tiến hành trong các điều kiện đó nhằm bảo đảm các mức độ cao của tính khả dụng trong mọi tình huống.

VÍ DỤ 1: Thường được sử dụng trong thời tiết lạnh bởi những người đeo găng tay do đó sẽ được thử nghiệm trong môi trường lạnh.

b) Nếu sản phẩm thường được sử dụng/lắp đạt trong môi trường căng thẳng, thì điều này có thể được tái hiện lại trong môi trường thử nghiệm hoặc sử dụng một thử nghiệm trên hiện trường.

VÍ DỤ 2: Thử nghiệm một hệ thống hướng dẫn đường đi trong các điều kiện giao thông đông đúc.

c) Cung cấp bất kỳ tài liệu cần thiết để sử dụng/lắp đặt sản phẩm.

d) Cung cấp cách thức truy nhập một đường dây hỗ trợ hoặc hỗ trợ qua mạng, nếu được, cho một sản phẩm.

VÍ DỤ 3: Cầu là, ghi chú cho một máy, bánh mì cho lò nướng bánh, quần áo cho một máy giặt.

7.5.9  Thử nghiệm thí điểm

Khi lần đầu thử nghiệm một sản phẩm, một hoặc hai người hoàn thiện thử nghiệm về tính khả dụng có thể cho thấy những sai sót rõ ràng với thiết kế thử nghiệm hoặc với sản phẩm trước khi tiết hành thử nghiệm đầy đủ. Một thử nghiệm thí điểm có thể điều chỉnh lại các tình huống nhiệm vụ nhằm giảm bớt sự tối nghĩa và tránh những vấn đề không mong muốn.

7.5.10  Đánh giá xem liệu tiêu chí đối với việc đạt được mục tiêu đã được đáp ứng bởi những người sử dụng cá nhân

Đối với mỗi người sử dụng, thành công của từng mục tiêu được thử nghiệm sẽ được phán đoán bởi việc đánh giá đầu ra để tìm hiểu xem tiêu chí thành công đã được đáp ứng hay chưa (xem 7.3.2.3). Một trong những phương pháp sau đây sẽ được sử dụng vào việc đánh giá:

a) đánh giá bởi người quản lý thử nghiệm thành công thông qua việc điều tra đầu ra, khi hoạt động này được tiến hành theo cách thức hợp lý và đáng tin cậy;

b) đánh giá thành công dựa trên trình tự các bước hành động của người sử dụng được biết là sẽ dẫn đến kết quả đáng tin cậy trong một đầu ra có thể được chấp nhận (xem 5.3);

c) sử dụng tiêu chí kỹ thuật đã được thiết lập để đánh giá chất lượng của các kết quả.

8  Kết quả

8.1  Khái quát

Tất cả các phương pháp sẽ được ghi lại bằng các khoảng tin cậy (xem Phụ lục D).

Nếu tuyên bố một yêu cầu đã được đáp ứng, thì mức thống kê có ý nghĩa sẽ được xác định.

Nếu tiến hành so sánh hai sản phẩm, ý nghĩa thống kê về bất cứ sự khác biệt nào giữa các sản phẩm đó hoặc các điều kiện khác sẽ được xác định.

8.2  Mục tiêu

Nếu đo đạc tính khả dụng của toàn bộ sản phẩm, và nếu tất cả các mục tiêu chính của sản phẩm đều đã được thử nghiệm cho cùng kết quả (đạt hoặc không đạt), thì báo cáo có thể đưa ra kết luận về tính khả dụng của một sản phẩm.

Mặt khác, nếu nhiều hơn một mục tiêu được thử nghiệm, thì các kết quả thử nghiệm sẽ xác định những mục tiêu nào được thử nghiệm và lý do tại sao, các lý do sẽ được đưa ra cho từng mục tiêu riêng biệt. Khi tiến hành so sánh các sản phẩm cả các mục tiêu chính sẽ được nhận diện và sử dụng như cơ sở để tiến hành thử nghiệm lẫn các mục tiêu được sử dụng để thử nghiệm sẽ được định rõ bằng phần giải thích tại sao các mục tiêu lại được lựa chọn.

8.3  Hiệu quả

(Các) kết quả được báo cáo sẽ bao gồm phần trăm người sử dụng đạt được từng mục tiêu một cách thành công (tỷ lệ thành công), cùng với các khoảng tin cậy, như được chỉ rõ ở Phụ lục D.

VÍ DỤ: 11 trong số 12 người sử dụng đạt được các mục tiêu chính khi sử dụng một sản phẩm. Ước tính với 80 % sự tin cậy và tối thiểu 82,1 % người sử dụng dự kiến sẽ thành công.

8.4  Hiệu suất

(Các) kết quả được báo cáo sẽ bao gồm thời gian trung bình nhân [29] mà người sử dụng cần để đạt được (các) mục tiêu cụ thể thành công, cùng với các khoảng tin cậy.

CHÚ THÍCH: số trung bình nhân là giá trị trung bình của dữ liệu nhật ký được chuyển đổi, được chuyển lại về thang đo nguyên bản.

VÍ DỤ: Thời gian trung bình mà những người sử dụng này cần để mua thành công đúng tấm vé là 20 s (với 95 % xác suất giá trị thật nằm giữa khoảng 15 s và 25 s).

Các phép đo hiệu suất khác (xem 7.5.2.3) cũng có thể được báo cáo.

8.5  Thỏa mãn

Kết quả đã báo cáo sẽ bao gồm giá trị trung bình [30] các điểm biểu tượng diễn cảm (xem Phụ lục E) cùng với các khoảng tin cậy.

9  Báo cáo

Một báo cáo kết quả toàn diện sẽ được chuẩn bị sử dụng dạng thức như được xác định tại Phụ lục F.

CHÚ THÍCH: Báo cáo toàn diện cung cấp thông tin cần thiết phục vụ các thử nghiệm so sánh trong tương lai.

Nếu một phiên bản ngắn của báo cáo được cung cấp, cần bao gồm những thông tin trong phần tóm tắt cho lãnh đạo tại F.2.

Nếu tất cả các mục tiêu chính của sản phẩm được thử nghiệm cho cùng kết quả, thì tuyên bố có thể bao gồm một tuyên bố tổng thể về tính khả dụng của một sản phẩm.

Bất kỳ tuyên bố về kết quả nào đều phải gồm các thông tin sau đây:

a) các mục tiêu không được hỗ trợ (xem 7.4);

b) nếu các mục tiêu chính được thử nghiệm, và phần giải thích về cách thức nhận diện các mục tiêu chính (xem 7.3.2.2);

c) nếu các mục tiêu chính không được thử nghiệm, thì những lý do lựa chọn mục tiêu sẽ được thử nghiệm (xem 7.3.2.2).

Phụ lục A

(Tham khảo)

Các mục tiêu của người sử dụng

Bảng 1 đưa ra những ví dụ về các mục tiêu của người sử dụng dành cho việc lựa chọn các sản phẩm.

CHÚ THÍCH: Sẽ là không phù hợp nếu chỉ tiến hành thử nghiệm những mục tiêu chính, trong trường hợp còn có các mục tiêu quan trọng khác.

Bảng 1 - Các ví dụ về những sản phẩm khác nhau và (các) mục tiêu chính gắn với người sử dụng

Phụ lục B

(Tham khảo)

Bối cảnh áp dụng phương pháp

B.1  Sự khác nhau giữa các phương pháp thử nghiệm tính khả dụng mẫu và tổng thể

Các phương pháp thử nghiệm tổng thể được sử dụng để đo khả năng hữu dụng của một sản phẩm. Phần này của ISO/TR 20282 bao gồm một phương pháp thử nghiệm có thể được sử dụng, ví dụ: để ước tính phần trăm số người thành công trong việc đạt được mục tiêu của mình trong thực tế sử dụng. Các phương pháp mẫu được sử dụng để hiểu được điểm mạnh và điểm yếu của một sản phẩm để cải thiện tính khả dụng của sản phẩm đó. Các phương pháp mẫu để thử nghiệm tính khả dụng dựa trên người sử dụng chủ yếu sử dụng một số ít người sử dụng và gồm cả ý kiến rõ ràng của người sử dụng do đó các phương pháp này không đưa ra được những ước tính chính xác về hiệu quả, hiệu suất và sự thỏa mãn.

B.2  Sự lựa chọn các phép đo

Để có được các phép đo tính khả dụng đáng tin cậy, cần có một phương pháp đánh giá tổng thể phù hợp với tiêu chuẩn ISO 9241-11. Điều này trái ngược với các phương pháp đánh giá mẫu đặc thù sử dụng một lượng nhỏ người tham gia để nhận diện các vấn đề về tính khả dụng.

Hiệu quả được nhận diện trong tiêu chuẩn ISO 9241-11 dưới dạng độ chính xác và hoàn thiện, nhưng đối với những nhiệm vụ đơn giản thuộc phạm vi tại tiêu chuẩn này ISO/TR 20282, thì chỉ sử dụng tỷ lệ thành công.

CHÚ THÍCH: Khá khó để đo đặc độ chính xác; ví dụ xem tiêu chuẩn ISO/IEC 205062.

Hiệu suất được định nghĩa tại tiêu chuẩn ISO 9241-11 dưới hình thức nguồn lực được sử dụng liên quan đến độ chính xác và hoàn thiện. Đối với các mục đích thực tiễn, thời gian là nguồn lực quan trọng nhất (và tự nó có thể diễn giải một cách dễ dàng hơn so với một tỷ lệ).

Sự thỏa mãn được định nghĩa tại tiêu chuẩn ISO 9241-11 như là thoát khỏi sự lo lắng, và những thái độ tích cực hướng đến việc sử dụng một sản phẩm. Đối với tính khả dụng, thành tố quan trọng nhất của sự thỏa mãn chính là thái độ tích cực.

B.3  Số lượng người sử dụng

Trong khi một lượng nhỏ người sử dụng đôi khi đủ để nhận diện một phần lớn các vấn đề về tính khả dụng, thì một số lượng lớn người sử dụng lại được yêu cầu để ước tính một cách tin cậy trung bình dân số đối với tỷ lệ thành công (xem C.3). Những số lượng lớn hơn cũng có thể làm cho việc đạt được mẫu đại diện người sử dụng dễ hơn.

Phụ lục C

(quy định)

Tuyển chọn mẫu đại diện cho người sử dụng

C.1  Quyết định việc chia nhỏ người sử dụng thành từng nhóm

Quyết định xem các đặc điểm của những nhóm người sử dụng dự kiến hay thực tế được nhận diện trong 7.3.3 để chia người sử dụng thành các nhóm riêng biệt sẽ có ảnh hưởng to lớn đến tính khả dụng.

Nếu có nhiều hơn một nhóm người sử dụng riêng biệt, thì quyết định xem liệu thử nghiệm toàn bộ hay chỉ một vài nhóm người sử dụng, dựa trên mục đích của thử nghiệm.

VÍ DỤ 1: Nếu ngôn ngữ nói sẽ ảnh hưởng lớn đến tính khả dụng, thì từng nhóm ngôn ngữ sẽ được thử nghiệm riêng biệt.

VÍ DỤ 2: Nếu kiến thức hoặc kinh nghiệm có trước sẽ gây ảnh hưởng lớn đến tính khả dụng, thì mỗi nhóm sẽ được thử nghiệm riêng biệt.

VÍ DỤ 3: Thử nghiệm ban đầu có thể chỉ dành để xác nhận tính hợp lệ của tính khả dụng đối với một nhóm người sử dụng chiếm ưu thế.

VÍ DỤ 4: Nếu tính khả dụng được biết tới là có thể chấp nhận được đối với các nhóm người sử dụng chiếm ưu thế, thì chỉ những nhóm người sử dụng gặp nhiều khó khăn hơn (như lớn tuổi hơn hoặc những người khuyết tật) có thể được thử nghiệm.

VÍ DỤ 5: Để đánh giá xem tính khả dụng và khả năng tiếp cận dành cho người sử dụng với phạm vi đặc điểm rộng nhất có thể đã đạt được, các nhóm người sử dụng rút ra từ các điểm cực trị của phạm vi đa dạng của các đặc điểm sẽ được thử nghiệm.

VÍ DỤ 6: Nếu thông tin được yêu cầu về tính khả dụng đối với toàn bộ tập hợp người, thì một mẫu đại diện rút ra từ tập hợp người có thể được thử nghiệm. Để mở rộng tối đa tính hợp lệ thống kê, sử dụng một mẫu càng lớn càng tốt. Nhưng không thể rút bất kỳ một suy luận thống kê nào về tính khả dụng cho bất kỳ nhóm hợp thành nào mà chỉ đại diện cho một phần trăm nhỏ tập hợp người sử dụng.

Nếu sau thử nghiệm, việc kiểm tra dữ liệu thử nghiệm cho thấy có những khác biệt lớn hơn dự kiến giữa các nhóm con bên trong một nhóm người sử dụng, thì sản phẩm có thể được tiến hành thử nghiệm lại sử dụng các mẫu người sử dụng mới cho mỗi nhóm con.

Việc quyết định xem nên thử nghiệm trên những người sử dụng lần đầu và/hoặc trên những người đã có kinh nghiệm trước đóng vai trò quan trọng. Thậm chí với một sản phẩm mới, người sử dụng có thể đã có kinh nghiệm khi sử dụng những sản phẩm tương tự hoặc mẫu tương tự có trước đó, do vậy cần xác định dạng kinh nghiệm liên quan trước đó.

VÍ DỤ 7: Người sử dụng một chiếc điện thoại di động được chia thành những nhóm xác định bởi kinh nghiệm của họ trong việc cài đặt dạng điện thoại di động này:

a) chưa từng cài đặt một chiếc điện thoại di động nào;

b) đã từng cài đặt điện thoại di động nhưng của một nhãn hiệu khác;

c) trước đây đã cài đặt một chiếc điện thoại di động tương tự.

Mỗi nhóm sẽ được thử nghiệm riêng biệt, vì họ đều dự kiến những kết quả khác nhau về tính khả dụng.

Chỉ một nhóm duy nhất có thể được thử nghiệm, ví dụ: những người sử dụng thường xuyên nhất hoặc một nhóm người sử dụng đặc biệt.

VÍ DỤ 8: Đồng hồ báo thức tại khách sạn có vẻ như khó điều chỉnh nếu lần đầu sử dụng, nhưng lại dễ điều chỉnh từ các lần tiếp theo trở đi. Chỉ những người chưa dùng đồng hồ báo thức loại này trước đây mới được thử nghiệm.

C.2  Lựa chọn quy mô mẫu

Để giảm bớt ảnh hưởng của bất kỳ lỗi lấy mẫu nào, tối thiểu 10 người tham dự đại diện sẽ được sử dụng cho từng nhóm người sử dụng.

Quy mô mẫu càng lớn, thì sự dự đoán càng chính xác (miễn là mẫu phải đại diện cho tập hợp người sử dụng). Nếu kết quả đạt được từ mẫu trước chưa chuẩn, thì những người tham dự bổ sung có thể được thử nghiệm.

VÍ DỤ: Nếu tỷ lệ thành công đo được là 90 %:

- Trường hợp 9 người thành công trong tổng số 10 người sử dụng, thì tỉ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 79 %.

- Trường hợp 18 người thành công trong tổng số 20 người sử dụng, thì tỷ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 81 %.

- Trường hợp 45 người thành công trong tổng số 50 người sử dụng, thì tỉ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 86 %.

- Trường hợp 90 người thành công trong tổng số 100 người sử dụng, thì tỉ lệ thành công của tập hợp người sử dụng tối thiểu với 80 % độ tin cậy là 87 %.

C.3  Tuyển một mẫu đại diện người sử dụng

Các nhóm người sử dụng hoàn toàn khác biệt về đặc điểm, nhiệm vụ hoặc môi trường là những yếu tố ảnh hưởng lớn tới tính khả dụng. Bên trong mỗi nhóm người sử dụng, sẽ có nhiều đặc điểm khác nhau (như tuổi tác hoặc giới tính) có thể ảnh hưởng đến tính khả dụng. Một mẫu đại diện cho các đặc điểm kể trên cần được tuyển lựa để tham gia thử nghiệm. Việc lấy mẫu theo dạng phân tầng có thể được sử dụng để có được một mẫu đại diện cho các đặc điểm phù hợp. Nếu được thử nghiệm tại hiện trường, mẫu đại diện có thể được xây dựng thông qua phỏng vấn để chọn ra những gì cần đưa vào mẫu đó.

Nhiều đặc điểm về thể chất và tâm lý thông thường (như sức khỏe, độ sắc nét thị giác và các khả năng nhận thức) có thể ảnh hưởng đến tính khả dụng, có thể được lấy mẫu trực tiếp thông qua sự đa dạng về nhân khẩu học phù hợp như lứa tuổi, giới tính và trình độ giáo dục. Người sử dụng cần được lựa chọn để làm đại diện cho những biến số về nhân khẩu học này và các đặc điểm đáng kể khác mà sẽ không đầy đủ nếu chỉ lấy mẫu bởi các biến số nhân khẩu học.

VÍ DỤ 1: Trong một tập hợp dân số đa dân tộc, những người sử dụng được chọn có một loạt các nền tảng văn hóa mà họ đại diện.

VÍ DỤ 2: Khi thử nghiệm một sản phẩm tiêu dùng, người sử dụng được chọn sẽ là đại diện về kinh nghiệm mà họ có được với các thương hiệu/nhãn hàng khác nhau.

VÍ DỤ 3: Một đồng hồ báo thức yêu cầu dùng tay để vận hành các chức năng điều khiển và độ sắc nét thị giác tốt để đọc được chỉ dẫn. Những đặc điểm người sử dụng phù hợp được lấy mẫu thông qua tuyển lựa người sử dụng với sự phân bổ đại diện về lứa tuổi, năng lực và trình độ học vấn. Do có 5 % người mua được hy vọng có kinh nghiệm trước đây về loại đồng hồ báo thức này và nhiệm vụ thiết lập chiếc đồng hồ này được mong chờ là sẽ khó hơn đối với những người không có được kinh nghiệm này, và chỉ những người chưa có kinh nghiệm mới được tham gia thử nghiệm.

Lấy mẫu theo dạng phân tầng (xem ISO 15535) nên được sử dụng để phân bổ người sử dụng qua càng nhiều vị trí hoán đổi của các đặc điểm nhân khẩu học (nhưng không ảnh hưởng đáng kể tới tính khả dụng thực tiễn) càng tốt. Sự kết hợp được lựa chọn về đặc điểm của người sử dụng có thể được liệt kê ra trong một bảng.

VÍ DỤ 4: Bảng C.1 trình bày một mẫu gồm 12 người tham dự trong một nhóm người sử dụng được chọn, do vậy họ có cùng các thuộc tính đại diện tương đồng: tuổi từ 18 đến 65, giới tính và trình độ học vấn.

Bảng C.1: Ví dụ về một mẫu phân tầng

C.4  Các nhóm người sử dụng thiểu số

Nếu không thể bao gồm cả những nhóm người sử dụng thiểu số (như một dân tộc hoặc một dạng khuyết tật đặc biệt) bởi những người này cấu thành một phần trăm rất nhỏ của tập hợp người sử dụng dự kiến bên trong một mẫu đại diện, các thử nghiệm bổ sung có thể được tiến hành với các mẫu riêng lẻ cho từng nhóm để xác định xem các thành viên của những nhóm này có thể sử dụng sản phẩm.

Kết cấu của các mẫu dành cho thử nghiệm cần không bao gồm các thành viên của nhóm người sử dụng với các đặc điểm được cho là sẽ có những ảnh hưởng đáng kể về tính khả dụng. Nếu người sử dụng với những đặc điểm này là một phần của tập hợp người sử dụng dự kiến, thì một mẫu đại diện cần được thử nghiệm như một nhóm người sử dụng riêng lẻ.

CHÚ THÍCH: Nếu tính khả dụng được biết tới có thể được chấp nhận đối với hầu hết tập hợp người sử dụng, thì thử nghiệm có thể giới hạn cho những nhóm nhất định được dự báo là sẽ gặp nhiều khó khăn hơn.

C.5  Tần suất tham gia

Nếu người tham gia được tuyển từ một cơ sở dữ liệu của tình nguyện viên, thì cần giới hạn tần số những người này được phép tham dự vào thử nghiệm. Điều này nhằm tránh tạo ra “những người tham dự thử nghiệm chuyên nghiệp”. Điều này có thể căn cứ trên hướng dẫn được sử dụng trong nghiên cứu thị trường đối với các nhóm trọng điểm (thường giới hạn tham gia hai lần/năm).

C.6  Dữ liệu sử dụng thông thường

Dữ liệu có thể thu được từ một sản phẩm có thể sử dụng được ngay trong hoạt động sử dụng thông thường, thông qua quan sát (nếu được chấp thuận) và từ dữ liệu được thu thập tự động từ một máy đã được trang bị để ghi lại các hành động và phản hồi của người sử dụng.

CHÚ THÍCH: Dữ liệu từ tài liệu được ghi lại có thể cung cấp những ước tính chính xác về thời gian thực hiện nhiệm vụ để hoàn thiện nhiệm vụ đó. Dữ liệu về tỷ lệ thành công sẽ ít có giá trị hơn, vì nó chỉ ghi lại thông tin về những người bắt đầu nhưng không hoàn thành nhiệm vụ. Tỷ lệ này không bao gồm những người quyết định không bắt đầu thực hiện nhiệm vụ.

Phụ lục D

(quy định)

Các khoảng tin cậy

D.1  Hiệu quả

Hiệu quả được đo bằng phần trăm người sử dụng đạt được mục tiêu sử dụng một sản phẩm một cách thành công. Các khoảng tin cậy dành cho sự hiệu quả sẽ được tính toán sử dụng số liệu thống kê nhị thức chính xác (Xem phần Thư mục tham khảo). Để thiết lập được tỉ lệ thành công cao với mức độ tin cậy cao thì cần có một mẫu lớn người sử dụng. Bảng D.1 đưa ra những ví dụ về cách tính toán thống kê (sử dụng phương pháp Adjusted Wald) của số người sử dụng không thành công tối đa được yêu cầu để tính toán các tỷ lệ thành công của tập hợp người sử dụng lớn hơn 75 % và 80 % với 80 % và 95 % sự tin cậy sử dụng thử nghiệm một đuôi (one-tailed test) (khi giả thuyết là chỉ được loại bỏ với các giá trị thấp hơn đáng kể).

CHÚ THÍCH 1: Phương pháp Adjusted Wald được dùng để tính các khoảng tin cậy vì phương pháp này cung cấp các giá trị tập hợp người sử dụng đối với các mẫu nhỏ. [25] [28] [31]

VÍ DỤ: Nếu 9 trong 10 người sử dụng thành công, thì có xác suất 95 % cho tỷ lệ thành công tối thiểu là 63 % và xác suất 80 % cho tỉ lệ thành công là 78 %.

CHÚ THÍCH 2: Những số liệu thống kê này chỉ có giá trị đối với những mẫu ngẫu nhiên với sự phân bổ kết quả thử nghiệm xấp xỉ mức bình thường. Điều quan trọng là người sử dụng được chọn ngẫu nhiên và khi phân tầng một mẫu, thì điều quan trọng là người sử dụng được chọn ngẫu nhiên theo từng phạm trù (xem Phụ lục C).

CHÚ THÍCH 3: Mức 95 % sự tin cậy là bình thường trong nghiên cứu khoa học và khi đưa ra tuyên bố cụ thể; tuy nhiên, mức 80 % sự tin cậy có thể là đủ cho các quyết định kinh doanh.

Bảng D.2 cho thấy số lượng tối đa người sử dụng không thành công được yêu cầu để ước tính tỷ lệ thành công của tập hợp người sử dụng lớn hơn 80 % với 95 % sự tin cậy là:

- 0 trong số 14 đến 20 người sử dụng được thử nghiệm;

- 1 trong số từ 21 đến 28;

- 2 trong số 30 người sử dụng;

- 3 trong số 40;

- 5 trong số 50, và

- 13 trong số 100 người sử dụng.

Số lượng tối đa những người sử dụng không thành công được yêu cầu để ước tính tỷ lệ thành công của tập hợp người sử dụng lớn hơn 75 % với 95 % sự tin cậy là:

- 0 trong số từ 10 đến 16 người sử dụng,

- 1 trong số từ 17 đến 21 người sử dụng,

- 2 trong số từ 22 đến 27 người sử dụng,

- 3 trong số 30 người sử dụng,

- 5 trong số 40 người sử dụng,

- 7 trong số 50 người sử dụng, và

- 17 trong số 100 người sử dụng.

CHÚ THÍCH 4: Ví dụ về những ước tính khác của tỷ lệ thành công của tập hợp người sử dụng được giới thiệu tại Bảng D.1 và D.2. Trong các bảng này:

Cột 1: Số người tham gia vào thử nghiệm.

Cột 2: Số lượng tối đa người tham gia thử nghiệm có thể không thành công khi mục đích của thử nghiệm là cho thấy với 80 % sự tin cậy thì tỷ lệ thành công của tập hợp người sử dụng sẽ lớn hơn 75 %.

Cột 3: Đối với số lượng những người tham gia không thành công đã được chỉ rõ, thì phần trăm số người tối thiểu được ước tính trong tập hợp người sử dụng, những người có khả năng sử dụng sản phẩm thành công, được tính với 80 % xác suất.

Cột 4: Số lượng tối đa người tham gia thử nghiệm có thể không thành công khi mục đích thử nghiệm cho thấy với 80 % sự tin cậy thì tỉ lệ thành công của tập hợp người sử dụng lớn hơn 80 %.

Cột 5: Đối với số lượng những người tham gia không thành công đã được chỉ rõ, thì phần trăm số người tối thiểu được ước tính trong tập hợp người sử dụng, những người có khả năng sử dụng sản phẩm thành công, được tính với 80 % xác suất.

Bảng D.1 - Ví dụ về cách tính toán thống kê của 80 % các khoảng tin cậy

Bảng D.2 - Ví dụ về cách tính toán thống kê của 95 % khoảng tin cậy

D.2  Hiệu suất

Các khoảng tin cậy dành cho hiệu suất sẽ được tính toán sử dụng sai số chuẩn của giá trị trung bình đối với thời gian thực hiện nhiệm vụ. Nếu dữ liệu thời gian thực hiện nhiệm vụ không chuẩn tắc, thì nên chuyển tới một phân bố chuẩn, ví dụ: sử dụng việc chuyển đổi hàm lô ga để tính toán số trung bình nhân trước khi tính sai số chuẩn của giá trị trung bình.

CHÚ THÍCH 1: Sai số chuẩn của giá trị trung bình là độ lệch tiêu chuẩn của mẫu được chia bởi căn bậc hai của kích thước mẫu.

CHÚ THÍCH 2: Kích thước của khoảng tin cậy sẽ phụ thuộc vào kích thước mẫu và sự đa dạng trong tập hợp người sử dụng được thử nghiệm. Sự đa dạng sẽ giảm cùng với kích thước mẫu tăng và thông thường sẽ lớn hơn đối với các tập hợp người sử dụng đa dạng hơn.

VÍ DỤ: Sai số chuẩn của giá trị trung bình được tính sau khi việc chuyển đổi hàm lô ga và tương đương với mức 4,2 s. Thời gian thực hiện nhiệm vụ trung bình là 22,2 s do đó kết quả có thể được báo cáo như số trung bình của 22,2 s, với 95 % khả năng là giá trị thật nằm giữa 18,0 s và 26,4 s.

D.3  Thỏa mãn

Các khoảng tin cậy đối với sự thỏa mãn sẽ được tính toán bằng cách sử dụng sai số chuẩn của giá trị trung bình.

Phụ lục E

(quy định)

Các ví dụ về thang đo sự hài lòng

E.1  Thang đo theo biểu tượng diễn cảm

Thang đo theo biểu tượng diễn cảm được Kunin (1955) đề cập đến lần đầu tiên, [20] đã được sử dụng rộng rãi trong tâm lý học để đo lượng cảm xúc theo khía cạnh sự hài lòng và cũng được sử dụng trong các bài kiểm tra tính khả dụng trong công nghiệp. Phiên bản năm-điểm của thang đo gằn đây được Ruth Jager (2004) xác nhận là một thông số phân tích và cũng được kiểm tra với các trường hợp đúng cho sự cách đều. [18]

Các vòng tròn nên có đường kính 10,5mm và thang đo nên được sử dụng trong khoảng cách 69mm tính từ tâm hai đường tròn ngoài cùng.

Với người dùng bị hạn chế về thị giác, kích thước có thể tăng lên theo tỷ lệ.

“Hãy chọn khuôn mặt tương ứng gần nhất với mức độ hài lòng với...”

Hình E.1 - Thang đo biểu tượng diễn cảm

Các biểu tượng diễn cảm có các giá trị tương ứng với -2, -1, 0, +1, +2. Không được phép có các giá trị trung gian giữa các giá trị trên. Một nhóm giá trị có thể thực hiện như một phép trung bình cộng.

E.2  Bản câu hỏi về độ hài lòng

Bản câu hỏi về độ hài lòng được sử dụng rộng rãi và bản câu hỏi hợp lệ với nhiều câu hỏi có thể đo lường trên nhiều khía cạnh khác nhau của sự hài lòng có thể đưa ra các kết quả đáng tin cậy hơn một bản câu hỏi chỉ có đầu mục đơn, nhưng các bản câu hỏi đầu mục đơn như thang đo biểu tượng diễn cảm, SMEQ, [32] hay thang đo Likert [26] thường tiện dụng hơn trong từng nhiệm vụ.

CHÚ THÍCH: Mặc dù các bản câu hỏi về sự hài lòng đưa ra dữ liệu thứ tự, các nhà thống kê đã sử dụng nhận thấy việc thống kê thông số đưa ra các kết quả có ý nghĩa khi phân tích các bản câu hỏi về sự hài lòng.

ISO/IEC 25010 phân biệt các khía cạnh tiềm ẩn của sự hài lòng có thể đo lường được:

- Sự hữu dụng: mức độ mà những người có liên quan được thỏa mãn với kết quả thực dụng mà họ cảm nhận được, bao gồm cả cảm nhận về kết quả chấp nhận được khi sử dụng và các hệ quả/hậu quả của việc sử dụng (ví dụ như sử dụng SUS[15]).

- Lòng tin: mức độ mà người có liên quan được thỏa mãn với sản phẩm sẽ đối xử như mong đợi (ví dụ sử dụng Thang đo Lòng tin Hệ thống [19]).

- Sự thích thú: mức độ mà người sử dụng đạt được sự thích thú khi được thỏa mãn đầy đủ các nhu cầu cá nhân. Nhu cầu cá nhân có thể bao gồm cả việc thu được sự hiểu biết và kỹ năng, truyền đạt được cá tính của cá nhân, và kích thích một kỷ niệm thích thú. Nếu sự thích thú là một vấn đề quan trọng, một bộ câu hỏi như AttrakDiff[17] nên được sử dụng.

- Tiện nghi: mức độ mà người sử dụng hài lòng với tiện nghi thân thể (sử dụng bản câu hỏi như CCBaseline[22]).

Phụ lục F

(quy định)

Định dạng mẫu cho các báo cáo kiểm tra

CHÚ THÍCH: Định dạng này được dựa trên Định dạng Công nghiệp Thông thường cho các báo cáo kiểm tra tính khả dụng (ISO/IEC 25062).

F.1  Đầu đề trang

Các thông tin sau cần được cung cấp:

a) tiêu đề: ISO/TS 20282-2 Báo cáo kiểm tra tính khả dụng;

b) sản phẩm và phiên bản được kiểm tra;

c) thời gian thực hiện kiểm tra;

d) địa điểm tiến hành kiểm tra;

e) ngày viết báo cáo;

f) tên tổ chức kiểm tra;

g) đầu mối liên lạc của và chi tiết liên hệ của tổ chức kiểm tra.

F.2  Bản tóm tắt cho cấp điều hành

Phần này cung cấp một cái nhìn tổng quan của quá trình thử nghiệm. Mục đích của phần này là cung cấp một bản tóm tắt độc lập.

Một cái nhìn tổng quan của quá trình thử nghiệm cần được cung cấp cho một số lượng rộng rãi người đọc, trong đó bao gồm:

a) tên và mô tả của sản phẩm,

b) (các) nhóm người sử dụng, (các) mục tiêu, và (các) môi trường đã được thử nghiệm,

c) các chỉ dẫn kèm theo sản phẩm được cung cấp cho người sử dụng và liệu họ có sử dụng, và

d) kết quả của mỗi mục tiêu được thể hiện bằng điểm số đạt được hoặc biện pháp đo xu hướng các khoảng tin cậy trung tâm phù hợp khác.

F.3  Sản phẩm và bối cảnh sử dụng được kỳ vọng

F.3.1  Mô tả toàn bộ sản phẩm

Các thông tin sau nên được cung cấp:

a) tên chính tắc của sản phẩm, kiểu mẫu, và phiên bản;

b) các thành phần hoặc chức năng của sản phẩm đã được đánh giá.

F.3.2  Bối cảnh sử dụng được kỳ vọng

Các thông tin sau nên được cung cấp:

a) mục tiêu đã được thử nghiệm và lý do tại sao chúng được chọn;

b) các nhóm người sử dụng sản phẩm dự kiến hoặc thực tế và họ được xác định như thế nào;

c) với các nhóm người sử dụng đó đã được tính đến trong quá trình thử nghiệm, các thông tin sau là cần thiết:

- các đặc tính của người sử dụng có thể ảnh hưởng đến tính khả dụng của sản phẩm;

- phạm vi của các đặc tính tồn tại trong nhóm người sử dụng dự kiến hay thực tế;

- sự phân bố được kỳ vọng của mỗi đặc tính của người sử dụng thích hợp;

- sự phù hợp của sản phẩm cho người sử dụng là người già hoặc những nhóm người cần có sự hỗ trợ đặc biệt khác;

d) các môi trường chính trong đó sản phẩm được (hoặc dự kiến được) sử dụng.

F4  Phương pháp

F.4.1  Khái quát

Cần được cung cấp đủ thông tin để cho phép một người thử nghiệm độc lập tái tạo lại thủ tục sử dụng trong quá trình kiểm thử.

F.4.2  Những người tham gia

Những thông tin về người tham gia sau đây cần được cung cấp:

a) bất kỳ đặc tính của người sử dụng nào về thân thể, cảm nhận, hoặc nhận thức được cho rằng có ảnh hưởng đến tính khả dụng;

b) tổng số người tham gia thử nghiệm;

c) (các) nhóm người sử dụng được thử nghiệm và tại sao họ lại được lựa chọn;

d) các đặc tính và khả năng then chốt của từng nhóm người sử dụng;

e) những người tham gia được lựa chọn như thế nào và liệu họ có đại diện cho những đặc tính thiết yếu;

f) bất kỳ điểm khác biệt nào giữa những mẫu người tham gia và tập hợp người sử dụng;

g) bảng của những người tham gia (hàng) theo các đặc tính (cột), bao gồm các nhân khẩu học thích hợp, kinh nghiệm, và bất kỳ các yêu cầu đặc biệt khác.

Các đặc tính này cần hoàn thành trọn vẹn đủ để khi cần có thể tuyển dụng một nhóm người tham gia tương đương.

Các đặc tính nên được chọn để thích hợp với tính khả dụng của sản phẩm; chúng nên cho phép một người đọc quyết định mức độ tương đương của những người tham gia và tập hợp người sử dụng.

BẢNG VÍ DỤ: Bảng sau là một ví dụ; các đặc tính được trình bày là tiêu biểu nhưng có thể không bao gồm được hết tất cả các thể loại cần thiết của một tình huống thử nghiệm.

ví dụ “Giới tính”, chỉ ra là “Nam” hay “Nữ”.

ví dụ “Độ tuổi”, độ tuổi theo thời gian của người tham gia hoặc chỉ ra là thành viên của một khoảng tuổi (ví dụ như từ 25 tuổi đến 45 tuổi) hoặc một độ tuổi (ví dụ như dưới 18 tuổi, trên 65 tuổi) nếu như không biết chính xác tuổi của người tham gia.

ví dụ “Khả năng ngôn ngữ”, chỉ ra bất kỳ kỹ năng ngôn ngữ nào phù hợp.

ví dụ “Thuộc tính thân thể”, mô tả bất kỳ thuộc tính thân thể nào có liên quan đến tính khả dụng.

ví dụ “Kinh nghiệm nhiệm vụ”, mô tả kiến thức phù hợp như kinh nghiệm của người sử dụng đã thực hiện nhiệm vụ dạng này như thế nào.

ví dụ “Kinh nghiệm về sản phẩm có liên quan”, chỉ ra loại và khoảng thời gian của bất kỳ kinh nghiệm nào trước kia với các sản phẩm tương tự.

F.4.3  Bối cảnh sản phẩm được sử dụng trong thử nghiệm

Các thông tin sau đây cần được cung cấp:

- bất kỳ sự khác biệt nào được biết giữa bối cảnh được đánh giá và bối cảnh sử dụng được kỳ vọng.

F.4.3.1  Các nhiệm vụ

Các thông tin sau đây cần được cung cấp:

a) các kịch bản nhiệm vụ cho việc thử nghiệm;

b) tại sao nhiệm vụ này lại được lựa chọn;

VÍ DỤ 1: Các nhiệm vụ thường xuyên nhất, các nhiệm vụ quan trọng nhất.

c) các nhiệm vụ này được xác định như thế nào;

VÍ DỤ 2: Quan sát người sử dụng các sản phẩm tương tự, các mô tả cho tiếp thị sản phẩm.

d) bất kỳ dữ liệu về nhiệm vụ được đưa ra cho những người tham gia;

e) các bộ tiêu chí hoàn chỉnh được thiết lập cho mỗi kiểm thử.

F.4.3.2  Môi trường kiểm thử

Các thông tin sau đây cần được cung cấp:

a) sự bố trí và loại không gian trong đó việc đánh giá được thực hiện;

VÍ DỤ 1: Trong phòng thí nghiệm tính khả dụng, phòng khách, nội bộ văn phòng, trong phòng gia đình, sảnh công cộng.

b) bất kỳ các đặc trưng thích hợp hoặc hoàn cảnh mà có thể ảnh hưởng đến các kết quả;

VÍ DỤ 2: Các thiết bị ghi hình ảnh và âm thanh, các gương một chiều, hoặc thiết bị thu thập dữ liệu tự động.

F.4.3.3  Môi trường kỹ thuật và công nghệ

Nếu sản phẩm cần có các thiết bị ngoại vi hoặc các hỗ trợ kỹ thuật hay công nghệ từ xung quanh mới có thể hoạt động được, thì điều này cần được xác định, ví dụ như điện thoại di động cần có nhà cung cấp dịch vụ, TV được điều khiển bằng bộ điều khiển từ xa.

F.5  Thiết kế thực nghiệm

F.5.1  Khái quát

Các thông tin sau đây cần được cung cấp:

- các phép đo mà từ đó dữ liệu được ghi lại

F.5.2  Thủ tục

Các thông tin sau đây cần được cung cấp:

a) các định nghĩa vận hành của các phép đo;

b) các giới hạn thời gian của các nhiệm vụ;

c) các chính sách và các thủ tục cho việc tương tác giữa (các) người kiểm thử và các đối tượng.

Các thông tin sau đây nên được cung cấp:

a) trình tự của các sự kiện từ khi chào hỏi những người tham gia cho đến khi giải tán họ;

b) chi tiết của những thỏa ước không tiết lộ, điền đầy đủ mẫu, khởi động, đào tạo trước nhiệm vụ, và thẩm vấn;

c) xác minh lại những điều người tham gia biết và hiểu về quyền của họ như những đối tượng là con người;

d) các bước cần được thực hiện trong các phần kiểm thử và dữ liệu ghi nhận được;

e) số lượng và vai trò của những ai đã tiếp xúc với những người tham gia trong quá trình thử nghiệm

f) liệu những cá nhân khác đã xuất hiện trong môi trường kiểm thử;

g) liệu những người tham dự đã được trả tiền hoặc đền bù khác.

F.5.2.1  Các chỉ dẫn chung cho người tham gia

Các thông tin sau đây cần được cung cấp:

a) các chỉ dẫn đã đưa cho người tham gia (ở phụ lục này hoặc trong một Phụ lục);

b) các chỉ dẫn cho người tham gia cần tương tác như thế nào với bất kỳ một người nào xuất hiện, bao gồm họ sẽ yêu cầu trợ giúp như thế nào và tương tác như thế nào với những người tham dự khác, nếu có thể.

Các thông tin sau đây nên được cung cấp:

a) xác nhận rằng người tham gia đã biết và hiểu quyền của họ như một đối tượng là con người (với những đồng thuận bằng văn bản theo các mẫu có trong một Phụ lục).

F.5.2.2  Chỉ dẫn nhiệm vụ cho người tham gia

Các thông tin sau đây cần được cung cấp:

- các tóm tắt chỉ dẫn nhiệm vụ

F.5.3  Các phép đo về tính khả dụng

Các thông tin sau đây cần được cung cấp như đã được chỉ ra trong Điều 7:

a) các phép đo về tính hiệu quả;

b) các phép đo về tính hiệu suất;

c) các phép đo về sự thỏa mãn;

Sự quan trọng của từng phép đo có thể phải được giải thích.

F.6  Các kết quả

F.6.1  Khái quát

Các thông tin sau đây cần được cung cấp đủ chi tiết để cho phép tái lập lại dữ liệu điểm số của phương pháp đo lường bởi một tổ chức khác khi thực hiện lại thử nghiệm:

a) dữ liệu thu được và điểm số;

b) dữ liệu thu gọn;

VÍ DỤ 1: Dữ liệu được tổ hợp qua các nhiệm vụ hoặc nhóm người sử dụng.

c) phân tích thống kê.

VÍ DỤ 2: Có những khác biệt nào đáng kể được suy tính ra.

Các thông tin sau đây cần được cung cấp:

- bảng các kết quả thực hiện theo từng nhiệm vụ hoặc nhóm người sử dụng bao gồm các khoảng tin cậy.

Các định dạng đồ họa khác nhau có hiệu quả trong việc mô tả dữ liệu tính khả dụng trong cái nhìn đầu tiên. Các loại đồ thị khác nhau có hiệu quả khi so sánh thời gian tiêu chuẩn của chuyên gia so với thời gian trung bình thực hiện của những người tham gia cho một sản phẩm.

F.6.2  Các kết quả thực hiện

Một bảng kết quả có thể được trình bày theo nhóm của các nhiệm vụ có liên quan khi điều này có hiệu năng cao hơn và mang lại ý nghĩa.

Các thông tin sau đây nên được cung cấp:

a) (các) bảng biểu tóm tắt của kết quả thực hiện trên toàn bộ các nhiệm vụ;

b) trình diễn bằng đồ họa của các kết quả thực hiện.

Bảng ví dụ

F.7  Phần phụ lục

Các thông tin sau đây cần được cung cấp:

a) các chỉ dẫn chung cho người tham gia (nếu không có trong nội dung chính của báo cáo);

b) các chỉ dẫn nhiệm vụ cho người tham gia

Các thông tin sau đây nên được cung cấp:

- đưa ra các ghi chú giải thích hoặc cập nhật các kết quả thử nghiệm.

Phụ lục G

(quy định)

Đặc tả các yêu cầu về tính khả dụng

G.1  Giới thiệu

Một bản đặc tả các yêu cầu về tính khả dụng có thể được sử dụng (ví dụ như, trong mua sắm hoặc, nội bộ, trong quá trình phát triển) để xác định các yêu cầu cho tính khả dụng và/hoặc tính tiếp cận (trong ngữ cảnh của sự hiệu quả, hiệu năng, và sự thỏa mãn) của việc đạt được các mục tiêu của người sử dụng (bao gồm cả việc thiết lập và lắp đặt) và ngữ cảnh trong đó các yêu cầu nên được đánh giá (các nhóm người sử dụng, các thành quả, và môi trường được sử dụng trong thử nghiệm).

Phụ lục G sẽ xác định thông tin cần được đưa vào trong một bản đặc tả về tính khả dụng.

G.1.1  Khái quát

Ngữ cảnh sử dụng: Mô tả ngữ cảnh sử dụng cần phải có các mục sau:

- những người sử dụng,

- các thành quả/kết quả,

- môi trường vật lý và xã hội.

Các thông số đo lường tính khả dụng: các thông số đo lường tính khả dụng cần phải có:

- cho các thành quả/kết quả quan trọng nhất: các kịch bản kiểm thử và các thông số đo lượng cho mỗi kịch bản;

- ít nhất một giá trị mục tiêu cho mỗi kịch bản kiểm thử.

G.2  Ngữ cảnh

G.2.1  Người sử dụng

Các thông tin sau đây cần được cung cấp:

a) danh sách của nhóm người sử dụng được kỳ vọng;

b) các đặc tính và năng lực then chốt của từng nhóm người sử dụng những yêu cầu được cung cấp.

Các đặc tính nên được chọn sao cho phù hợp với việc sử dụng sản phẩm; chúng nên đủ chi tiết để đảm bảo những người tham gia thử nghiệm, người đại diện cho những người sử dụng thực tế, có thể được lựa chọn.

CHÚ THÍCH: Các yếu tố thích hợp có thể bao gồm kinh nghiệm sử dụng máy tính, sử dụng các sản phẩm tương tự, quen thuộc với nhiệm vụ, tần suất sử dụng, sự thành thạo, đào tạo, văn hóa, quốc tịch, độ tuổi, các nhu cầu đặc biệt, và mục đích sử dụng sản phẩm.

Các yêu cầu nên được cung cấp cho các nhóm người sử dụng quan trọng nhất, như những nhóm người có yêu cầu cao nhất hay sử dụng thường xuyên nhất (điều này có thể bao gồm những nhóm người sử dụng thiểu số, xem trong C.5).

G.2.2  Kết quả

Kết quả của mỗi nhóm người sử dụng cần được liệt kê, mà không cần tham chiếu đến các phương tiện cụ thể để đạt được chúng. Kết quả nên là một giá trị đầu ra dự kiến cho người sử dụng.

CHÚ THÍCH: Trong một số trường hợp, nếu có thể nên xác định và liệt kê tất cả các kết quả thông thường. Trong các trường hợp khác, danh sách nên giới hạn ở lắp đặt và thiết lập, các nhiệm vụ quan trọng nhất, các nhiệm vụ tiêu biểu, và những nhiệm vụ mà có thể phải gặp thường xuyên nhất.

G.2.3  Các môi trường vật lý và xã hội

Bất kỳ khía cạnh môi trường vật lý và xã hội nào được kỳ vọng mà có thể ảnh hưởng đến tính khả dụng nên được xác định:

a) môi trường vật lý trong đó sản phẩm được sử dụng, bao gồm vị trí và các điều kiện vật lý phù hợp, như nhiệt độ hay chiếu sáng;

b) môi trường tổ chức, trong đó gồm có động lực công việc nhóm, sức ép với thời gian, giám sát, và hỗ trợ;

c) bất kỳ rủi ro nào về vật lý hay tài chính, cũng như các vấn đề về sức khỏe và an toàn.

G.3  Các thông số đo lượng tính khả dụng

Lựa chọn những nhiệm vụ để chi tiết hóa các kết quả về sự hài lòng cũng như hiệu năng của sự thực hiện, ví dụ, như những nhiệm vụ thường xuyên và quan trọng nhất.

Kết quả kết hợp với một nhiệm vụ sẽ tạo thành một cơ sở các yêu cầu nên được xác định với những kịch bản thử nghiệm. Với mỗi kết quả được chi tiết hóa, xây dựng một hay nhiều kịch bản kiểm thử cụ thể để xác định các đặc tính của người sử dụng và môi trường sử dụng và mục tiêu để thực hiện nhiệm vụ này. Có rất nhiều kịch bản thử nghiệm độc lập cho những người sử dụng lần đầu tiên và người đã có nhiều kinh nghiệm.

Với mỗi kịch bản thử nghiệm, các thông số đo lượng phù hợp cần được xác định. Có thể bao gồm những thông số sau:

a) Hiệu quả: tỷ lệ hoàn thành không có người hỗ trợ. Tỷ lệ hoàn thành là tỷ lệ phần trăm người tham gia có thể hoàn thành và thu nhận được từng kết quả chính xác trong khoảng thời gian tối đa đã được xác định. Nếu kết quả chỉ thu được một phần (như không hoàn thành hoặc đạt được kết quả dưới mức tối ưu), thì cũng vẫn có ích để thiết lập các yêu cầu cho việc thu nhận được một phần của kết quả, được ghi điểm theo thang từ 0 % tới 100 % dựa trên các tiêu chí cụ thể có liên quan đến giá trị của một phần kết quả.

VÍ DỤ: Tỷ lệ phần trăm của khách hàng có thể hoàn thành một giao dịch trên một trang thông tin điện tử (website)

CHÚ THÍCH: Các yêu cầu về tính hiệu quả dựa trên kết quả chính xác. Cần chấp nhận rằng người sử dụng thao tác sai trong quá trình tương tác, và tiếp tục thực hiện đến xong sau khi đã gặp lỗi. Theo dõi các lỗi là cực kỳ hữu ích trong việc quyết định khía cạnh nào của sản phẩm cần được hoàn thiện.

b) Hiệu suất: thời gian trung bình cần thiết để hoàn thành mỗi kết quả và các thông số đo khác về nguồn lực sử dụng.

c) Sự thỏa mãn: kết quả điểm số trung bình trong khi sử dụng bản câu hỏi phỏng vấn được thiết lập riêng.

Tương quan về sự quan trọng liên quan giữa các thông số đo này nên được chỉ rõ.

Các giá trị mục tiêu là những giá trị nhỏ nhất có thể chấp nhận được suy ra từ những giá trị hiện có hoặc giá trị của hệ thống so sánh cạnh tranh cho cùng một nhiệm vụ và kết quả dựa trên đánh giá của các chuyên gia. Những giá trị mục tiêu khác tốt hơn giá trị nhỏ nhất có thể chấp nhận được cũng có thể được xác định.

Mỗi giá trị mục tiêu nên được đưa ra như sau

a) một yêu cầu rõ ràng,

b) một yêu cầu tạm thời là đối tượng để thương thảo thêm, hoặc

c) một đối tượng mục tiêu để hướng dẫn.

CHÚ THÍCH: Một cách thông thường để thiết lập các giá trị mục tiêu là đầu tiên đo lường tính hiệu quả, hiệu năng, và sự hài lòng cho từng kết quả bằng sử dụng một hệ thống đã có sẵn hay so sánh cạnh tranh, và sau đó đặt ra các yêu cầu cho một hệ thống mới cũng tốt tương tự hoặc tốt hơn hệ thống hiện có.

Khi các giá trị mục tiêu đã được xác định như các yêu cầu, chúng nên bao gồm hệ số tin cậy (mức độ tin cậy) thống kê cần thiết (hệ số hay mức độ tin cậy mà kết quả không phải xảy ra do ngẫu nhiên) (xem 7.5.3).

G.4  Các yêu cầu cho việc thử nghiệm

Nếu các yêu cầu cho việc kiểm thử là cần thiết và yêu cầu đưa vào, các định dạng trong Phụ lục H sẽ được sử dụng. Phụ lục H cung cấp những yêu cầu cho việc xác định phương pháp được sử dụng để thử nghiệm liệu các yêu cầu về tính khả dụng đã đáp ứng và ngữ cảnh trong đó việc đo lường được thực hiện.

CHÚ THÍCH: Các chỉ tiêu về tính hiệu năng và sự hài lòng được xác định trong G.3 là những giá trị được yêu cầu trong ngữ cảnh sử dụng. Sự chính xác và chuẩn xác trong đó chúng được đo lường sẽ được quyết định bằng ngữ cảnh chúng được đo lường (số lượng và loại người sử dụng, cách mà các nhiệm vụ được mô phỏng, và môi trường hoạt động được mô phỏng).

Phụ lục H

(quy định)

Đặc tả các thủ tục kiểm thử tính khả dụng

H.1  Khái quát

Phụ lục H liệt kê thông tin cần thiết khi xác định thủ tục thực hiện việc kiểm tra liệu những yêu cầu về tính khả dụng (được đặc tả trong Phụ lục G) có đạt được hay không. Kết quả của công tác kiểm thử có thể được ghi lại sử dụng định dạng trong Phụ lục F sau đây.

H.2  Những người sử dụng

Các thông tin sau đây cần được cung cấp:

a) phân chia của nhóm người sử dụng đã kiểm thử, nếu có nhiều hơn một;

b) tổng số người tham gia cần thiết;

c) cách người tham gia được lựa chọn theo những đặc tính cần thiết mà họ có.

Các đặc tính nên được chọn sao cho thích hợp với tính khả dụng của sản phẩm; chúng nên chi tiết đủ để đảm bảo rằng những người tham gia đại diện cho những người sử dụng thật sự.

Các thông tin sau đây nên được cung cấp:

a) bất kỳ sự khác biệt được kỳ vọng nào giữa những mẫu người tham gia và nhóm người sử dụng;

VÍ DỤ: Kinh nghiệm của những người tham gia với sản phẩm sẽ ít hơn người sử dụng bình thường đang được hướng tới.

b) mô tả của bất kỳ nhóm người sử dụng nào cần sự trợ giúp đặc biệt.

H.3  Ngữ cảnh của sản phẩm sử dụng trong kiểm thử

H.3.1  Kết quả

Các thông tin sau đây cần được cung cấp:

a) các kịch bản nhiệm vụ cần được kiểm thử;

b) các chỉ tiêu cho việc hoàn thành của mỗi kết quả;

c) bất kỳ dữ liệu nhiệm vụ nào được đưa ra cho người tham gia.

H.4  Hỗ trợ thử nghiệm

Các thông tin sau đây cần được cung cấp:

a) cấu hình và loại không gian trong đó công tác đánh giá được thực hiện;

VÍ DỤ: Phòng thí nghiệm tính khả dụng, phòng khách, nội bộ văn phòng, phòng gia đình, sàn sản xuất.

b) cách những khía cạnh thích hợp của môi trường sử dụng dự kiến sẽ được mô phỏng.

H.4.1  Môi trường kỹ thuật và công nghệ

Nếu sản phẩm cần các thiết bị hoặc các thiết bị hỗ trợ về công nghệ và kỹ thuật khác để hoạt động, chúng cần được chỉ rõ, như điện thoại di động cần nhà cung cấp dịch vụ, TV cần được điều khiển bằng bộ điều khiển từ xa.

H.4.2  Các vấn đề về đạo đức

Bất kỳ thủ tục hoặc quy định nào cần tôn trọng để đảm bảo về đạo đức [5.5] cần được xác định.

H.5  Thủ tục thử nghiệm

Các thông tin sau đây cần được cung cấp:

a) thiết kế logic của công tác đánh giá nếu có nhiều hơn một điều kiện được thử nghiệm;

b) các phương pháp đo được thực hiện.

H.5.1  Thủ tục

Các thông tin sau đây cần được cung cấp:

a) định nghĩa hoạt động của các thông số đo lường;

b) định nghĩa hoạt động của bất kỳ các biến số độc lập nào hoặc các biến số điều khiển;

c) thời gian giới hạn tối đa của kết quả;

d) các chính sách và các thủ tục cho việc tương tác giữa (các) người thử nghiệm và đối tượng.

H.5.2  Các hướng dẫn chung cho người tham gia

Các thông tin sau đây cần được cung cấp:

a) các hướng dẫn được đưa cung cấp người tham gia (trong phần này hoặc trong một Phụ lục khác);

b) các hướng dẫn về cách người tham gia tương tác với bất kỳ người nào có mặt, bao gồm cách họ yêu cầu hỗ trợ hoặc tương tác với những người tham gia khác, nếu phù hợp.

H.5.3  Các hướng dẫn nhiệm vụ cho người tham gia

Các thông tin sau đây cần được cung cấp:

- hướng dẫn tóm tắt nhiệm vụ

H.6  Các thông số đo tính khả dụng

Các thông tin sau đây cần được cung cấp:

a) các thông số được sử dụng cho tính hiệu quả;

b) các thông số được sử dụng cho tính hiệu năng;

c) các thông số được sử dụng cho độ hài lòng.

Tính hiệu quả, hiệu suất, và sự thỏa mãn cần được đo lường, thậm chí khi chúng rất khó để diễn dịch trong một ngữ cảnh sử dụng phức tạp. Trong trường hợp này, các yêu cầu cần xác định tại sao nhà cung cấp không cân nhắc đến những bộ tiêu chuẩn đo có ý nghĩa.

VÍ DỤ: Giả sử rằng ngữ cảnh sử dụng của sản phẩm bao gồm thời gian thực, tương tác không giới hạn giữa một nhóm cộng tác. Trong trường hợp này, thông số đo nhiệm vụ - đúng hạn có thể không diễn dịch một cách có ý nghĩa của việc đo lường hiệu năng bởi vì, với nhiều người sử dụng, thời gian dành cho nhiệm vụ này là thời gian rảnh rỗi (thời gian giải trí).

Nếu cần cung cấp cho người tham gia sự trợ giúp khi cần thiết, các thông số đo lường hiệu năng và hiệu quả cần được cung cấp cho cả hai điều kiện có hỗ trợ và không có hỗ trợ và số lượng và loại hỗ trợ cũng cần được đưa vào như một phần của kết quả.

H.6.1  Hiệu quả

Hiệu quả đặt ra mối liên hệ giữa kết quả của việc sử dụng sản phẩm tới độ chính xác và hoàn thiện mà kết quả có thể đạt được. Nó không tính tới cách thức để có được kết quả, chỉ tập trung vào chừng mực mà kết quả đã đạt được Hiệu năng đặt ra mối liên quan đến mức độ hiệu quả thu được và lượng tài nguyên đã tiêu thụ.

H.6.1.1  Tỷ lệ hoàn thành nhiệm vụ

Tỷ lệ hoàn thành là tỷ lệ phần trăm của những người tham gia đã hoàn thành một cách chính xác cho mỗi nhiệm vụ. Nếu những kết quả chỉ thu được một phần (như không hoàn thành hoặc kết quả dưới mức tối ưu), thì chúng cũng vẫn có thể có ích để thiết lập các yêu cầu cho việc hoàn thành một phần nhiệm vụ, được cho điểm trên thang đo 0 % đến 100 % dựa trên các chỉ tiêu riêng biệt liên quan đến giá trị của một phần của kết quả. Ví dụ, một nhiệm vụ thử nghiệm chính tả có thể bao gồm việc xác định và hiệu chỉnh 10 lỗi chính tả và tỷ lệ hoàn thành được tính toán dựa trên số phần trăm lỗi chính tả được hiệu chỉnh. Một phương pháp tính toán tỷ lệ hoàn thành khác là đặt trọng số, ví dụ lỗi chính tả trong trang tiêu đề được đánh giá quan trọng gấp đôi trong nội dung chính của văn bản. Lý do căn bản để lựa chọn một phương pháp đặc biệt nào đó cho việc phân tích đạt được một phần của kết quả cần được chỉ ra, nếu các kết quả dạng này được đưa vào trong các yêu cầu.

Các thông số đo lường sau đây cần phải thu được:

- tỷ lệ phần trăm của những người tham gia hoàn thành chính xác mỗi nhiệm vụ.

H.6.2  Hiệu suất

H.6.2.1  Các thông số đo lường

Hiệu suất đặt ra mối liên quan đến mức độ hiệu quả thu được và lượng tài nguyên đã tiêu thụ. Hiệu suất thường được đánh giá bằng thời gian trung bình để thực hiện một nhiệm vụ. Hiệu suất cũng đặt ra mối liên quan tới các nguồn tài nguyên khác (như tổng chi phí sử dụng). Một thông số đo lường thông thường cho hiệu suất là thời gian cho một nhiệm vụ.

Các thông số đo lường sau đây cần phải thu được:

- thời gian trung bình cần thiết để hoàn thành mỗi nhiệm vụ, cùng với phạm vi của thời gian trong những người tham gia.

H.6.3  Sự thỏa mãn

Các thông tin sau đây cần được cung cấp:

- bản câu hỏi khảo sát được sử dụng

Sự thỏa mãn mô tả phản ứng chủ quan của người sử dụng khi sử dụng sản phẩm. Sự thỏa mãn của người sử dụng có thể là một mối tương quan quan trọng của động lực sử dụng sản phẩm và có thể ảnh hưởng đến hoạt động trong một số trường hợp. Bản câu hỏi khảo sát để đo lường sự thỏa mãn và thái độ kèm theo thường được xây dựng bằng cách sử dụng Likert và các thang đo vi phân ngữ nghĩa khác.

H.7  Ý nghĩa thống kê

Mức độ tin cậy thống kê được yêu cầu (tin cậy rằng kết quả không xảy ra tình cờ) cần được xác định cho tất cả các phép đo (7.5.3).

H.8  Phụ lục

Các dạng thông tin sau có thể được cung cấp:

a) bản câu hỏi tùy chỉnh, nếu sử dụng;

b) các chỉ dẫn chung cho người tham gia (nếu không có trong phần chính của các yêu cầu);

c) các chỉ dẫn nhiệm vụ cho người tham gia.

Phụ lục I

(tham khảo)

Phản hồi về tiêu chuẩn

I.1  Địa chỉ phản hồi

Các nhận xét về nội dung có thể gửi về [email protected].

I.2  Mời phản hồi

Phản hồi về tiêu chuẩn này được đặc biệt chào mừng trên những mục sau:

- kinh nghiệm sử dụng, các trường hợp nghiên cứu, và bất kỳ các kết quả đã được xuất bản nào;

- loại các sản phẩm, lĩnh vực áp dụng, số lượng nhóm, số lượng người sử dụng, kết hợp với (người) khuyết tật;

- bất kỳ vấn đề nào với các phương pháp;

- các đề xuất để cải thiện và phát triển;

- sự dễ dàng trong cách xác định các mục tiêu chính;

- sự dễ dàng trong việc tuyển dụng một mẫu đại diện cho người sử dụng;

- nếu hai tổ chức độc lập thử nghiệm cùng một sản phẩm, họ có được kết quả có độ tương tự cần thiết như nhau;

- kết quả thu được khi thử nghiệm các sản phẩm tiêu dùng có đáng tin cậy và dễ diễn giải;

- liệu phương pháp có phù hợp cho thử nghiệm các loại khác của sản phẩm.

Thư mục tài liệu tham khảo

Các tiêu chuẩn

[1] ISO 8317:2003, Child-resistant packaging - Requirements and testing procedures for reclosable packages

[2] ISO/IEC TR 9126-4:2004, Software engineering - Product quality - Part 4: Quality in use metrics

[3] TCVN 7318-11:2015 (ISO 9241-11:1998), Yêu cầu ecgônômi đối với công việc văn phòng có sử dụng thiết bị hiển thị đầu cuối (VDT) - Phần 11: Hướng dẫn về tính khả dụng

[4] ISO 9241-210:2010, Ergonomics of human-system interaction - Part 210: Human-centred design for interactive systems

[5] ISO 15535:2006, General requirements for establishing anthropometric databases

[6] ISO/TS 18152:2010, Ergonomics of human-system interaction - Specification for the process assessment of human-system issues

[7] ISO/IEC 25062:2006, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability test reports

[8] ISO/TR 22411:2008, Ergonomics data and guidelines for the application of ISO/IEC Guide 71 to products and services to address the needs of older persons and persons with disabilities

[9] ISO/IEC 25010:2011, Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - System and software quality models

[10] ISO/IEC 25060:2010, Common industry format for usability - General framework for usability- related information

[11] ISO/IEC 25062:2006, Software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability test reports

[12] ISO/IEC 25063, Systems and software engineering - Systems and software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: Context of use description

[13] ISO/IEC 25064, Systems and software engineering - Software product Quality Requirements and Evaluation (SQuaRE) - Common Industry Format (CIF) for usability: User needs report

[14] ISO 26800, Ergonomics - General approach, principles and concepts

Các tài liệu khác

[15] A. Bangor, P. Kortum, J. Miller Determining what individual SUS scores mean: adding an adjective rating scale. J. Usability Stud. 2009, 4 pp. 114-123

[16] Brooke J. SUS: A “quick and dirty” usability scale (1986). In: Jordan, P., Thomas, B., Weerdmeester, B. (eds.) Usability Evaluation in Industry, pp. 189-194. Taylor and Francis.

[17] M. Hassenzahl AttrakDiff(tm). Available from http://www.attrakdiff.de

[18] R. Jäger Konstruktion einer Ratingskala mit Smilies. Diagnostica. 2004, 50 pp. 31-38

[19] J.-Y. Jian, A.M. Bisantz, C.G. Drury Foundations for an empirically determined scale of trust in automated systems. Int. J. Cogn. Ergon. 2000, 4 pp. 53-71

[20] Th. Kunin The construction of a new type of attitude measure. Person. Psychol. 1955, 8 pp. 65-77

[21] J. Nielsen Usability engineering. Morgan Kauffman, 1993

[22] K. Norman, H. Aim, E. Wigaeus Tornqvist, A. Toomingas Reliability of a questionnaire and an ergonomic checklist for assessing working conditions and health at call centres. Int. J. Occup. Saf. Ergon. 2006, 12 pp. 53-68

[23] C. Power, A. Freire, H. Petrie, D. Swallow 2012). Guidelines are only half of the story: accessibility problems encountered by blind users on the web. In Proceedings of the 2012 ACM annual conference on Human Factors in Computing Systems (CHI '12). ACM, New York, NY, USA, 433- 442

[24] Sauro J. (2011) Measuring Usability With The System Usability Scale (SUS). Available from http://www.measuringusability.com/sus.php

[25] Sauro J. (2010) Confidence Interval Calculator for a Completion Rate. Available from http://www.measuringusability.com/wald.htm

[26] J. Sauro, Dumas J.S. (2009) Comparison of Three One-Question, Post-Task Usability Questionnaires. Proceedings of CHI 2009.

[27] J. Sauro, Iklund K. (2004) How long should a task take? Identifying Spec Limits for Task Times in Usability Tests. Available from http://measuringusability.com/time_specs.htm

[28] J. Sauro, Lewis J. (2005) Estimating completion rates from small samples using binomial confidence intervals: comparisons and recommendations. Proceedings of the Human Factors and Ergonomics Society 49th annual meeting.

[29] J. Sauro, Lewis J.R. (2010) Average Task Times in Usability Tests: What to Report? in Proceedings of the Conference in Human Factors in Computing Systems (CHI 2010) Atlanta, GA.

[30] J. Sauro, J.R. Lewis Quantifying the User Experience: Practical Statistics for User Research. Morgan Kaufmann, 2012

[31] Tullis T. (2008) Calculating a confidence interval for task completion using the Adjusted Wald Method. Available from http://measuringux.com/AdjustedWald.htm

[32] F.R.H. Zijlstra, L. van Doorn The construction of a scale to measure subjective effort. Technical Report. Delft University of Technology, Department of Philosophy and Social Sciences, 1985

MỤC LỤC

Lời nói đầu

Lời giới thiệu

1  Phạm vi áp dụng

2  Tính tuân thủ

3  Tài liệu viện dẫn

4  Thuật ngữ và định nghĩa

5  Các nguyên lý chung

6  Tính tổng quan quy trình thử nghiệm

7  Phương pháp thử nghiệm

8  Kết quả

9  Báo cáo

Phụ lục A (tham khảo) Các mục tiêu của người sử dụng

Phụ lục B (tham khảo) Bối cảnh áp dụng phương pháp

Phụ lục C (quy định) Tuyển chọn mẫu đại diện cho người sử dụng

Phụ lục D (quy định) Khoảng tin cậy

Phụ lục E (quy định) Các ví dụ về thang đo sự hài lòng

Phụ lục F (quy định) Định dạng mẫu cho các báo cáo kiểm tra

Phụ lục G (quy định) Đặc tả các yêu cầu về tính khả dụng

Phụ lục H (quy định) Đặc tả các thủ tục kiểm thử tính khả dụng

Phụ lục I (tham khảo) Phản hồi về tiêu chuẩn

Thư mục tài liệu tham khảo