Tiêu chuẩn TCVN ISO/IEC 42001:2025 Công nghệ thông tin - Trí tuệ nhân tạo - Hệ thống quản lý

TIÊU CHUẨN QUỐC GIA

TCVN ISO/IEC 42001:2025

ISO/IEC 42001:2023

CÔNG NGHỆ THÔNG TIN - TRÍ TUỆ NHÂN TẠO HỆ THỐNG QUẢN LÝ

INFORMATION TECHNOLOGY - ARTIFICIAL INTELLIGENCE - MANAGEMENT SYSTEM

Lời nói đầu

TCVN ISO/IEC 42001:2025 hoàn toàn tương đương với ISO/IEC 42001:2023.

TCVN ISO/IEC 42001:2025 do Ban kỹ thuật tiêu chuẩn quốc gia TCVN/JTC 1 “Công nghệ thông tin” biên soạn, Viện Tiêu chuẩn Chất lượng Việt Nam đề nghị, Ủy ban Tiêu chuẩn Đo lường Chất lượng Quốc gia thẩm định, Bộ Khoa học và Công nghệ công bố.

 

Lời giới thiệu

Trí tuệ nhân tạo (AI) ngày càng được áp dụng rộng rãi trong mọi lĩnh vực sử dụng công nghệ thông tin và dự kiến sẽ trở thành một trong những động lực kinh tế chính. Hệ quả của xu hướng này là một số ứng dụng nhất định có thể gây ra những thách thức cho xã hội trong những năm tới.

Tiêu chuẩn này nhằm mục đích giúp các tổ chức thực hiện vai trò của mình một cách có trách nhiệm đối với các hệ thống AI (ví dụ: sử dụng, phát triển, giám sát hoặc cung cấp các sản phẩm hoặc dịch vụ sử dụng AI). AI có khả năng là gia tăng những xem xét cụ thể như sau:

- Việc sử dụng AI để ra quyết định tự động, đôi khi theo cách không minh bạch và không thể giải thích được, có thể yêu cầu sự quản lý cụ thể ngoài việc quản lý các hệ thống công nghệ thông tin cổ điển.

- Việc sử dụng phân tích dữ liệu, sự thấu hiểu và học máy, thay vì logic do con người mã hóa để thiết kế hệ thống, vừa làm tăng cơ hội ứng dụng cho các hệ thống AI vừa thay đổi cách phát triển, biện minh và triển khai các hệ thống đó.

- Các hệ thống AI thực hiện học tập liên tục sẽ thay đổi hành vi của chúng trong quá trình sử dụng. Các hệ thống AI cần được xem xét đặc biệt để đảm bảo việc sử dụng liên tục có trách nhiệm với hành vi thay đổi.

Tiêu chuẩn này cung cấp các yêu cầu để thiết lập, triển khai, duy trì và cải tiến liên tục hệ thống quản lý AI trong bối cảnh của một tổ chức. Các tổ chức được kỳ vọng tập trung vào việc áp dụng các yêu cầu vào các tính năng độc đáo của AI. Một số tính năng nhất định của AI, chẳng hạn như khả năng liên tục học hỏi và cải tiến hoặc thiếu minh bạch hoặc thiếu khả năng giải thích, có thể đảm bảo các biện pháp bảo vệ khác nhau nếu chúng gây ra thêm mối lo ngại so với cách thực hiện nhiệm vụ theo truyền thống. Việc áp dụng hệ thống quản lý AI để mở rộng các cấu trúc quản lý hiện có là một quyết định mang tính chiến lược đối với một tổchức.

Nhu cầu và mục tiêu, quá trình, quy mô và cấu trúc của tổ chức cũng như kỳ vọng của các bên quan tâm khác nhau ảnh hưởng đến việc thiết lập và triển khai hệ thống quản lý AI. Một tập các yếu tố khác ảnh hưởng đến việc thiết lập và triển khai hệ thống quản lý AI là nhiều trường hợp sử dụng AI và nhu cầu đạt được sự cân bằng phù hợp giữa các cơ chế quản trị và đổi mới. Các tổ chức có thể lựa chọn áp dụng các yêu cầu này bằng cách sử dụng phương pháp tiếp cận dựa trên rủi ro để đảm bảo rằng mức độ kiểm soát phù hợp được áp dụng cho các trường hợp sử dụng AI, dịch vụ hoặc sản phẩm cụ thể trong phạm vi của tổ chức. Tất cả các yếu tố ảnh hưởng này dự kiến sẽ thay đổi và được xem xét theo thời gian.

Hệ thống quản lý AI phải được tích hợp với các quá trình và cấu trúc quản lý tổng thể của tổ chức. Các vấn đề cụ thể liên quan đến AI cần được xem xét trong quá trình thiết kế quá trình, hệ thống thông tin và kiểm soát. Các ví dụ quan trọng về các quá trình quản lý như vậy là:

- xác định mục tiêu của tổ chức, sự tham gia của các bên quan tâm và chính sách của tổ chức;

- quản lý rủi ro và cơ hội;

- các quá trình quản lý các mối quan tâm liên quan đến tính đáng tin cậy các hệ thống AI như an ninh, an toàn, công bằng, minh bạch, chất lượng dữ liệu và chất lượng của các hệ thống AI trong suốt vòng đời của chúng;

- các quá trình quản lý bên cung ứng, đối tác và bên thứ ba cung cấp hoặc phát triển các hệ thống AI cho tổ chức.

Tiêu chuẩn này cung cấp các hướng dẫn triển khai các biện pháp kiểm soát áp dụng để hỗ trợ các quá trình như vậy.

Tiêu chuẩn này tránh hướng dẫn cụ thể về các quá trình quản lý. Tổ chức có thể kết hợp các khung được chấp nhận chung, các Tiêu chuẩn quốc tế khác và kinh nghiệm của riêng mình để triển khai các quá trình quan trọng như quản lý rủi ro, quản lý vòng đời và quản lý chất lượng dữ liệu phù hợp với các trường hợp sử dụng AI cụ thể, sản phẩm hoặc dịch vụ trong phạm vi.

Một tổ chức tuân thủ các yêu cầu trong tiêu chuẩn này có thể tạo ra bằng chứng về trách nhiệm và trách nhiệm giải trình của mình liên quan đến vai trò của mình đối với các hệ thống AI.

Thứ tự các yêu cầu được trình bày trong tiêu chuẩn này không phản ánh tầm quan trọng của chúng hoặc ngụ ý thứ tự chúng được triển khai. Các mục trong danh sách được liệt kê chỉ nhằm mục đích tham khảo.

Khả năng tương thích với các tiêu chuẩn hệ thống quản lý khác.

Tiêu chuẩn này áp dụng cấu trúc hài hòa (số điều, tiêu đề điều, văn bản và các thuật ngữ chung và định nghĩa cốt lõi giống hệt nhau) được phát triển để tăng cường sự thống nhất giữa các tiêu chuẩn hệ thống quản lý (MSS). Hệ thống quản lý AI cung cấp các yêu cầu cụ thể để quản lý các vấn đề và rủi ro phát sinh từ việc sử dụng AI trong một tổ chức. Cách tiếp cận chung này tạo điều kiện thuận lợi cho việc triển khai và nhất quán với các tiêu chuẩn hệ thống quản lý khác, ví dụ: liên quan đến chất lượng, an toàn, bảo mật và quyền riêng tư.

 

CÔNG NGHỆ THÔNG TIN - TRÍ TUỆ NHÂN TẠO - HỆ THỐNG QUẢN LÝ

Information technology - Artificial intelligence - Management system

1 Phạm vi áp dụng

Tiêu chuẩn này quy định các yêu cầu và đưa ra hướng dẫn để thiết lập, triển khai, duy trì và cải tiến liên tục hệ thống quản lý AI (trí tuệ nhân tạo) trong bối cảnh của một tổ chức.

Tiêu chuẩn này được sử dụng bởi tổ chức cung cấp hoặc sử dụng các sản phẩm hoặc dịch vụ có sử dụng hệ thống AI. Tiêu chuẩn này giúp tổ chức phát triển, cung cấp hoặc sử dụng hệ thống AI một cách có trách nhiệm nhằm theo đuổi các mục tiêu và đáp ứng các yêu cầu, nghĩa vụ hiện hành liên quan đến các bên quan tâm và các mong đợi từ các bên quan tâm đó.

Tiêu chuẩn này có thể áp dụng cho mọi tổ chức, bất kể quy mô, loại hình và tính chất, cung cấp hoặc sử dụng các sản phẩm hoặc dịch vụ sử dụng hệ thống AI.

2 Tài liệu viện dẫn

Các tài liệu viện dẫn dưới đây là cần thiết cho việc áp dụng tiêu chuẩn này. Đối với các tài liệu ghi năm công bố thì áp dụng phiên bản được nêu. Đối với các tài liệu không ghi năm công bố thì áp dụng phiên bản mới nhất, bao gồm cả các sửa đổi, bổ sung (nếu có).

TCVN 13902:2023 (ISO/IEC 22989:2022), Công nghệ thông tin - Trí tuệ nhân tạo - Khái niệm và thuật ngữ về trí tuệ nhân tạo.

3 Thuật ngữ và định nghĩa

Tiêu chuẩn này áp dụng các thuật ngữ và định nghĩa trong TCVN 13902:2023 (ISO/IEC 22989:2022) và các thuật ngữ và định nghĩa sau.

3.1

Tổ chức

Người hoặc nhóm người với chức năng riêng, có trách nhiệm, quyền hạn và các mối quan hệ để đạt được mục tiêu (3.6).

CHÚ THÍCH 1: Khái niệm tổ chức bao gồm nhưng không giới hạn ở thương nhân độc quyền, công ty, tổng công ty, hãng, doanh nghiệp, cơ quan có thẩm quyền, công ty hợp danh, tổ chức từ thiện hoặc tổ chức hoặc một phần hoặc sự kết hợp, dù có hợp nhất hay không, công hay tư.

CHÚ THÍCH 2: Nếu tổ chức là một phần của thực thể lớn hơn thì thuật ngữ “tổ chức” chỉ đề cập đến bộ phận của thực thể lớn hơn nằm trong phạm vi của hệ thống quản lý AI (3.4).

3.2

Bên quan tâm

Cá nhân hoặc tổ chức (3.1) có thể ảnh hưởng, chịu ảnh hưởng hoặc nhận thấy chịu ảnh hưởng bởi một quyết định hoặc hoạt động.

CHÚ THÍCH 1: Tổng quan về các bên quan tâm trong AI được cung cấp trong 5.19, ISO/IEC 22989:2022.

3.3

Lãnh đạo cao nhất

Người hoặc nhóm người định hướng và kiểm soát tổ chức (3.1) ở cấp cao nhất.

CHÚ THÍCH 1: Lãnh đạo cao nhất có quyền ủy quyền và cung cấp tài nguyên trong tổ chức.

CHÚ THÍCH 2: Nếu phạm vi của hệ thống quản lý (3.4) chỉ bao gồm một phần của tổ chức thì lãnh đạo cao nhất chỉ đề cập đến những người định hướng và kiểm soát bộ phận đó của tổ chức.

3.4

Hệ thống quản lý

Tập các yếu tố có liên quan hoặc tương tác lẫn nhau của một tổ chức (3.1) để thiết lập các chính sách (3.5) và mục tiêu (3.6), cũng như các quá trình (3.8) để đạt được các mục tiêu đó

CHÚ THÍCH 1: Một hệ thống quản lý có thể giải quyết một lĩnh vực hoặc nhiều lĩnh vực.

CHÚ THÍCH 2: Các yếu tố của hệ thống quản lý bao gồm cơ cấu, vai trò và trách nhiệm, hoạch định và vận hành của tổ chức.

3.5

Chính sách

Ý định và định hướng của một tổ chức (3.1) được lãnh đạo cao nhất của tổ chức công bố một cách chính thức (3.3).

3.6

Mục tiêu

Kết quả cần đạt được.

CHÚ THÍCH 1: Mục tiêu có thể mang tính chiến lược, chiến thuật hoặc tác nghiệp.

CHÚ THÍCH 2: Mục tiêu có thể liên quan đến các lĩnh vực khác nhau (như mục tiêu về tài chính, sức khỏe và an toàn và môi trường). Ví dụ, các mục tiêu có thể có phạm vi toàn tổ chức hoặc cụ thể cho một dự án, sản phẩm hoặc quá trình (3.8).

CHÚ THÍCH 3: Mục tiêu có thể được thể hiện theo những cách khác, ví dụ như kết quả dự kiến, như mục đích, tiêu chí hoạt động, mục tiêu AI hoặc bằng cách sử dụng các từ khác có ý nghĩa tương tự (ví dụ: mục đích, mục tiêu, hoặc mục tiêu).

CHÚ THÍCH 4: Trong bối cảnh hệ thống quản lý AI (3.4), các mục tiêu AI được tổ chức đặt ra (3.1), nhất quán với chính sách AI (3.5), để đạt được kết quả cụ thể.

3.7

Rủi ro

Tác động của sự không chắc chắn.

CHÚ THÍCH 1: Tác động là sự sai lệch so với dự kiến - tích cực hoặc tiêu cực.

CHÚ THÍCH 2: Sự không chắc chắn là tình trạng, thậm chí một phần, thiếu thông tin liên quan đến sự hiểu biết hoặc kiến thức về một sự kiện, hệ quả hoặc khả năng xảy ra.

CHÚ THÍCH 3: Rủi ro thường được đặc trưng bởi sự tham chiếu đến các sự kiện tiềm ẩn (như được định nghĩa trong TCVN 9788) và các hệ quả (như được định nghĩa trong TCVN 9788), hoặc sự kết hợp của những điều này.

CHÚ THÍCH 4: Rủi ro thường được thể hiện dưới dạng sự kết hợp giữa hệ quả của một sự kiện (bao gồm cả những thay đổi trong hoàn cảnh) và khả năng xảy ra liên quan (như định nghĩa trong TCVN 9788).

3.8

Quá trình

Tập các hoạt động có liên quan hoặc tương tác lẫn nhau nhằm sử dụng hoặc biến đổi đầu vào để mang lại kết quả.

CHÚ THÍCH 1: Việc kết quả của một quá trình được gọi là đầu ra, sản phẩm hay dịch vụ phụ thuộc vào bối cảnh của tham chiếu.

3.9

Năng lực

Khả năng áp dụng kiến thức và kỹ năng để đạt được kết quả dự kiến.

3.10

Thông tin dạng văn bản

Thông tin cần được kiểm soát và duy trì bởi một tổ chức (3.1) và phương tiện chứa đựng thông tin đó.

CHÚ THÍCH 1: Thông tin dạng văn bản có thể ở bất kỳ định dạng và phương tiện và nguồn nào.

CHÚ THÍCH 2: Thông tin dạng văn bản có thể đề cập đến:

- hệ thống quản lý (3.4), bao gồm các quá trình (3.8) liên quan;

- thông tin được tạo ra để tổ chức vận hành (tư liệu[1]);

- bằng chứng về các kết quả đạt được (hồ sơ).

3.11

Kết quả thực hiện

Kết quả có thể đo được.

CHÚ THÍCH 1: Kết quả thực hiện có thể liên quan đến cả các phát hiện định lượng hoặc định tính.

CHÚ THÍCH 2: Kết quả thực hiện có thể liên quan đến việc quản lý các hoạt động, quá trình (3.8), sản phẩm, dịch vụ, hệ thống hoặc tổ chức (3.1).

CHÚ THÍCH 3: Trong bối cảnh của tiêu chuẩn này, kết quả thực hiện đề cập đến cả kết quả đạt được bằng cách sử dụng hệ thống AI và kết quả liên quan đến hệ thống quản lý (3.4) AI. Việc giải thích chính xác thuật ngữ này là rõ ràng từ bối cảnh sử dụng.

3.12

Cải tiến liên tục

Hoạt động định kỳ để nâng cao kết quả thực hiện (3.11).

3.13

Hiệu lực

Mức độ thực hiện các hoạt động đã hoạch định và đạt được các kết quả đã hoạch định.

3.14

Yêu cầu

Nhu cầu hoặc mong đợi được tuyên bố, ngầm hiểu hoặc bắt buộc.

CHÚ THÍCH 1: “Ngầm hiểu” có nghĩa là đó là thông lệ hoặc thông lệ chung của tổ chức (3.1) và các bên quan tâm (3.2) rằng nhu cầu hoặc mong đợi đang được xem xét là ngụ ý.

CHÚ THÍCH 2: Yêu cầu quy định là yêu cầu được công bố, ví dụ trong thông tin dạng văn bản (3.10).

3.15

Sự phù hợp

Sự đáp ứng một yêu cầu (3.14).

3.16

Sự không phùhợp

Sự không đáp ứng một yêu cầu (3.14).

3.17

Hành động khắc phục

Hành động nhằm loại bỏ (các) nguyên nhân của sự không phù hợp (3.16) và ngăn ngừa tái diễn.

3.18

Đánh giá

Quá trình có hệ thống và độc lập (3.8) để thu thập bằng chứng và xác định giá trị một cách khách quan nhằm xác định mức độ đáp ứng các tiêu chí đánh giá.

CHÚ THÍCH 1: Đánh giá có thể là đánh giá nội bộ (bên thứ nhất) hoặc đánh giá bên ngoài (bên thứ hai hoặc bên thứ ba) và có thể là đánh giá kết hợp (kết hợp hai hoặc nhiều nguyên tắc).

CHÚ THÍCH 2: Đánh giá nội bộ được thực hiện bởi chính tổ chức (3.1) hoặc bởi một bên bên ngoài thay mặt tổ chức.

CHÚ THÍCH 3: “Bằng chứng đánh giá” và “tiêu chí đánh giá” được xác định trong TCVN ISO 19011.

3.19

Đo lường

Quá trình (3.8) để xác định một giá trị.

3.20

Theo dõi

Xác định tình trạng của hệ thống, quá trình (3.8) hoặc hoạt động.

CHÚ THÍCH 1: Để xác định tình trạng, có thể cần phải kiểm tra, giám sát hoặc quan sát chặt chẽ.

3.21

Biện pháp kiểm soát

<rủi ro> Biện pháp duy trì và/hoặc điều chỉnh rủi ro (3.7).

CHÚ THÍCH 1: Biện pháp kiểm soát bao gồm nhưng không giới hạn ở bất kỳ quá trình, chính sách, thiết bị, thực hành hoặc các điều kiện và/hoặc hành động khác nhằm duy trì và/hoặc điều chỉnh rủi ro.

CHÚ THÍCH 2: Các biện pháp kiểm soát không phải lúc nào cũng phát huy tác dụng sửa đổi dự kiến hoặc giả định.

[NGUỒN: 3.8, TCVN ISO 31000:2018, đã sửa đổi - Đã thêm <rủi ro> làm miền ứng dụng]

3.22

Cơ quan chủ quản

Người hoặc nhóm người chịu trách nhiệm về hiệu lực hoạt động và sự phù hợp của tổ chức.

CHÚ THÍCH 1: Không phải tất cả các tổ chức, đặc biệt là các tổ chức nhỏ, có cơ quan chủ quản tách biệt với lãnh đạo cao nhất.

CHÚ THÍCH 2: Cơ quan chủ quản bao gồm nhưng không giới hạn ở ban giám đốc, các ban của hội đồng quản trị, ban giám sát, ủy viên quản trị hoặc người giám sát.

[NGUỒN: 2.9, ISO/IEC 38500:2015, đã sửa đổi - Đã thêm CHÚ THÍCH.]

3.23

An toàn thông tin

Bảo toàn tính bí mật, tính toàn vẹn và tính khả dụng[2] của thông tin.

CHÚ THÍCH 1: Các đặc tính khác cũng có thể liên quan như tính xác thực, trách nhiệm giải trình, chống chối bỏ và độ tin cậy.

[NGUỒN: 3.28, ISO/IEC 27000:2018][3]

3.24

Đánh giá tác động của hệ thống AI

Quá trình chính thức, được lập thành văn bản trong đó các tác động lên cá nhân (và nhóm cá nhân) và xã hội được xác định, xác định giá trị và giải quyết bởi một tổ chức phát triển, cung cấp hoặc sử dụng sản phẩm hoặc dịch vụ có sử dụng trí tuệ nhân tạo.

3.25

Chất lượng dữ liệu (data quality)

Đặc tính của dữ liệu mà dữ liệu đáp ứng các yêu cầu dữ liệu của tổ chức trong bối cảnh cụ thể.

[NGUỒN: 3.4, ISO/IEC 5259-1]

3.26

Tuyên bố khả năng áp dụng

Tư liệu về tất cả các biện pháp kiểm soát (3.21) cần thiết và lý do bao gồm hoặc loại trừ các biện pháp kiểm soát đó.

CHÚ THÍCH 1: Tổ chức có thể không yêu cầu tất cả các biện pháp kiểm soát được liệt kê trong Phụ lục A hoặc thậm chí có thể vượt quá danh sách trong Phụ lục A với các biện pháp kiểm soát bổ sung do chính tổ chức thiết lập.

CHÚ THÍCH 2: Tất cả các rủi ro được xác định phải được tổ chức lập thành văn bản theo các yêu cầu của tiêu chuẩn này. Tất cả các rủi ro được xác định và các biện pháp (kiểm soát) quản lý rủi ro được thiết lập để giải quyết chúng phải được phản ánh trong tuyên bố khả năng áp dụng.

4 Bối cảnh của tổ chức

4.1 Hiểu tổ chức và bối cảnh của tổ chức

Tổ chức phải xác định các vấn đề bên ngoài và nội bộ có liên quan đến mục đích và ảnh hưởng đến khả năng đạt được (các) kết quả dự kiến của hệ thống quản lý AI.

Tổ chức phải xem xét mục đích dự kiến của các hệ thống AI được tổ chức phát triển, cung cấp hoặc sử dụng. Tổ chức phải xác định vai trò của tổ chức đối với các hệ thống AI này.

CHÚ THÍCH 1 Để hiểu tổ chức và bối cảnh của tổ chức, việc xác định vai trò của tổ chức liên quan đến hệ thống AI có thể hữu ích. Những vai trò này bao gồm nhưng không giới hạn ở một hoặc nhiều vai trò sau:

- Các bên cung cấp AI, bao gồm các bên cung cấp nền tảng AI, bên cung cấp sản phẩm hoặc dịch vụ AI;

- Các bên sản xuất AI, bao gồm nhà phát triển AI, nhà thiết kế AI, nhà điều hành AI, người kiểm tra và đánh giá AI, nhà triển khai AI, chuyên gia về yếu tố con người AI, chuyên gia miền, chuyên gia đánh giá tác động AI, người mua sắm, chuyên gia quản trị và giám sát AI;

- Khách hàng AI, bao gồm cả người dùng AI;

- Các đối tác AI, bao gồm bên tích hợp hệ thống AI và bên cung cấp dữ liệu;

- Các chủ thể AI, bao gồm các chủ thể về dữ liệu và các chủ thể khác;

- các cơ quan có liên quan, bao gồm cả các nhà hoạch định chính sách và cơ quan chủ quản.

Mô tả chi tiết về các vai trò này được cung cấp bởi TCVN 13902. Hơn nữa, các loại vai trò và mối quan hệ với vòng đời hệ thống AI cũng được mô tả trong khung quản lý rủi ro AI của NIST. [ 29 ] Vai trò của tổ chức có thể xác định khả năng áp dụng và mức độ áp dụng của các yêu cầu và biện pháp kiểm soát trong tiêu chuẩn này.

CHÚ THÍCH 2 Các vấn đề bên ngoài và nội bộ cần giải quyết theo điều này có thể khác nhau tùy theo vai trò và thẩm quyền của tổ chức cũng như tác động đến khả năng đạt được (các) kết quả dự kiến của hệ thống quản lý AI của tổ chức. Chúng có thể bao gồm, nhưng không giới hạn ở:

a) những xem xét liên quan đến bối cảnh bên ngoài như:

1) các yêu cầu pháp lý có thể áp dụng, bao gồm cả việc sử dụng AI bị cấm;

2) các chính sách, hướng dẫn và quyết định của cơ quan chủ quản có tác động đến việc giải thích hoặc thực thi các yêu cầu pháp lý trong việc phát triển và sử dụng hệ thống AI;

3) động lực hoặc hệ quả liên quan đến mục đích đã định và việc sử dụng hệ thống AI;

4) văn hóa, truyền thống, giá trị, chuẩn mực và đạo đức liên quan đến phát triển và sử dụng AI;

5) bối cảnh cạnh tranh và xu hướng cho các sản phẩm và dịch vụ mới sử dụng hệ thống AI.

b) những xem xét liên quan đến bối cảnh nội bộ như:

1) bối cảnh tổ chức, quản trị, mục tiêu (xem 6.2), chínhsách và thủ tục;

2) nghĩa vụ hợp đồng;

3) mục đích dự định của hệ thống AI phải phát triển hoặc sử dụng.

CHÚ THÍCH 3 Việc xác định vai trò có thể được hình thành bởi các nghĩa vụ liên quan đến các loại dữ liệu mà tổ chức xử lý (ví dụ: bên xử lý PII hoặc bộ kiểm soát PII khi xử lý PII). Xem ISO/IEC 29100 để biết PII và các vai trò liên quan. Các vai trò cũng có thể được thông báo theo các yêu cầu pháp lý dành riêng cho hệ thống AI.

4.2 Hiểu nhu cầu và mong đợi của các bên quan tâm

Tổ chức phải xác định:

- các bên quan tâm có liên quan đến hệ thống quản lý AI;

- các yêu cầu liên quan của các bên quan tâm này;

- yêu cầu nào trong số này phải giải quyết thông qua hệ thống quản lý AI.

4.3 Xác định phạm vi của hệ thống quản lý AI

Tổ chức phải xác định ranh giới và khả năng áp dụng của hệ thống quản lý AI để thiết lập phạm vi.

Khi xác định phạm vi này, tổ chức phải xem xét:

- các vấn đề bên ngoài và nội bộ được đề cập trong 4.1;

- các yêu cầu nêu ở 4.2.

Phạm vi phải có sẵn dưới dạng thông tin dạng văn bản.

Phạm vi của hệ thống quản lý AI phải xác định các vận hành của tổ chức theo các yêu cầu của tiêu chuẩn này về hệ thống quản lý AI, lãnh đạo, hoạch định, hỗ trợ, hoạt động, kết quả thực hiện, đánh giá, cải tiến, kiểm soát và mục tiêu.

4.4 Hệ thống quản lý AI

Tổ chức phải thiết lập, triển khai, duy trì, cải tiến liên tục và lập thành văn bản hệ thống quản lý AI, bao gồm các quá trình cần thiết và sự tương tác, phù hợp với các yêu cầu của tiêu chuẩn này.

5 Sự lãnh đạo

5.1 Sự lãnh đạo và cam kết

Lãnh đạo cao nhất phải chứng tỏ sự lãnh đạo và cam kết đối với hệ thống quản lý AI bằng cách:

- đảm bảo rằng chính sách AI (xem 5.2) và mục tiêu AI (xem 6.2) được thiết lập và tương thích với định hướng chiến lược của tổ chức;

- đảm bảo tích hợp các yêu cầu của hệ thống quản lý AI vào quá trình kinh doanh của tổ chức;

- đảm bảo sẵn có các tài nguyên cần thiết cho hệ thống quản lý AI;

- trao đổi thông tin về tầm quan trọng của việc quản lý AI hiệu lực và việc tuân thủ các yêu cầu của hệ thống quản lý AI;

- đảm bảo rằng hệ thống quản lý AI đạt được (các) kết quả dự kiến;

- chỉ đạo và hỗ trợ mọi người đóng góp vào hiệu lực của hệ thống quản lý AI;

- thúc đẩy cải tiến liên tục;

- hỗ trợ các vai trò liên quan khác để thể hiện lãnh đạo khi áp dụng vào lĩnh vực trách nhiệm.

CHÚ THÍCH 1 Việc đề cập đến “kinh doanh” trong tiêu chuẩn này có thể được hiểu theo nghĩa rộng là những hoạt động cốt lõi đối với mục đích tồn tại của tổ chức.

CHÚ THÍCH 2 Việc thiết lập, khuyến khích và mô hình hóa văn hóa trong tổ chức, thực hiện cách tiếp cận có trách nhiệm trong việc sử dụng, phát triển vàquản lý các hệ thống AI có thể là sự thể hiện quan trọng về cam kết và sự lãnh đạo của lãnh đạo cao nhất. Đảm bảo nhận thức và tuân thủ cách tiếp cận có trách nhiệm như vậy và hỗ trợ hệ thống quản lý AI thông qua sự lãnh đạo có thể hỗ trợ sự thành công của hệ thống quản lý AI.

5.2 Chính sách AI

Lãnh đạo cao nhất phải thiết lập chính sách AI:

a) phù hợp với mục đích của tổ chức;

b) đưa ra một khung để thiết lập các mục tiêu AI (xem 6.2);

c) bao gồm cam kết đáp ứng các yêu cầu được áp dụng;

d) bao gồm cam kết cải tiến liên tục hệ thống quản lý AI. Chính sách AI sẽ:

- sẵn có dưới dạng thông tin dạng văn bản;

- tham khảo khi có liên quan đến các chính sách khác của tổ chức;

- được trao đổi thông tin về trong tổ chức;

- sẵn có cho các bên quan tâm, khi thích hợp.

Các mục tiêu kiểm soát và biện pháp kiểm soát để thiết lập chính sách AI được nêu trong A.2, Bảng A.1. Hướng dẫn triển khai các biện pháp kiểm soát này được cung cấp trong B.2.

CHÚ THÍCH Những xem xét đối với tổ chức khi phát triển chính sách AI được cung cấp trong ISO/IEC 38507.

5.3 Vai trò, trách nhiệm và quyền hạn

Lãnh đạo cao nhất phải đảm bảo rằng trách nhiệm và quyền hạn đối với các vai trò liên quan được phân công và trao đổi thông tin về trong tổ chức.

Lãnh đạo cao nhất phải phân công trách nhiệm và quyền hạn đối với:

a) đảm bảo hệ thống quản lý AI tuân thủ các yêu cầu của tiêu chuẩn này;

b) báo cáo về kết quả thực hiện của hệ thống quản lý AI cho quản lý cấp cao.

Kiểm soát để xác định và phân bổ vai trò và trách nhiệm được cung cấp tại A.3.2 trong Bảng A.1. Hướng dẫn triển khai biện pháp kiểm soát này được nêu trong B.3.2

6 Hoạch định

6.1 Hành động giải quyết rủi ro và cơ hội

6.1.1 Quy định chung

Khi hoạch định cho hệ thống quản lý AI, tổ chức phải xem xét các vấn đề được đề cập trong 4.1 và các yêu cầu nêu ở 4.2 và xác định các rủi ro và cơ hội cần giải quyết:

- đảm bảo rằng hệ thống quản lý AI có thể đạt được (các) kết quả dự kiến;

- ngăn ngừa hoặc giảm bớt tác động không mong muốn;

- đạt được cải tiến liên tục.

Tổ chức phải thiết lập và duy trì các tiêu chí rủi ro AI hỗ trợ:

- phân biệt rủi ro có thể chấp nhận được và rủi ro không thể chấp nhận được;

- thực hiện đánh giá rủi ro AI;

- tiến hành xử lý rủi ro AI;

- đánh giá tác động rủi ro AI.

CHÚ THÍCH 1: Các xem xét để xác định mức độ và loại rủi ro mà tổ chức sẵn sàng theo đuổi hoặc duy trì được nêu trong ISO/IEC 38507 và ISO/IEC 23894.

Tổ chức phải xác định các rủi ro và cơ hội theo:

- bối cảnh miền và ứng dụng của hệ thống AI;

- mục đích sử dụng dự kiến;

- bối cảnh bên ngoài và nội bộ được mô tả trong 4.1

CHÚ THÍCH 2: Có thể xem xét nhiều hệ thống AI trong phạm vi của hệ thống quản lý AI. Trong trường hợp này, việc xác định cơ hội và cách sử dụng được thực hiện cho từng hệ thống AI hoặc nhóm hệ thống AI.

Tổ chức phải hoạch định:

a) hành động để giải quyết những rủi ro và cơ hội này;

b) cách thức:

1) tích hợp và triển khai các hành động vào các quá trình của hệ thống quản lý AI;

2) đánh giá hiệu lực của những hành động này.

Tổ chức phải lưu giữ thông tin dạng văn bản về các hành động được thực hiện để xác định và giải quyết các rủi ro và cơ hội AI.

CHÚ THÍCH 3: Hướng dẫn cách triển khai quản lý rủi ro cho các tổ chức phát triển, cung cấp hoặc sử dụng các sản phẩm, hệ thống và dịch vụ AI được cung cấp trong ISO/IEC 23894.

CHÚ THÍCH 4 Bối cảnh của tổ chức và các vận hành của tổ chức có thể có tác động đến hoạt động quản lý rủi ro của tổ chức.

CHÚ THÍCH 5: Cách xác định rủi ro và do đó hình dung quản lý rủi ro có thể khác nhau giữa các ngành và lĩnh vực. Định nghĩa rủi ro ở 3.7 cho phép có tầm nhìn rộng hơn về rủi ro có thể thích ứng với bất kỳ lĩnh vực nào, chẳng hạn như các lĩnh vực được đề cập trong Phụ lục D. Trong mọi trường hợp, vai trò của tổ chức, như một phần của đánh giá rủi ro, trước tiên phải áp dụng tầm nhìn về rủi ro phù hợp với bối cảnh của tổ chức. Điều này có thể bao gồm việc tiếp cận rủi ro thông qua các định nghĩa được sử dụng trong các lĩnh vực mà hệ thống AI được phát triển và sử dụng, chẳng hạn như định nghĩa trong TCVN 6844.

6.1.2 Đánh giá rủi ro AI

Tổ chức phải xác định và thiết lập quá trình đánh giá rủi ro AI để:

a) được thông báo và điều chỉnh theo chính sách AI (xem 5.2) và mục tiêu AI (xem 6.2);

CHÚ THÍCH Khi đánh giá hệ quả như một phần của 6.1.2 d) 1), tổ chức có thể sử dụng đánh giá tác động của hệ thống AI như được chỉ ra trong 6.1.4.

b) được thiết kế sao cho các đánh giá rủi ro AI lặp đi lặp lại có thể tạo ra kết quả nhất quán, hợp lệ và có thể so sánh được;

c) xác định các rủi ro hỗ trợ hoặc ngăn cản việc đạt được các mục tiêu AI của mình;

d) phân tích rủi ro AI để:

1) đánh giá những hệ quả tiềm ẩn đối với tổ chức, cá nhân và xã hội nếu những rủi ro được xác định trở thành sự thật;

2) đánh giá, nếu có thể, khả năng thực tế của các rủi ro đã xác định;

3) xác định mức độ rủi ro.

e) đánh giá rủi ro AI để:

1) so sánh kết quả phân tích rủi ro với các tiêu chí rủi ro (xem 6.1.1);

2) ưu tiên các rủi ro đã được đánh giá để xử lý rủi ro.

Tổ chức phải lưu giữ thông tin dạng văn bản về quá trình đánh giá rủi ro AI.

6.1.3 Xử lý rủi ro AI

Khi tính đến các kết quả đánh giá rủi ro, tổ chức phải xác định quá trình xử lý rủi ro AI để:

a) lựa chọn các phương án xử lý rủi ro AI thích hợp;

b) xác định tất cả các biện pháp kiểm soát cần thiết để thực hiện các phương án xử lý rủi ro AI đã chọn và so sánh các biện pháp kiểm soát với các biện pháp trong phụ lục A để kiểm tra xác nhận rằng không có biện pháp kiểm soát cần thiết nào bị bỏ qua.

CHÚ THÍCH 1 Phụ lục A cung cấp các biện pháp kiểm soát tham chiếu để đáp ứng các mục tiêu của tổ chức và giải quyết các rủiro liên quan đến thiết kế và sử dụng hệ thống AI:

c) xem xét các biện pháp kiểm soát từ phụ lục A có liên quan đến việc triển khai các phương án xử lý rủi ro AI;

d) xác định xem các biện pháp kiểm soát bổ sung có cần thiết ngoài những biện pháp trong phụ lục A để thực hiện tất cả các phương án xử lý rủi ro;

e) xem xét hướng dẫn trong Phụ lục B để thực hiện các biện pháp kiểm soát được xác định ở b) và c);

Mục tiêu kiểm soát được ngầm bao gồm trong các biện pháp kiểm soát được chọn. Tổ chức có thể lựa chọn các mục tiêu kiểm soát và biện pháp kiểm soát được liệt kê trong Phụ lục A mà nó cần. Phụ lục A các biện pháp kiểm soát không đầy đủ và có thể cần có các mục tiêu và biện pháp kiểm soát bổ sung. Nếu cần có các biện pháp kiểm soát khác hoặc bổ sung ngoài những biện pháp trong Phụ lục A, tổ chức có thể thiết kế các biện pháp kiểm soát đó hoặc lấy chứng từ các nguồn hiện có. Quản lý rủi ro AI có thể được tích hợp trong các hệ thống quản lý khác, nếu có.

f) đưa ra tuyên bố khả năng áp dụng bao gồm các biện pháp kiểm soát cần thiết [xem b), c) và d)] và đưa ra lý do giải thích cho việc bao gồm và loại trừ các biện pháp kiểm soát. Lý do loại trừ có thể bao gồm trường hợp các biện pháp kiểm soát được coi là không cần thiết khi đánh giá rủi ro và trường hợp chúng không được yêu cầu bởi (hoặc phải tuân theo các ngoại lệ theo) các yêu cầu được áp dụng bên ngoài.

CHÚ THÍCH 2 Tổ chức có thể đưa ra các giải trình bằng văn bản về việc loại trừ mọi mục tiêu kiểm soát nói chung hoặc đối với các hệ thống AI cụ thể, cho dù các mục tiêu đó được liệt kê trong Phụ lục A hoặc do chính tổ chức đó thành lập.

g) xây dựng kế hoạch xử lý rủi ro AI.

Tổ chức phải được ban quản lý được chỉ định phê duyệt kế hoạch xử lý rủi ro AI và chấp nhận các rủi ro AI còn sót lại. Các biện pháp kiểm soát cần thiết phải là:

- phù hợp với mục tiêu trong 6.2;

- sẵn có dưới dạng thông tin dạng văn bản;

- được trao đổi thông tin về trong tổ chức;

- sẵn có cho các bên quan tâm, khi thích hợp.

Tổ chức phải lưu giữ thông tin dạng văn bản về quá trình xử lý rủi ro AI.

6.1.4 Đánh giá tác động của hệ thống AI

Tổ chức phải xác định quá trình đánh giá các hệ quả tiềm ẩn đối với các cá nhân và xã hội có thể xảy ra do việc phát triển, cung cấp hoặc sử dụng hệ thống AI.

Đánh giá tác động của hệ thống AI sẽ xác định những hệ quả tiềm ẩn mà việc triển khai, mục đích sử dụng và sử dụng sai mục đích có thể thấy trước của hệ thống AI đối với các cá nhân và xã hội.

Đánh giá tác động cần tính đến bối cảnh xã hội và kỹ thuật cụ thể nơi hệ thống AI được triển khai và các thẩm quyền được áp dụng.

Kết quả đánh giá tác động của hệ thống phải được lập thành văn bản. Khi thích hợp, kết quả đánh giá tác động của hệ thống có thể được cung cấp cho các bên quan tâm có liên quan như tổ chức đã xác định.

Tổ chức phải xem xét kết quả đánh giá tác động của hệ thống AI trong đánh giá rủi ro (xem 6.1.2). A.5 trong Bảng A.1 cung cấp các biện pháp kiểm soát để đánh giá tác động của hệ thống AI.

CHÚ THÍCH Trong một số bối cảnh (chẳng hạn như các hệ thống AI quan trọng về an toàn hoặc sự riêng tư), tổ chức có thể yêu cầu thực hiện các đánh giá tác động của hệ thống AI theo lĩnh vực cụ thể (ví dụ: tác động về an toàn, sự riêng tư hoặc bảo mật) như một phần của hoạt động quản lý rủi ro tổng thể của tổ chức.

6.2 Mục tiêu AI và hoạch định để đạt được mục tiêu

Tổ chức phải thiết lập các mục tiêu AI ở các cấp độ và chức năng liên quan. Các mục tiêu AI sẽ:

a) nhất quán với chính sách AI (xem 5.2);

b) có thể đo lường được (nếu có thể);

c) tính đến các yêu cầu áp dụng;

d) được theo dõi;

e) được trao đổi thông tin về;

f) được cập nhật khi thích hợp;

g) sẵn có dưới dạng thông tin dạng văn bản;

Khi hoạch định về cách đạt được các mục tiêu AI của mình, tổ chức phải xác định:

- những gì phải thực hiện;

- những tài nguyên nào phải yêu cầu;

- ai sẽ chịu trách nhiệm;

- khi nào nó phải hoàn thành;

- kết quả phải đánh giá như thế nào.

CHÚ THÍCH Danh sách không độc quyền các mục tiêu AI liên quan đến quản lý rủi ro được cung cấp trong Phụ lục C. Các mục tiêu kiểm soát và các biện pháp kiểm soát để xác định các mục tiêu nhằm phát triển và sử dụng có trách nhiệm các hệ thống AI cũng như các biện pháp để đạt được chúng được nêu trong A.6.1 và A.9.3 trong Bảng A.1. Hướng dẫn triển khai các biện pháp kiểm soát này được cung cấp trong B.6.1 và B.9.3.

6.3 Hoạch định thay đổi

Khi tổ chức xác định nhu cầu thay đổi hệ thống quản lý AI, những thay đổi đó phải được thực hiện theo cách thức có kế hoạch.

7 Hỗ trợ

7.1 Tài nguyên

Tổ chức phải xác định và cung cấp các tài nguyên cần thiết cho việc thiết lập, triển khai, duy trì và cải tiến liên tục hệ thống quản lý AI.

Mục tiêu kiểm soát và biện pháp kiểm soát tài nguyên AI được nêu trong A.4 trong Bảng A.1. Hướng dẫn triển khai các biện pháp kiểm soát này được nêu trong Điều B.4.

7.2 Năng lực

Tổ chức phải:

- xác định năng lực cần thiết của (những) người thực hiện công việc dưới sự kiểm soát của nó có ảnh hưởng đến kết quả thực hiện AI của nó;

- đảm bảo rằng những người này có năng lực trên cơ sở giáo dục, đào tạo hoặc kinh nghiệm phù hợp;

- nếu có thể, thực hiện các hành động để đạt được năng lực cần thiết và đánh giá hiệu lực của các hành động được thực hiện.

Thông tin dạng văn bản thích hợp phải sẵn có làm bằng chứng về năng lực.

Hướng dẫn triển khai về nguồn nhân lực bao gồm việc xem xét chuyên môn cần thiết được nêu trong B.4.6.

CHÚ THÍCH Các hành động có thể áp dụng có thể bao gồm, ví dụ: cung cấp đào tạo, cố vấn hoặc phân công lại những người hiện đang được tuyển dụng; hoặc việc thuê hoặc ký hợp đồng với người có thẩm quyền.

7.3 Nhận thức

Những người làm công việc dưới sự kiểm soát của tổ chức phải nhận thức được:

- chính sách AI (xem 5.2);

- đóng góp vào hiệu lực của hệ thống quản lý AI, bao gồm lợi ích của việc cải tiến kết quả thực hiện AI;

- hệ quả của việc không tuân thủ các yêu cầu của hệ thống quản lý AI.

7.4 Trao đổi thông tin

Tổ chức phải xác định thông tin liên hệ nội bộ và bên ngoài liên quan đến hệ thống quản lý AI baogồm:

- điều cần trao đổi thông tin;

- thời điểm trao đổi thông tin;

- trao đổi thông tin với ai;

- cách thức trao đổi thông tin.

7.5 Thông tin dạng văn bản

7.5.1 Quy định chung

Hệ thống quản lý AI của tổ chức phải bao gồm:

a) thông tin dạng văn bản được yêu cầu bởi tiêu chuẩn này;

b) thông tin dạng văn bản được tổ chức xác định là cần thiết cho hiệu lực của hệ thống quản lý AI.

CHÚ THÍCH Mức độ thông tin dạng văn bản cho hệ thống quản lý AI có thể khác nhau giữa các tổ chức do:

- quy mô của tổ chức và loại hình hoạt động, quá trình, sản phẩm và dịch vụ của tổ chức đó;

- sự phức tạp của các quá trình và sự tương tác của chúng;

- năng lực của con người.

7.5.2 Tạo lập và cập nhật thông tin dạng văn bản

Khi tạo lập và cập nhật thông tin dạng văn bản, tổ chức phải đảm bảo:

- nhận dạng và mô tả (ví dụ: tiêu đề, ngày tháng, tác giả hoặc số tham chiếu);

- định dạng (ví dụ: ngôn ngữ, phiên bản phần mềm, đồ họa) và phương tiện trao đổi thông tin (ví dụ: giấy, điện tử);

- xem xét, phê duyệt về tính phù hợp và đầy đủ.

7.5.3 Kiểm soát thông tin dạng văn bản

Thông tin dạng văn bản theo yêu cầu của hệ thống quản lý AI và tiêu chuẩn này phải được kiểm soát để đảm bảo:

a) sẵn sàng và phù hợp để sử dụng, nơi và thời điểm cần thiết;

b) được bảo vệ đầy đủ (ví dụ khỏi mất tính bí mật, sử dụng không đúng cách hoặc mất tính toàn vẹn).

Để kiểm soát thông tin dạng văn bản, tổ chức phải giải quyết các hoạt động sau, nếu có:

- phân phối, truy cập, truy lục và sử dụng;

- lưu trữ và bảo quản, bao gồm cả việc duy trì tính rõ ràng;

- kiểm soát các thay đổi (ví dụ: kiểm soát phiên bản);

- lưu giữ và xử lý.

Phải định danh và kiểm soát một cách phù hợp với thông tin dạng văn bản có nguồn gốc bên ngoài được tổ chức xác định là cần thiết cho việc hoạch định và hoạt động hệ thống quản lý AI.

CHÚ THÍCH Việc truy cập có thể hàm ý rằng một quyết định liên quan đến sự chỉ cho phép xem thông tin dạng văn bản hoặc sự cho phép và thẩm quyền xem và thay đổi thông tin dạng văn bản.

8 Hoạt động

8.1 Hoạch định và kiểm soát hoạt động

Tổ chức phải hoạch định, thực hiện và kiểm soát các quá trình cần thiết để đáp ứng các yêu cầu và thực hiện các hành động được xác định tại Điều 6 bằng cách:

- thiết lập các tiêu chí cho các quá trình;

- thực hiện kiểm soát các quá trình theo các tiêu chí.

Tổ chức cần thực hiện các biện pháp kiểm soát được xác định theo 6.1.3 có liên quan đến hoạt động của hệ thống quản lý AI (ví dụ: các biện pháp kiểm soát liên quan đến vòng đời sử dụng và phát triển hệ thống AI).

Hiệu lực của các biện pháp kiểm soát này phải được theo dõi và các hành động khắc phục phải được xem xét nếu không đạt được kết quả dự kiến, phụ lục A liệt kê các biện pháp kiểm soát tham chiếu và Phụ lục B đưa ra hướng dẫn thực hiện cho họ.

Thông tin dạng văn bản phải sẵn có ở mức độ cần thiết để có sự tin cậy rằng các quá trình đã được thực hiện theo kế hoạch.

Tổ chức phải kiểm soát những thay đổi đã hoạch định và xem xét hệ quả của những thay đổi ngoài ý muốn, thực hiện hành động để giảm nhẹ mọi tác động bất lợi, nếu cần.

Tổ chức phải đảm bảo rằng các quá trình, sản phẩm hoặc dịch vụ do bên ngoài cung cấp có liên quan đến hệ thống quản lý AI đều được kiểm soát.

8.2 Đánh giá rủi ro AI

Tổ chức phải thực hiện đánh giá rủi ro AI theo6.1.2 vào những khoảng thời gian đã được hoạch định hoặc khi có những thay đổi đáng kể được đề xuất hoặc xảy ra.

Tổ chức phải lưu giữ thông tin dạng văn bản về kết quả của tất cả các đánh giá rủi ro AI.

8.3 Xử lý rủi ro AI

Tổ chức phải thực hiện kế hoạch xử lý rủi ro AI theo 6.1.3 và kiểm tra xác nhận tính hiệu lực.

Khi đánh giá rủi ro xác định những rủi ro mới cần xử lý, cần có quá trình xử lý rủi ro phù hợp với6.1.3 phải thực hiện đối với những rủi ro này.

Khi các phương án xử lý rủi ro được xác định trong kế hoạch xử lý rủi ro không hiệu lực thì các phương án xử lý này phải được xem xét và xác nhận lại hiệu lực sau quá trình xử lý rủi ro theo 6.1.3. và kế hoạch xử lý rủi ro phải được cập nhật.

Tổ chức phải lưu giữ thông tin dạng văn bản về kết quả của tất cả các biện pháp xử lý rủi ro AI.

8.4 Đánh giá tác động của hệ thống AI

Tổ chức phải thực hiện đánh giá tác động của hệ thống AI theo 6.1.4 vào những khoảng thời gian đã được hoạch định hoặc khi có những thay đổi đáng kể được đề xuất xảy ra.

Tổ chức phải lưu giữ thông tin dạng văn bản về kết quả của tất cả các đánh giá tác động của hệ thống AI.

9 Đánh giá kết quả thực hiện

9.1 Giám sát, đo lường, phân tích và đánh giá

Tổ chức phải xác định:

- những gì cần được theo dõi và đo lường;

- các phương pháp theo dõi, đo lường, phân tích và đánh giá, nếu có, để đảm bảo kết quả có giá trị;

- khi nào việc theo dõi và đo lường phải thực hiện;

- khi kết quả giám sát và đo lường được phân tích và đánh giá. Thông tin dạng văn bản phải sẵn có làm bằng chứng về kết quả.

Tổ chức phải đánh giá kết quả thực hiện và hiệu lực của hệ thống quản lý AI.

9.2 Đánh giá nội bộ

9.2.1 Quy định chung

Tổ chức phải tiến hành đánh giá nội bộ theo các khoảng thời gian đã được hoạch định để cung cấp thông tin về việc liệu hệ thống quản lý AI có:

a) phù hợp với:

1) yêu cầu riêng của tổ chức đối với hệ thống quản lý AI của mình;

2) các yêu cầu của tiêu chuẩn này;

b) được thực hiện và duy trì một cách hiệu lực.

9.2.2 Chương trình đánh giá nội bộ

Tổ chức phải hoạch định, thiết lập, thực hiện và duy trì (các) chương trình đánh giá, bao gồm tần suất, phương pháp, trách nhiệm, yêu cầu hoạch định và báo cáo.

Khi thiết lập (các) chương trình đánh giá nội bộ, tổ chức phải xem xét tầm quan trọng của các quá trình liên quan và kết quả của các cuộc đánh giá trước đó.

Tổ chức phải:

a) xác định mục tiêu, tiêu chí và phạm vi đánh giá cho từng cuộc đánh giá;

b) lựa chọn đánh giá viên và tiến hành đánh giá bảo đảm tính khách quan, công bằng của quá trình đánh giá;

c) đảm bảo rằng kết quả đánh giá được báo cáo cho người quản lý có liên quan.

Thông tin dạng văn bản phải sẵn có làm bằng chứng về việc thực hiện (các) chương trình đánh giá và kết quả đánh giá.

9.3 Xem xét của lãnh đạo

9.3.1 Quy định chung

Lãnh đạo cao nhất phải xem xét hệ thống quản lý AI của tổ chức theo các khoảng thời gian đã được hoạch định để đảm bảo tính phù hợp, đầy đủ và hiệu lực liên tục.

9.3.2 Đầu vào xem xét của lãnh đạo

Việc xem xét của lãnh đạo phải bao gồm:

a) tình trạng của các hành động từ các cuộc xem xét của lãnh đạo trước đó;

b) những thay đổi về các vấn đề bên ngoài và nội bộ có liên quan đến hệ thống quản lý AI;

c) những thay đổi về nhu cầu và mong đợi của các bên quan tâm có liên quan đến hệ thống quản lý AI;

d) thông tin về kết quả thực hiện của hệ thống quản lý AI, bao gồm các xu hướng về:

1) sự không phù hợp và hành động khắc phục;

2) kết quả quan trắc, đo lường;

3) kết quả đánh giá;

e) cơ hội để cải tiến liên tục.

9.3.3 Kết quả xem xét của lãnh đạo

Kết quả xem xét của lãnh đạo phải bao gồm các quyết định liên quan đến cơ hội cải tiến liên tục và mọi nhu cầu thay đổi đối với hệ thống quản lý AI.

Thông tin dạng văn bản phải sẵn có làm bằng chứng về kết quả xem xét của lãnh đạo.

10 Cải tiến

10.1 Cải tiến liêntục

Tổ chức phải cải tiến liên tục sự phù hợp, đầy đủ và hiệu lực của hệ thống quản lý AI.

10.2 Sự không phù hợp và hành động khắc phục

Khi xảy ra sự không phù hợp, tổ chức phải:

a) phản ứng với sự không phù hợp và khi có thể:

1) hành động để kiểm soát và khắc phục;

2) giải quyết hệ quả;

b) đánh giá nhu cầu hành động để loại bỏ (các) nguyên nhân của sự không phù hợp, để nó không tái diễn hoặc xảy ra ở nơi khác, bằng cách:

1) xem xét sự không phù hợp;

2) xác định nguyên nhân của sự không phù hợp;

3) xác định xem sự không phù hợp tương tự có tồn tại hoặc có khả năng xảy ra hay không;

c) thực hiện bất kỳ hành động cần thiết nào;

d) xem xét tính hiệu lực của bất kỳ hành động khắc phục nào được thực hiện;

e) thực hiện các thay đổi đối với hệ thống quản lý AI, nếu cần thiết.

Hành động khắc phục phải thích hợp với tác động của sự không phù hợp gặp phải. Thông tin dạng văn bản phải sẵn có làm bằng chứng về:

- bản chất của sự không phù hợp và mọi hành động tiếp theo được thực hiện;

- kết quả của bất kỳ hành động khắc phục nào.

 

Phụ lục A

(quy định)

Mục tiêu kiểm soát và biện pháp kiểm soát tham chiếu

A.1 Quy định chung

Các biện pháp kiểm soát được nêu chi tiết trong Bảng A.1 cung cấp cho tổ chức tài liệu tham chiếu để đáp ứng các mục tiêu của tổ chức và giải quyết các rủi ro liên quan đến thiết kế và hoạt động hệ thống AI. Không phải tất cả các mục tiêu kiểm soát và biện pháp kiểm soát được liệt kê trong Bảng A.1 bắt buộc phải được sử dụng và tổ chức có thể thiết kế và thực hiện các biện pháp kiểm soát của riêng mình (xem 6.1.3).

Phụ lục B đưa ra hướng dẫn triển khai cho tất cả các biện pháp kiểm soát được liệt kê trong Bảng A.1.

Bảng A.1 - Mục tiêu kiểm soát và biện pháp kiểm soát

A.2 Chính sách liên quan đến AI
Mục tiêu: Cung cấp định hướng quản lý và hỗ trợ cho hệ thống AI theo yêu cầu nghiệp vụ.
	Chủ đề	Biện pháp kiểm soát
A.2.2	Chính sách AI	Tổ chức phải lập thành văn bản chính sách phát triển hoặc sử dụng hệ thống AI.
A.2.3	Phù hợp với các chính sách tổ chức khác	Tổ chức phải xác định nơi các chính sách khác có thể chịu ảnh hưởng hoặc áp dụng đối với các mục tiêu của tổ chức đối với hệ thống AI.
A.2.4	Đánh giá chính sách AI	Chính sách AI phải xem xét theo định kỳ hoặc bổ sung khi cần thiết để đảm bảo tính phù hợp, đầy đủ và hiệu lực liên tục của chính sách đó.
A.3 Tổ chức nội bộ
Mục tiêu: Thiết lập trách nhiệm giải trình trong tổ chức nhằm duy trì cách tiếp cận có trách nhiệm của tổ chức trong việc triển khai, hoạt động và quản lý các hệ thống AI.
	Chủ đề	Biện pháp kiểm soát
A.3.2	Vai trò và trách nhiệm của AI	Vai trò và trách nhiệm của AI phải được xác định và phân bổ theo nhu cầu của tổ chức.
A.3.3	Báo cáo mối quan tâm	Tổ chức phải xác định và áp dụng một quá trình để nhân viên của tổ chức báo cáo mối quan tâm về vai trò của tổ chức đối với hệ thống AI trong suốt vòng đời.
A.4 Các tài nguyên cho hệ thống AI
Mục tiêu: Để đảm bảo rằng tổ chức tính đến các tài nguyên (bao gồm các cấu phần và tài sản của hệ thống AI) của hệ thống AI để hiểu đầy đủ và giải quyết các rủi ro và tác động.
	Chủ đề	Biện pháp kiểm soát
A.4.2	Tư liệu về tài nguyên	Tổ chức phải xác định và lập thành văn bản các tài nguyên liên quan cần thiết cho các hoạt động ở các giai đoạn trong vòng đời của hệ thống AI nhất định và các hoạt động khác liên quan đến AI có liên quan đến tổ chức.
A.4.3	Tài nguyên dữ liệu	Là một phần của việc định danh tài nguyên, tổ chức phải lập thành văn bản thông tin về tài nguyên dữ liệu được sử dụng cho hệ thống AI.
A.4.4	Tài nguyên công cụ	Là một phần của việc định danh tài nguyên, tổ chức phải lập thành vănbảnthôngtin vềcáctài nguyên côngcụđượcsử dụng cho hệ thống AI.
A.4.5	Tài nguyên tính toán và hệ thống	Là một phần của việc định danh tài nguyên, tổ chức phải lập thành văn bản thông tin về tài nguyên tính toán và hệ thống được sử dụng cho hệ thống AI.
A.4.6	Nguồn nhân lực	Là một phần của việc định danh tài nguyên, tổ chức phải lập thành văn bản thông tin về nguồn nhân lực và năng lực được sử dụng để phát triển, triển khai, hoạt động, quản lý thay đổi, bảo trì, chuyển giao và ngừng hoạt động cũng như kiểm tra xác nhận và tích hợp hệ thống AI.
A.5 Đánh giá tác động của hệ thống AI
Mục tiêu: Để đánh giá tác động của hệ thống đối với các bên quan tâm của hệ thống AI trong suốt vòng đời.
	Chủ đề	Biện pháp kiểm soát
A.5.2	Quá trình đánh giá tác động của hệ thống AI	Tổ chức phải thiết lập một quá trình để đánh giá các hệ quả tiềm ẩn đối với các cá nhân và xã hội có thể xảy ra do hệ thống AI trong suốt vòng đời.
A.5.3	Tư liệu về đánh giá tác động của hệ thống AI	Tổ chức phải lập thành văn bản kết quả đánh giá tác động của hệ thống AI và lưu giữ kết quả trong một khoảng thời gian xác định.
A.5.4	Đánh giá tác động của hệ thống AI tới cá nhân và nhóm cá nhân	Tổ chức phải đánh giá và lập thành văn bản những tác động tiềm tàng của hệ thống AI tới các cá nhân hoặc nhóm cá nhân trong suốt vòng đời của hệ thống.
A.5.5	Đánh giá tác động xã hội của hệ thống AI	Tổ chức phải đánh giá và lập thành văn bản các tác động xã hội tiềm ẩn của hệ thống AI trong suốt vòng đời.
A.6 Vòng đời hệ thống AI
A.6.1 Hướng dẫn quản lý phát triển hệ thống AI
Mục tiêu: Để đảm bảo rằng tổ chức xác định và lập thành văn bản các mục tiêu cũng như thực hiện các quá trình để thiết kế và phát triển hệ thống AI một cách có trách nhiệm.
	Chủ đề	Biện pháp kiểm soát
A.6.1.2	Mục tiêu phát triển có trách nhiệm của hệ thống AI	Tổ chức phải xác định và lập thành văn bản các mục tiêu để hướng dẫn phát triển các hệ thống AI đáng tin cậy, đồng thời tính đến các mục tiêu đó và tích hợp các biện pháp để đạt được chúng trong vòng đời phát triển.
A.6.1.3	Quá trình thiết kế và phát triển hệ thống AI đáng tin cậy	Tổ chức phải xác định và lập thành văn bản các quá trình cụ thể để thiết kế và phát triển hệ thống AI một cách có trách nhiệm.
A.6.2 Vòng đời hệ thống AI
Mục tiêu: Xác định các tiêu chí và yêu cầu cho từng giai đoạn của vòng đời hệ thống AI.
	Chủ đề	Biện pháp kiểm soát
A.6.2.2	Yêu cầu và đặc tả của hệ thống AI	Tổ chức phải xác định và lập thành văn bản các yêu cầu đối với hệ thống AI mới hoặc tăng cường tài liệu cho các hệ thống hiện có.
A.6.2.3	Tài liệu thiết kế và phát triển hệ thống AI	Tổ chức phải lập thành văn bản thiết kế và phát triển hệ thống AI dựa trên các mục tiêu của tổ chức, các yêu cầu được lập thành văn bản và tiêu chí đặc tả.
A.6.2.4	Kiểm tra xác nhận và xác nhận giá trị sử dụng hệ thống AI	Tổ chức phải xác định và lập thành văn bản các biện pháp kiểm tra xác nhận và xác nhận giá trị sử dụng cho hệ thống AI và quy định các tiêu chí cho việc sử dụng chúng.
A.6.2.5	Triển khai hệ thống AI	Tổ chức phải lập thành văn bản kế hoạch triển khai và đảm bảo đáp ứng các yêu cầu thích hợp trước khi triển khai.
A.6.2.6	Hoạt động và giám sát hệ thống AI	Tổ chức phải xác định và lập thành văn bản các yếu tố cần thiết cho hoạt động liên tục của hệ thống AI. Ở mức tối thiểu, điều này phải bao gồm giám sát, sửa chữa, cập nhật và hỗ trợ hệ thống và kết quả thực hiện.
A.6.2.7	Tư liệu kỹ thuật hệ thống AI	Tổ chức phải xác định tư liệu kỹ thuật hệ thống AI nào là cần thiết cho từng danh mục liên quan của các bên quan tâm, chẳng hạn như người dùng, đối tác, cơ quan giám sát và cung cấp tư liệu kỹ thuật cho họ theo biểu mẫu thích hợp.
A.6.2.8	Việc ghi lại các nhật ký sự kiện của hệ thống AI	Tổ chức phải xác định ở giai đoạn nào của vòng đời hệ thống AI, nên bật tính năng lưu giữ hồ sơ nhật ký, nhưng ở mức tối thiểu khi hệ thống AI đang được sử dụng.
A.7 Dữ liệu cho hệ thống AI
Mục tiêu: Để đảm bảo rằng tổ chức hiểu được vai trò và tác động của dữ liệu trong hệ thống AI trong việc ứng dụng và phát triển, cung cấp hoặc sử dụng hệ thống AI trong suốt vòng đời.
	Chủ đề	Biện pháp kiểm soát
A.7.2	Dữ liệu phục vụ phát triển và cải tiến hệ thống AI	Tổ chức phải xác định, lập thành văn bản và triển khai các quá trình quản lý dữ liệu liên quan đến việc phát triển hệ thống AI.
A.7.3	Thu nhận dữ liệu	Tổ chức phải xác định và lập thành văn bản chi tiết về việc thu nhận và lựa chọn dữ liệu được sử dụng trong hệ thống AI.
A.7.4	Chất lượng dữ liệu cho hệ thống AI	Tổ chức phải xác định và lập thành văn bản các yêu cầu về chất lượng dữ liệu và đảm bảo rằng dữ liệu được sử dụng để phát triển và hoạt động hệ thống AI đáp ứng các yêu cầu đó.
A.7.5	Nguồn gốc dữ liệu	Tổ chức phải xác định và lập thành văn bản quá trình lập thành văn bản nguồn gốc dữ liệu được sử dụng trong hệ thống AI trong suốt vòng đời của dữ liệu và hệ thống AI.
A.7.6	Chuẩn bị dữ liệu	Tổ chức phải xác định và lập thành văn bản các nhu cầu cũng như các phương pháp chuẩn bị dữ liệu.
A.8 Thông tin cho các bên quan tâm của hệ thống AI
Mục tiêu: Đảm bảo rằng các bên quan tâm có liên quan có thông tin cần thiết để hiểu và đánh giá rủi ro cũng như tác động (cả tích cực và tiêu cực).
	Chủ đề	Biện pháp kiểm soát
A.8.2	Tư liệu hệ thống và thông tin cho người dùng	Tổ chức phải xác định và cung cấp thông tin cần thiết cho người dùng hệ thống.
A.8.3	Báo cáo bên ngoài	Tổ chức phải cung cấp khả năng cho các bên quan tâm để báo cáo các tác động bất lợi của hệ thống.
A.8.4	Trao đổi thông tin về sự cố	Tổ chức phải xác định và lập thành văn bản kế hoạch trao đổi thông tin về sự cố tới người dùng hệ thống.
A.8.5	Thông tin cho các bên quan tâm	Tổ chức phải xác định và lập thành văn bản nghĩa vụ trong việc báo cáo thông tin về hệ thống AI cho các bên quan tâm.
A.9 Sử dụng hệ thống AI
Mục tiêu: Để đảm bảo rằng tổ chức sử dụng hệ thống AI một cách có trách nhiệm và phù hợp với chính sách của tổ chức.
	Chủ đề	Biện pháp kiểm soát
A.9.2	Quá trình sử dụng có trách nhiệm các hệ thống AI	Tổ chức phải xác định và lập thành văn bản các quá trình sử dụng có trách nhiệm các hệ thống AI.
A.9.3	Mục tiêu sử dụng có trách nhiệm hệ thống AI	Tổ chức phải xác định và lập thành văn bản các mục tiêu để hướng dẫn việc sử dụng có trách nhiệm các hệ thống AI.
A.9.4	Mục đích sử dụng của hệ thống AI	Tổ chức phải đảm bảo rằng hệ thống AI được sử dụng theo mục đích sử dụng dự kiến của hệ thống AI và tài liệu đi kèm.
A.10 Mối quan hệ với bên thứ ba và khách hàng
Mục tiêu: Để đảm bảo rằng tổ chức hiểu rõ trách nhiệm và duy trì trách nhiệm giải trình, đồng thời rủi ro được phân bổ hợp lý khi các bên thứ ba tham gia vào bất kỳ giai đoạn nào trong vòng đời của hệ thống AI.
	Chủ đề	Biện pháp kiểm soát
A.10.2	Phân công trách nhiệm	Tổ chức phải đảm bảo rằng các trách nhiệm trong vòng đời hệ thống AI được phân bổ giữa tổ chức, đối tác, bên cung cấp, khách hàng và bên thứ ba.
A.10.3	Các bên cung cấp	Tổ chức phải thiết lập một quá trình để đảm bảo rằng việc sử dụng dịch vụ, sản phẩm hoặc nguyên liệu do bên cung cấp cung cấp phù hợp với cách tiếp cận của tổ chức đối với việc phát triển và sử dụng có trách nhiệm các hệ thống AI.
A.10.4	Khách hàng	Tổ chức phải đảm bảo rằng cách tiếp cận có trách nhiệm đối với việc phát triển và sử dụng hệ thống AI có tính đến mong đợi và nhu cầu của khách hàng.

 

Phụ lục B

(quy định)

Hướng dẫn triển khai biện pháp kiểm soát AI

B.1 Quy định chung

Hướng dẫn triển khai được lập thành văn bản trong phụ lục này liên quan đến các biện pháp kiểm soát được liệt kê trong Bảng A.1. Nó cung cấp thông tin để hỗ trợ việc thực hiện các biện pháp kiểm soát được liệt kê trong Bảng A.1 và để đáp ứng mục tiêu kiểm soát, nhưng tổ chức không cần phải lập thành văn bản hoặc biện minh cho việc đưa hoặc loại trừ hướng dẫn triển khai trong tuyên bố khả năng áp dụng (xem 6.1.3).

Hướng dẫn thực hiện không phải lúc nào cũng phù hợp hoặc đầy đủ trong mọi tình huống và không phải lúc nào cũng đáp ứng được các yêu cầu kiểm soát cụ thể của tổ chức. Tổ chức có thể mở rộng hoặc sửa đổi hướng dẫn thực hiện hoặc xác định việc thực hiện biện pháp kiểm soát của riêng mình theo các yêu cầu cụ thể và nhu cầu xử lý rủi ro.

Phụ lục này được sử dụng làm hướng dẫn để xác định và triển khai các biện pháp kiểm soát nhằm xử lý rủi ro AI trong hệ thống quản lý AI được xác định trong tiêu chuẩn này. Có thể xác định các biện pháp kiểm soát tổ chức và kỹ thuật bổ sung ngoài những biện pháp có trong phụ lục này (xem xử lý rủi ro quản lý hệ thống AI trong 6.1.3). Phụ lục này có thể được coi là điểm khởi đầu để phát triển việc triển khai các biện pháp kiểm soát cụ thể của tổ chức.

B.2 Chính sách liên quan đến AI

B.2.1 Mục tiêu

Cung cấp định hướng quản lý và hỗ trợ cho hệ thống AI theo yêu cầu nghiệp vụ.

B.2.2 Chính sách AI

Biện pháp kiểm soát

Tổ chức nên lập thành văn bản chính sách phát triển hoặc sử dụng hệ thống AI.

Hướng dẫn thực hiện

Chính sách AI cần được thông báo bởi:

- chiến lược kinh doanh;

- giá trị và văn hóa của tổ chức cũng như mức độ rủi ro mà tổ chức sẵn sàng theo đuổi hoặc duy trì;

- mức độ rủi ro do hệ thống AI gây ra;

- yêu cầu pháp lý, bao gồm cả hợp đồng;

- môi trường rủi ro của tổ chức;

- tác động đến các bên quan tâm có liên quan (xem 6.1.4).

Chính sách AI nên bao gồm (ngoài các yêu cầu trong 5.2):

- nguyên tắc định hướng mọi vận hành của tổ chức liên quan đến AI;

- quá trình xử lý những sai lệch và ngoại lệ đối với chính sách.

Chính sách AI nên xem xét các khía cạnh theo chủ đề cụ thể khi cần thiết để đưa ra hướng dẫn bổ sung hoặc cung cấp tài liệu tham khảo chéo cho các chính sách khác liên quan đến các khía cạnh này. Ví dụ về các chủ đề như vậy bao gồm:

- Tài nguyên và tài sản AI;

- Đánh giá tác động của hệ thống AI (xem 6.1.4);

- Phát triển hệ thống AI.

Các chính sách liên quan cần hướng dẫn việc phát triển, mua, hoạt động và sử dụng hệ thống AI.

B.2.3 Phù hợp với các chính sách tổ chức khác

Biện pháp kiểm soát

Tổ chức nên xác định nơi các chính sách khác có thể chịu ảnh hưởng hoặc áp dụng cho các mục tiêu của tổ chức đối với hệ thống AI.

Hướng dẫn thực hiện

Nhiều lĩnh vực giao thoa với AI, bao gồm chất lượng, an ninh, an toàn và sự riêng tư. Tổ chức nên xem xét phân tích kỹ lưỡng để xác định xem liệu các chính sách hiện tại có nhất thiết phải giao thoa với nhau hay không và cập nhật các chính sách đó nếu cần cập nhật hoặc bao gồm các điều trong chính sách AI.

Thông tin khác

Các chính sách mà cơ quan chủ quản thay mặt tổ chức đặt ra phải thông báo cho chính sách AI. ISO/IEC 38507 đưa ra hướng dẫn cho các thành viên cơ quan chủ quản của một tổ chức để kích hoạt và quản lý hệ thống AI trong suốt vòng đời.

B.2.4 Đánh giá chính sách AI

Biện pháp kiểm soát

Chính sách AI cần được xem xét theo định kỳ hoặc bổ sung khi cần thiết để đảm bảo tính phù hợp, đầy đủ và hiệu lực liên tục của chính sách đó.

Hướng dẫn thực hiện

Vai trò được ban quản lý phê duyệt phải chịu trách nhiệm phát triển, xem xét và đánh giá chính sách AI hoặc các cấu phần nội bộ. Việc xem xét phải bao gồm việc đánh giá các cơ hội cải tiến chính sách và cách tiếp cận của tổ chức để quản lý hệ thống AI nhằm đáp ứng những thay đổi về môi trường tổ chức, hoàn cảnh kinh doanh, điều kiện pháp lý hoặc môi trường kỹ thuật.

Việc xem xét chính sách AI cần tính đến kết quả đánh giá của ban quản lý.

B.3 Tổ chức nội bộ

B.3.1 Mục tiêu

Để thiết lập trách nhiệm giải trình trong tổ chức nhằm duy trì cách tiếp cận có trách nhiệm đối với việc triển khai, hoạt động và quản lý các hệ thống AI.

B.3.2 Vai trò và trách nhiệm của AI

Biện pháp kiểm soát

Vai trò và trách nhiệm của AI cần được xác định và phân bổ theo nhu cầu của tổ chức.

Hướng dẫn thực hiện

Xác định vai trò và trách nhiệm là rất quan trọng để đảm bảo trách nhiệm giải trình trong toàn tổ chức về vai trò của nó đối với hệ thống AI trong suốt vòng đời. Tổ chức nên xem xét các chính sách AI, mục tiêu AI và các rủi ro đã xác định khi phân công vai trò và trách nhiệm để đảm bảo rằng tất cả các lĩnh vực liên quan đều được đề cập. Tổ chức có thể ưu tiên cách phân công vai trò và trách nhiệm. Ví dụ về các lĩnh vực có thể yêu cầu vai trò và trách nhiệm được xác định có thể bao gồm:

- quản lý rủi ro;

- đánh giá tác động của hệ thống AI;

- quản lý tài sản và tài nguyên;

- bảo vệ;

- an toàn;

- sự riêng tư;

- phát triển;

- kết quả thực hiện;

- sự giám sát của con người;

- mối quan hệ bên cung cấp;

- chứng tỏ khả năng đáp ứng các yêu cầu pháp lý một cách nhất quán;

- quản lý chất lượng dữ liệu (trong toàn bộ vòng đời).

Trách nhiệm của các vai trò khác nhau cần được xác định ở mức độ phù hợp để các cá nhân thực hiện nhiệm vụ của mình.

B.3.3 Báo cáo mối quan tâm

Biện pháp kiểm soát

Tổ chức cần xác định và áp dụng một quá trình để nhân viên của tổ chức báo cáo mối quan tâm về vai trò của tổ chức đối với hệ thống AI trong suốt vòng đời.

Hướng dẫn thực hiện

Cơ chế báo cáo phải thực hiện các chức năng sau:

a) các lựa chọn về bảo mật hoặc ẩn danh hoặc cả hai;

b) có sẵn và được thăng chức cho những người được tuyển dụng và ký hợp đồng;

c) bố trí nhân viên có trình độ;

d) quy định quyền điều tra và giải quyết phù hợp cho những người được đề cập ở điểm b);

e) quy định cơ chế báo cáo và chuyển lên cấp quản lý kịp thời;

f) cung cấp sự bảo vệ hiệu lực khỏi bị trả thù cho cả những người liên quan đến việc báo cáo và điều tra (ví dụ bằng cách cho phép báo cáo được thực hiện ẩn danh và bảo mật);

g) cung cấp các báo cáo theo 4.4 và, nếu thích hợp, e); đồng thời duy trì tính bí mật và ẩn danh tronga) và tôn trọng các xem xét chung về bảo mật kinh doanh

h) cung cấp cơ chế phản hồi trong khung thời gian thích hợp.

CHÚ THÍCH Tổ chức có thể sử dụng các cơ chế báo cáo hiện có như một phần của quá trình này.

Thông tin khác

Ngoài hướng dẫn triển khai được cung cấp trong điều này, tổ chức cần xem xét thêm ISO 37002.

B.4 Các tài nguyên cho hệ thống AI

B.4.1 Mục tiêu

Để đảm bảo rằng tổ chức tính đến các tài nguyên (bao gồm các cấu phần và tài sản của hệ thống AI) của hệ thống AI để hiểu đầy đủ và giải quyết các rủi ro và tác động.

B.4.2 Tư liệu về tài nguyên

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản các tài nguyên liên quan cần thiết cho các hoạt động ở các giai đoạn trong vòng đời của hệ thống AI nhất định và các hoạt động khác liên quan đến AI có liên quan đến tổ chức.

Hướng dẫn thực hiện

Tư liệu về các tài nguyên của hệ thống AI là rất quan trọng để hiểu được rủi ro cũng như các tác động tiềm ẩn của hệ thống AI (tích cực và tiêu cực) đối với các cá nhân và xã hội. Tư liệu về các tài nguyên đó (có thể sử dụng, ví dụ: sơ đồ luồng dữ liệu hoặc sơ đồ kiến trúc hệ thống) có thể cung cấp thông tin cho các đánh giá tác động của hệ thống AI (xem B.5).

Các tài nguyên bao gồm nhưng không giới hạn ở:

- các cấu phần hệ thống AI;

- tài nguyên dữ liệu, như là: dữ liệu được sử dụng ở bất kỳ giai đoạn nào trong vòng đời hệ thống AI;

- tài nguyên công cụ (ví dụ: thuật toán, mô hình hoặc công cụ AI);

- tài nguyên tính toán và hệ thống (ví dụ: phần cứng để phát triển và chạy các mô hình AI, lưu trữ dữ liệu và tài nguyên công cụ);

- nguồn nhân lực, tức là những người có chuyên môn cần thiết (ví dụ: phát triển, bán hàng, đào tạo, hoạt động và bảo trì hệ thống AI) liên quan đến vai trò của tổ chức trong suốt vòng đời của hệ thống AI.

Các tài nguyên có thể được cung cấp bởi chính tổ chức, bởi khách hàng hoặc bên thứ ba.

Thông tin khác

Tư liệu về các tài nguyên cũng có thể giúp xác định xem tài nguyên có sẵn hay không và nếu không có sẵn thì tổ chức nên sửa lại đặc tả thiết kế của hệ thống AI hoặc các yêu cầu triển khai.

B.4.3 Tài nguyên dữ liệu

Biện pháp kiểm soát

Là một phần của việc định danh tài nguyên, tổ chức nên lập thành văn bản thông tin về tài nguyên dữ liệu được sử dụng cho hệ thống AI.

Hướng dẫn thực hiện

Tài liệu về dữ liệu phải bao gồm nhưng không giới hạn ở các chủ đề sau:

- nguồn gốc dữ liệu;

- ngày dữ liệu được cập nhật hoặc sửa đổi lần cuối (ví dụ: thẻ ngày trong siêu dữ liệu);

- đối với học máy, các loại dữ liệu (ví dụ: dữ liệu huấn luyện, xác nhận, kiểm tra và sản xuất);

- các loại dữ liệu (ví dụ như được định nghĩa trong ISO/IEC 19944-1);

- quá trình ghi nhãn dữ liệu;

- mục đích sử dụng dữ liệu;

- chất lượng dữ liệu (ví dụ như được mô tả trong tiêu chuẩn ISO/IEC 5259 loạt 2));

- chính sách lưu giữ và xử lý dữ liệu hiện hành;

- các vấn đề sai lệch đã biết hoặc tiềm ẩn trong dữ liệu;

- chuẩn bị dữ liệu.

B.4.4 Tài nguyên công cụ

Biện pháp kiểm soát

Là một phần của định danh tài nguyên, tổ chức nên lập thành văn bản thông tin về các tài nguyên công cụ được sử dụng cho hệ thống AI.

Hướng dẫn thực hiện

Tài nguyên công cụ cho hệ thống AI và đặc biệt là cho học máy, bao gồm nhưng không giới hạn ở:

- các loại thuật toán và mô hình học máy;

- các công cụ hoặc quá trình tạo và thay đổi hành vi dữ liệu;

- phương pháp tối ưu hóa;

- phương pháp đánh giá;

- công cụ cung cấp cho tài nguyên;

- công cụ hỗ trợ phát triển mô hình;

- phần mềm và phần cứng để thiết kế, phát triển và triển khai hệ thống AI;

Thông tin khác

ISO/IEC 23053 đưa ra hướng dẫn chi tiết về các loại, phương pháp và cách tiếp cận đối với các tài nguyên công cụ khác nhau dành cho học máy.

B.4.5 Tài nguyên tính toán và hệ thống

Biện pháp kiểm soát

Là một phần của việc định danh tài nguyên, tổ chức nên lập thành văn bản thông tin về tài nguyên tính toán và hệ thống được sử dụng cho hệ thống AI.

Hướng dẫn thực hiện

Thông tin về tài nguyên tính toán và hệ thống cho hệ thống AI bao gồm nhưng không giới hạn ở:

- yêu cầu về tài nguyên của hệ thống AI (tức là giúp đảm bảo hệ thống có thể chạy trên các thiết bị có tài nguyên hạn chế);

- nơi đặt tài nguyên tính toán và hệ thống (ví dụ: tại chỗ, tính toán đám mây hoặc tính toán biên);

- tài nguyên xử lý (bao gồm mạng và lưu trữ);

- tác động của phần cứng được sử dụng để chạy khối lượng công việc của hệ thống AI (ví dụ: tác động đến môi trường thông qua việc sử dụng hoặc sản xuất phần cứng hoặc chi phí sử dụng phần cứng).

Tổ chức nên xem xét rằng có thể cần các tài nguyên khác nhau để cho phép cải tiến liên tục hệ thống AI. Việc phát triển, triển khai và hoạt động hệ thống có thể có các nhu cầu và yêu cầu hệ thống khác nhau.

CHÚ THÍCH ISO/IEC 22989 mô tả các xem xét khác nhau về tài nguyên hệ thống.

B.4.6 Nguồn nhân lực

Biện pháp kiểm soát

Là một phần của việc định danh tài nguyên, tổ chức phải lập thành văn bản thông tin về nguồn nhân lực và năng lực được sử dụng để phát triển, triển khai, hoạt động, quản lý thay đổi, bảo trì, chuyển giao và ngừng hoạt động cũng như kiểm tra xác nhận và tích hợp hệ thống AI.

Hướng dẫn thực hiện

Tổ chức nên xem xét nhu cầu về chuyên môn đa dạng và bao gồm các loại vai trò cần thiết cho hệ thống. Ví dụ: tổ chức có thể bao gồm các nhóm nhân khẩu học cụ thể liên quan đến tập dữ liệu được sử dụng để đào tạo các mô hình học máy, nếu việc đưa họ vào là một cấu phần cần thiết trong thiết kế hệ thống. Nguồn nhân lực cần thiết bao gồm nhưng không giới hạn ở:

- nhà khoa học dữ liệu;

- vai trò liên quan đến giám sát của con người đối với hệ thống AI;

- chuyên gia về các chủ đề đáng tin cậy như an toàn, an ninh và sự riêng tư;

- Các nhà nghiên cứu và chuyên gia AI cũng như các chuyên gia lĩnh vực liên quan đến hệ thống AI. Các tài nguyên khác nhau có thể cần thiết ở các giai đoạn khác nhau trong vòng đời của hệ thống AI.

B.5 Đánh giá tác động của hệ thống AI

B.5.1 Mục tiêu

Để đánh giá tác động của hệ thống AI tới các cá nhân và xã hội chịu ảnh hưởng bởi hệ thống AI trong suốt vòng đời.

B.5.2 Quá trình đánh giá tác động của hệ thống AI

Biện pháp kiểm soát

Tổ chức nên thiết lập một quá trình để đánh giá các hệ quả tiềm ẩn đối với các cá nhân và xã hội có thể xảy ra do hệ thống AI trong suốt vòng đời.

Hướng dẫn thực hiện

Do các hệ thống AI có khả năng tạo ra tác động đáng kể đến các cá nhân, nhóm cá nhân và xã hội nên tổ chức cung cấp và sử dụng các hệ thống đó phải dựa trên mục đích và cách sử dụng dự định của các hệ thống này để đánh giá tác động tiềm tàng của các hệ thống này đối với các nhóm này.

Tổ chức nên xem xét liệu hệ thống AI có ảnh hưởng đến:

- địa vị pháp lý hoặc cơ hội sống của cá nhân;

- sức khỏe thể chất hoặc tâm lý của cá nhân;

- nhân quyền phổ quát;

- các xã hội.

Các thủ tục của tổ chức cần bao gồm nhưng không giới hạn ở:

a) các trường hợp cần thực hiện đánh giá tác động của hệ thống AI, bao gồm nhưng không giới hạn ở:

1) mức độ quan trọng của mục đích và bối cảnh dự định trong đó hệ thống AI được sử dụng hoặc bất kỳ thay đổi đáng kể nào đối với những mục đích và bối cảnh này;

2) độ phức tạp của công nghệ AI và mức độ tự động hóa của hệ thống AI hoặc bất kỳ thay đổi đáng kể nào đối với điều đó;

3) độ nhạy cảm của các loại và nguồn dữ liệu được xử lý bởi hệ thống AI hoặc bất kỳ thay đổi đáng kể nào đối với điều đó.

b) các yếu tố là một phần của quá trình đánh giá tác động của hệ thống AI, có thể bao gồm:

1) xác định (ví dụ: nguồn, sự kiện và kết quả);

2) phân tích (ví dụ: hệ quả và khả năng xảy ra);

3) đánh giá (ví dụ: quyết định chấp nhận và ưu tiên);

4) xử lý (ví dụ các biện pháp giảm thiểu);

5) tài liệu, báo cáo và trao đổi thông tin (xem 7.4, 7,5 Và B.3.3);

c) ai thực hiện đánh giá tác động của hệ thống AI;

d) cách sử dụng đánh giá tác động của hệ thống AI [ví dụ: cách đánh giá tác động của hệ thống AI có thể cung cấp thông tin cho việc thiết kế hoặc sử dụng hệ thống (xem B.6 Và B.9), liệu nó có thể kích hoạt việc xem xét và phê duyệt hay không];

e) các cá nhân và xã hội có khả năng chịu ảnh hưởng dựa trên mục đích, cách sử dụng và đặc điểm dự định của hệ thống (ví dụ: đánh giá đối với cá nhân, nhóm cá nhân hoặc xã hội).

Đánh giá tác động cần tính đến các khía cạnh khác nhau của hệ thống AI, bao gồm dữ liệu được sử dụng để phát triển hệ thống AI, công nghệ AI được sử dụng và chức năng của toàn bộ hệ thống.

Các quá trình có thể khác nhau dựa trên vai trò của tổ chức và lĩnh vực ứng dụng AI cũng như tùy thuộc vào các nguyên tắc cụ thể mà tác động được đánh giá (ví dụ: bảo mật, sự riêng tư và an toàn).

Thông tin khác

Đối với một số ngành hoặc tổ chức, việc xem xét chi tiết tác động lên cá nhân và xã hội là một phần của quản lý rủi ro, đặc biệt trong các ngành như an toàn thông tin, an toàn và quản lý môi trường. Tổ chức nên xác định xem các đánh giá tác động theo từng lĩnh vực cụ thể có được thực hiện như một phần của quá trình quản lý rủi ro như vậy có tích hợp đầy đủ các xem xét về AI cho các khía cạnh cụ thể đó hay không (ví dụ: sự riêng tư).

CHÚ THÍCH ISO/IEC 23894 mô tả cách tổ chức có thể thực hiện phân tích tác động cho chính tổ chức đó, cùng với các cá nhân và xã hội, như một phần của quá trình quản lý rủi ro tổng thể.

B.5.3 Tư liệu về đánh giá tác động của hệ thống AI

Biện pháp kiểm soát

Tổ chức nên lập thành văn bản kết quả đánh giá tác động của hệ thống AI và lưu giữ kết quả trong một khoảng thời gian xác định.

Hướng dẫn thực hiện

Tiêu chuẩn này có thể hữu ích trong việc xác định thông tin cần được trao đổi thông tin về tới người dùng và các bên quan tâm có liên quan khác.

Các đánh giá tác động của hệ thống AI phải được lưu giữ và cập nhật, khi cần, phù hợp với các yếu tố của đánh giá tác động của hệ thống AI được ghi trong B.5.2. Thời gian lưu giữ có thể tuân theo lịch trình lưu giữ của tổ chức hoặc được thông báo theo yêu cầu pháp lý hoặc các yêu cầu khác.

Các mục mà tổ chức nên xem xét lập thành văn bản có thể bao gồm, nhưng không giới hạn ở:

- mục đích sử dụng dự kiến của việc sử dụng sai mục đích hợp lý, có thể thấy trước đối với hệ thống AI;

- tác động tích cực và tiêu cực của hệ thống AI tới các cá nhân và xã hội có liên quan;

- những sai lỗi có thể dự đoán được, những tác động tiềm tàng và các biện pháp được thực hiện để giảm thiểu chúng;

- các nhóm nhân khẩu học có liên quan mà hệ thống được áp dụng;

- sự phức tạp của hệ thống;

- vai trò của con người trong mối quan hệ với hệ thống, bao gồm khả năng giám sát, quá trình và công cụ sẵn có của con người để tránh các tác động tiêu cực;

- việc làm và trình độ của nhân viên.

B.5.4 Đánh giá tác động của hệ thống AI đến cá nhân và nhóm cá nhân

Biện pháp kiểm soát

Tổ chức cần đánh giá và lập thành văn bản các tác động tiềm ẩn của hệ thống AI đối với các cá nhân hoặc nhóm cá nhân trong suốt vòng đời của hệ thống.

Hướng dẫn thực hiện

Khi đánh giá tác động lên các cá nhân, tổ chức nên xem xét các nguyên tắc quản trị, chính sách và mục tiêu AI của mình. Các cá nhân sử dụng hệ thống AI hoặc có PII được hệ thống AI xử lý có thể có những mong đợi liên quan đến tính đáng tin cậy hệ thống AI. Cần tính đến nhu cầu bảo vệ cụ thể của các nhóm như trẻ em, người khuyết tật, người già và người lao động. Tổ chức nên đánh giá những mong đợi này và xem xét các phương tiện để giải quyết chúng như một phần của đánh giá tác động hệ thống.

Tùy thuộc vào phạm vi mục đích và cách sử dụng hệ thống AI, các lĩnh vực tác động cần xem xét trong quá trình đánh giá bao gồm nhưng không giới hạn ở:

- công bằng;

- trách nhiệm giải trình;

- tính minh bạch và khả năng giải thích;

- an ninh và sự riêng tư;

- an toàn và khỏe mạnh;

- hệ quả tài chính;

- khả năng tiếp cận;

- quyền con người.

Thông tin khác

Khi cần thiết, tổ chức nên tham khảo ý kiến các chuyên gia (ví dụ: nhà nghiên cứu, chuyên gia về chủ đề và người dùng) để có được sự kiến thức đầy đủ về tác động tiềm ẩn của hệ thống đối với các cá nhân.

B.5.5 Đánh giá tác động xã hội của hệ thống AI

Biện pháp kiểm soát

Tổ chức nên đánh giá và lập thành văn bản các tác động xã hội tiềm ẩn của hệ thống AI trong suốt vòng đời.

Hướng dẫn thực hiện

Tác động xã hội có thể rất khác nhau tùy thuộc vào bối cảnh của tổ chức và loại hệ thống AI. Tác động xã hội của hệ thống AI có thể vừa có lợi vừa có hại. Ví dụ về những tác động xã hội tiềm ẩn này có thể bao gồm:

- tính bền vững của môi trường (bao gồm các tác động đến tài nguyên thiên nhiên và phát thải khí nhà kính);

- kinh tế (bao gồm khả năng tiếp cận các dịch vụ tài chính, cơ hội việc làm, thuế, thương mại và giao thương);

- chính phủ (bao gồm các quá trình lập pháp, thông tin sai lệch vì lợi ích chính trị, an ninh quốc gia và hệ thống tư pháp hình sự);

- sức khỏe và an toàn (bao gồm khả năng tiếp cận dịch vụ chăm sóc sức khỏe, chẩn đoán và điều trị y tế cũng như các tác hại tiềm ẩn về thể chất và tâm lý);

- chuẩn mực, truyền thống, văn hóa và giá trị (bao gồm thông tin sai lệch dẫn đến thành kiến hoặc gây tổn hại cho cá nhân).

Thông tin khác

Việc phát triển và sử dụng hệ thống AI có thể đòi hỏi tính toán chuyên sâu với các tác động liên quan đến tính bền vững của môi trường (ví dụ: phát thải khí nhà kính do sử dụng năng lượng ngày càng tăng, tác động đến nước, đất đai, hệ thực vật và động vật). Tương tự như vậy, hệ thống AI có thể được sử dụng để cải tiến tính bền vững môi trường của các hệ thống khác (ví dụ: giảm phát thải khí nhà kính liên quan đến các tòa nhà và giao thông vận tải). Tổ chức nên xem xét tác động của các hệ thống AI trong bối cảnh các mục tiêu và chiến lược bền vững môi trường tổng thể của mình.

Tổ chức nên xem xét cách các hệ thống AI có thể bị lạm dụng để tạo ra các tác hại xã hội và cách chúng có thể được sử dụng để giải quyết các tác hại lịch sử. Ví dụ: hệ thống AI có thể ngăn chặn quyền truy cập vào các dịch vụ tài chính như khoản vay, trợ cấp, bảo hiểm và đầu tư hay không và hệ thống AI có thể cải tiến khả năng truy cập vào các công cụ này không?

Hệ thống AI đã được sử dụng để tác động đến kết quả của các cuộc bầu cử và tạo ra thông tin sai lệch (ví dụ: fakedeep trên phương tiện trao đổi thông tin số) có thể dẫn đến tình trạng bất ổn chính trị và xã hội. Việc chính phủ sử dụng hệ thống AI cho mục đích tư pháp hình sự đã bộc lộ nguy cơ thiên vị đối với các cá nhân và nhóm cá nhân. Tổ chức nên phân tích cách các tác nhân xấu có thể lạm dụng hệ thống AI và cách hệ thống AI củng cố những thành kiến xã hội lịch sử không mong muốn.

Hệ thống AI có thể được sử dụng để chẩn đoán và điều trị bệnh cũng như xác định tiêu chuẩn đạt được lợi ích sức khỏe. Hệ thống AI cũng được triển khai trong các tình huống mà sự cố có thể dẫn đến tử vong hoặc thương tích cho con người (ví dụ: ô tô tự lái, đội người máy). Tổ chức nên xem xét cả kết quả tích cực và tiêu cực khi sử dụng hệ thống AI, chẳng hạn như trong các tình huống liên quan đến sức khỏe và an toàn.

CHÚ THÍCH ISO/IEC TR 24368 cung cấp tổng quan mức cao cho các mối quan tâm về đạo đức và xã hội liên quan đến các hệ thống và ứng dụng AI.

B.6 Vòng đời hệ thống AI

B.6.1 Hướng dẫn quản lý phát triển hệ thống AI

B.6.1.1 Mục tiêu

Để đảm bảo rằng tổ chức xác định và lập thành văn bản các mục tiêu cũng như thực hiện các quá trình để thiết kế và phát triển có trách nhiệm các hệ thống AI đáng tin cậy.

B.6.1.2 Mục tiêu phát triển có trách nhiệm của hệ thống AI

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản các mục tiêu để hướng dẫn sự phát triển có trách nhiệm của các hệ thống AI, đồng thời tính đến các mục tiêu đó và tích hợp các biện pháp để đạt được chúng trong vòng đời phát triển.

Hướng dẫn thực hiện

Tổ chức cần xác định các mục tiêu (xem 6.2 ) ảnh hưởng đến quá trình thiết kế và phát triển hệ thống AI. Những mục tiêu này cần được tính đến trong quá trình thiết kế và phát triển. Ví dụ: nếu tổ chức xác định “tính công bằng” làmột mục tiêu thì mục tiêu này cần được kết hợp trong đặc tả yêu cầu, thu nhận dữ liệu, tạo và thay đổi hành vi dữ liệu, đào tạo mô hình, kiểm tra xác nhận và xác nhận giá trị sử dụng, v.v. Tổchức cần cung cấp các yêu cầu và hướng dẫn cần thiết để đảm bảo rằng các biện pháp được tích hợpvào các giai đoạn khác nhau (ví dụ: yêu cầu sử dụng một công cụ hoặc phương pháp kiểm tra cụ thể để giải quyết sự không công bằng hoặc thành kiến không mong muốn) để đạt được các mục tiêu đó.

Thông tin khác

Các kỹ thuật AI đang được sử dụng để tăng cường các biện pháp bảo mật như phát hiện dự đoán mối đe dọa và ngăn chặn các cuộc tấn công bảo mật. Đây là một ứng dụng của các kỹ thuật AI có thể được sử dụng để tăng cường các biện pháp bảo mật nhằm bảo vệ cả hệ thống AI và các hệ thống phần mềm không dựa trên AI thông thường. Phụ lục C cung cấp các ví dụ về mục tiêu của tổ chức để quản lý rủi ro, có thể hữu ích trong việc xác định mục tiêu phát triển hệ thống AI.

B.6.1.3 Quá trình thiết kế và phát triển hệ thống AI có trách nhiệm

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản các quá trình cụ thể để thiết kế và phát triển hệ thống AI một cách có trách nhiệm.

Hướng dẫn thực hiện

Việc phát triển có trách nhiệm đối với các quá trình của hệ thống AI phải bao gồm việc xem xét nhưng không giới hạn những điểm sau:

- các giai đoạn vòng đời (mô hình vòng đời hệ thống AI chung được cung cấp bởi ISO/IEC 22989, nhưng tổ chức có thể quy định các giai đoạn vòng đời của riêng họ);

- yêu cầu thử nghiệm và phương tiện dự kiến để thử nghiệm;

- yêu cầu giám sát của con người, bao gồm các quá trình và công cụ, đặc biệt khi hệ thống AI có thể tác động đến thể nhân;

- nên thực hiện đánh giá tác động của hệ thống AI ở giai đoạn nào;

- các quy tắc và mong đợi về dữ liệu huấn luyện (ví dụ: dữ liệu nào có thể được sử dụng, bên cung cấp dữ liệu được phê duyệt và ghi nhãn);

- yêu cầu chuyên môn (lĩnh vực chủ đề hoặc lĩnh vực khác) hoặc đào tạo cho các nhà phát triển hệ thống AI hoặc cả hai;

- tiêu chí phát hành;

- phê duyệt và chấp nhận ở các giai đoạn khác nhau;

- kiểm soát thay đổi;

- khả năng sử dụng và kiểm soát;

- sự tham gia của các bên quan tâm.

Các quá trình thiết kế và phát triển cụ thể phụ thuộc vào chức năng và công nghệ AI dự định sử dụng cho hệ thống AI.

B.6.2 Vòng đời hệ thống AI

B.6.2.1 Mục tiêu

Để xác định các tiêu chí và yêu cầu cho từng giai đoạn của vòng đời hệ thống AI.

B.6.2.2 Yêu cầu và đặc tả của hệ thống AI

Tổ chức nên xác định và lập thành văn bản các yêu cầu đối với hệ thống AI mới hoặc tăng cường tài liệu cho các hệ thống hiện có.

Hướng dẫn thực hiện

Tổ chức nên lập thành văn bản lý do cơ bản để phát triển hệ thống AI và các mục tiêu. Một số yếu tố cần được xem xét, lập thành văn bản và hiểu rõ có thể bao gồm:

a) Ví dụ, tại sao hệ thống AI cần được phát triển, điều này được thúc đẩy bởi một trường hợp kinh doanh, yêu cầu của khách hàng hoặc bởi chính sách của chính phủ;

b) cách đào tạo mô hình và cách đạt được các yêu cầu về dữ liệu.

Các yêu cầu về hệ thống AI phải được chỉ định và phải trải dài trong toàn bộ vòng đời của hệ thống AI. Những yêu cầu như vậy cần được xem xét lại trong trường hợp hệ thống AI đã phát triển không thể hoạt động như dự định hoặc phát sinh thông tin mới có thể được sử dụng để thay đổi và cải tiến các yêu cầu. Ví dụ, việc phát triển hệ thống AI có thể trở nên không khả thi về mặt tài chính.

Thông tin khác

Các quá trình mô tả vòng đời của hệ thống AI được cung cấp bởi ISO/IEC 5338. Để biết thêm thông tin về thiết kế lấy con người làm trung tâm cho các hệ thống tương tác, xem ISO 9241-210.

B.6.2.3Tài liệu thiết kế và phát triển hệ thống AI

Tổ chức nên lập thành văn bản thiết kế và phát triển hệ thống AI dựa trên các mục tiêu của tổ chức, các yêu cầu được lập thành văn bản và tiêu chí đặc tả.

Hướng dẫn thực hiện

Có nhiều lựa chọn thiết kế cần thiết cho hệ thống AI, bao gồm nhưng không giới hạn ở:

- phương pháp học máy (ví dụ: được giám sát và không được giám sát);

- thuật toán học tập và loại mô hình học máy được sử dụng;

- cách mô hình được dự kiến huấn luyện và chất lượng dữ liệu nào (xem B.7);

- đánh giá và sàng lọc các mô hình;

- cấu phần phần cứng và phần mềm;

- các mối đe dọa an toàn được xem xét trong suốt vòng đời của hệ thống AI; các mối đe dọa an toàn dành riêng cho hệ thống AI bao gồm đầu độc dữ liệu, đánh cấp mô hình hoặc tấn công đảo ngược mô hình;

- giao diện và thể hiện kết quả đầu ra;

- cách con người có thể tương tác với hệ thống;

- xem xét về tính tương tác và tính khả chuyển.

Có thể có nhiều lần lặp lại giữa thiết kế và phát triển, nhưng tài liệu về giai đoạn này phải được duy trì và phải có sẵn tài liệu về kiến trúc hệ thống cuối cùng.

Thông tin khác

Để biết thêm thông tin về thiết kế lấy con người làm trung tâm cho các hệ thống tương tác, xem ISO 9241-210.

B.6.2.4 Kiểm tra xác nhận và xác nhận giá trị sử dụng hệ thống AI

Biện pháp kiểm soát

Tổ chức nên xác định và lập thành văn bản các biện pháp kiểm tra xác nhận và xác nhận giá trị sử dụng cho hệ thống AI và quy định các tiêu chí cho việc sử dụng chúng.

Hướng dẫn thực hiện

Các biện pháp kiểm tra xác nhận và xác nhận giá trị sử dụng có thể bao gồm, nhưng không giới hạn ở:

- phương pháp và công cụ kiểm tra;

- lựa chọn dữ liệu thử nghiệm và tính đại diện liên quan đến lĩnh vực sử dụng dự kiến;

- yêu cầu về tiêu chí phát hành.

Tổ chức cần xác định và lập thành văn bản các tiêu chí đánh giá như, nhưng không giới hạn ở:

- kế hoạch đánh giá các cấu phần hệ thống AI và toàn bộ hệ thống AI về các rủi ro liên quan đến tác động đến cá nhân và xã hội;

- kế hoạch đánh giá làm cơ sở, ví dụ:

- các yêu cầu về an toàn và độ tin cậy của hệ thống AI, bao gồm tỷ lệ lỗi có thể chấp nhận được đối với kết quả thực hiện của hệ thống AI;

- các mục tiêu sử dụng và phát triển hệ thống AI có trách nhiệm chẳng hạn như các mục tiêu trong B.6.1.2 Và B.9.3;

- các yếu tố hoạt động như chất lượng dữ liệu, mục đích sử dụng, bao gồm phạm vi chấp nhận được của từng yếu tố hoạt động;

- bất kỳ mục đích sử dụng dự kiến nào có thể yêu cầu xác định các hệ số hoạt động nghiêm ngặt hơn, bao gồm các phạm vi chấp nhận được khác nhau đối với các hệ số hoạt động hoặc tỷ lệ lỗi thấp hơn;

- các phương pháp, hướng dẫn hoặc số liệu được sử dụng để đánh giá xem các bên quan tâm có liên quan đưa ra quyết định hoặc phải tuân theo các quyết định dựa trên kết quả đầu ra của hệ thống AI có thể diễn giải đầy đủ kết quả đầu ra của hệ thống AI hay không. Tần suất đánh giá phải được xác định và làm cơ sở kết quả đánh giá tác động của hệ thống AI;

- bất kỳ yếu tố có thể chấp nhận nào có thể giải thích cho việc không thể đáp ứng mức kết quả thực hiện tối thiểu mục tiêu, đặc biệt là khi hệ thống AI được đánh giá về tác động đến cá nhân và xã hội (ví dụ: độ phân giải hình ảnh kém đối với hệ thống thị giác máy tính hoặc tiếng ồn xung quanh ảnh hưởng đến hệ thống nhận dạng giọng nói). Các cơ chế xử lý kết quả thực hiện hệ thống AI kém do đó các yếu tố này cũng cần được lập thành văn bản.

Hệ thống AI cần được đánh giá dựa trên các tiêu chí được lập thành văn bản để đánh giá.

Khi hệ thống AI không thể đáp ứng các tiêu chí được lập thành văn bản để đánh giá, đặc biệt là đối với các mục tiêu sử dụng và phát triển hệ thống AI có trách nhiệm (xem B.6.1.2 và B.9.3), tổ chức nên xem xét lại hoặc quản lý những thiếu sót trong mục đích sử dụng dự kiến của hệ thống AI, các yêu cầu về hiệu lực hoạt động của hệ thống và cách thức tổ chức có thể giải quyết một cách hiệu lực các tác động đối với các cá nhân và xã hội.

CHÚ THÍCH Thông tin bổ sung về cách xử lý độ bền chắc của mạng nơ-ron có thể tìm thấy trong ISO/IEC TR 240291.

B.6.2.5 Triển khai hệ thống AI

Biện pháp kiểm soát

Tổ chức phải lập thành văn bản kế hoạch triển khai và đảm bảo rằng các yêu cầu thích hợp được đáp ứng trước khi triển khai.

Hướng dẫn thực hiện

Các hệ thống AI có thể được phát triển trong nhiều môi trường khác nhau và được triển khai ở các môi trường khác (chẳng hạn như được phát triển tại cơ sở và được triển khai bằng tính toán đám mây) và tổ chức nên tính đến những khác biệt này khi hoạch định triển khai. Họ cũng nên xem xét liệu các cấu phần có được triển khai riêng biệt hay không (ví dụ: phần mềm và mô hình có thể được triển khai độc lập). Ngoài ra, tổ chức cần phải đáp ứng một bộ yêu cầu trước khi phát hành và triển khai (đôi khi được gọi là “tiêu chí phát hành”). Điều này có thể bao gồm các biện pháp kiểm tra xác nhận và xác nhận giá trị sử dụng phải được thông qua, các số liệu kết quả thực hiện phải được đáp ứng, quá trình kiểm tra người dùng phải được hoàn thành cũng như các phê duyệt và phê duyệt của quản lý cần phải có. Kế hoạch triển khai cần tính đến các khía cạnh và tác động tới các bên quan tâm có liên quan.

B.6.2.6 Hoạt động và giám sát hệ thống AI

Biện pháp kiểm soát

Tổ chức nên xác định và lập thành văn bản các yếu tố cần thiết cho hoạt động liên tục của hệ thống AI. Ở mức tối thiểu, điều này phải bao gồm giám sát, sửa chữa, cập nhật và hỗ trợ hệ thống và kết quả thực hiện.

Hướng dẫn thực hiện

Mỗi hoạt động tối thiểu để hoạt động và giám sát có thể tính đến nhiều yếu tố khác nhau. Ví dụ:

- Giám sát hệ thống và kết quả thực hiện có thể bao gồm giám sát các lỗi và lỗi chung cũng như liệu hệ thống có hoạt động như mong đợi với dữ liệu sản xuất hay không. Tiêu chí kết quả thực hiện kỹ thuật có thể bao gồm tỷ lệ thành công trong việc giải quyết vấn đề hoặc hoàn thành nhiệm vụ hoặc tỷ lệ tin cậy. Các tiêu chí khác có thể liên quan đến việc đáp ứng cam kết hoặc mong đợi và nhu cầu của các bên quan tâm, ví dụ, bao gồm việc giám sát liên tục để đảm bảo sự tuân thủ các yêu cầu của khách hàng hoặc các yêu cầu pháp lý hiện hành.

- Một số hệ thống AI được triển khai phát triển kết quả thực hiện nhờ ML, trong đó dữ liệu sản xuất và dữ liệu đầu ra được sử dụng để đào tạo thêm mô hình ML. Khi sử dụng học tập liên tục, tổ chức nên giám sát kết quả thực hiện của hệ thống AI để đảm bảo rằng hệ thống tiếp tục đáp ứng các mục tiêu thiết kế và hoạt động trên dữ liệu sản xuất như dự kiến.

- Kết quả thực hiện của một số hệ thống AI có thể thay đổi ngay cả khi các hệ thống đó không sử dụng phương pháp học liên tục, thường là do khái niệm hoặc sự trôi dạt dữ liệu trong dữ liệu sản xuất. Trong những trường hợp như vậy, việc giám sát có thể xác định nhu cầu đào tạo lại để đảm bảo rằng hệ thống AI tiếp tục đáp ứng các mục tiêu thiết kế và hoạt động trên dữ liệu sản xuất như dự kiến. Thông tin thêm có thể được tìm thấy trong ISO/IEC 23053.

- Việc sửa chữa có thể bao gồm các phản hồi đối với lỗi và lỗi trong hệ thống. Tổ chức cần có sẵn các quá trình để ứng phó và khắc phục những vấn đề này. Ngoài ra, các bản cập nhật có thể cần thiết khi hệ thống phát triển hoặc khi ít vấn đề nghiêm trọng được xác định hơn hoặc do các vấn đề được xác định từ bên ngoài (ví dụ: không tuân thủ mong đợi của khách hàng hoặc yêu cầu pháp lý).Cần có sẵn các quá trình để cập nhật hệ thống bao gồm các cấu phần chịu ảnh hưởng, lịch cập nhật, thông tin cho người dùng về những gì có trong bản cập nhật.

- Cập nhật hệ thống cũng có thể bao gồm những thay đổi trong hoạt động của hệ thống, mục đích sử dụng mới hoặc được sửa đổi hoặc những thay đổi khác về chức năng hệ thống. Tổ chức cần có sẵn các thủ tục để giải quyết những thay đổi trong hoạt động, bao gồm cả việc trao đổi thông tin với người dùng.

- Hỗ trợ cho hệ thống có thể là nội bộ, bên ngoài hoặc cả hai, tùy thuộc vào nhu cầu của tổ chức và cách thức tiếp thu hệ thống. Các quá trình hỗ trợ nên xem xét cách người dùng có thể liên hệ với trợ giúp thích hợp, cách báo cáo các sự kiện và sự cố, các thỏa thuận và số liệu về mức dịch vụ hỗ trợ.

- Khi hệ thống AI đang được sử dụng cho các mục đích khác với mục đích mà chúng được thiết kế hoặc theo những cách không lường trước được thì cần phải xem xét tính phù hợp của việc sử dụng đó.

- Cần xác định các mối đe dọa an toàn thông tin dành riêng cho AI liên quan đến hệ thống AI do tổ chức áp dụng và phát triển. Các mối đe dọa an toàn thông tin dành riêng cho AI bao gồm nhưng không giới hạn ở việc đầu độc dữ liệu, đánh cấp mô hình và tấn công đảo ngược mô hình.

Thông tin khác

Tổ chức cần xem xét kết quả thực hiện hoạt động có thể ảnh hưởng đến các bên quan tâm và xem xét điều này khi thiết kế và xác định tiêu chí kết quả thực hiện.

Tiêu chí kết quả thực hiện cho các hệ thống AI đang hoạt động phải được xác định theo nhiệm vụ đang được xem xét, chẳng hạn như phân loại, hồi quy, xếp hạng, phân cụm hoặc giảm kích thước.

Tiêu chí kết quả thực hiện có thể bao gồm các khía cạnh thống kê như tỷ lệ lỗi và thời gian xử lý. Đối với mỗi tiêu chí, tổ chức nên xác định tất cả các số liệu liên quan cũng như sự phụ thuộc lẫn nhau giữa các số liệu. Đối với mỗi số liệu, tổ chức nên xem xét các giá trị có thể chấp nhận được, ví dụ như dựa trên khuyến nghị của chuyên gia trong lĩnh vực và phân tích mong đợi của các bên quan tâm liên quan đến các hoạt động phi AI hiện có.

Ví dụ: một tổ chức có thể xác định rằng điểm F₁ là thước đo kết quả thực hiện phù hợp dựa trên đánh giá về tác động của kết quả dương tính giả và âm tính giả, như được mô tả trong ISO/IEC TS 4213. Sau đó, tổ chức có thể thiết lập giá trị F₁ mà hệ thống AI dự kiến sẽ đáp ứng được.Cần đánh giá xem những vấn đề này có thể được xử lý bằng các biện pháp hiện có hay không. Nếu không đúng như vậy thì cần xem xét thay đổi các biện pháp hiện tại hoặc xác định các biện pháp bổ sung để phát hiện và xử lý những vấn đề này.

Tổ chức nên xem xét kết quả thực hiện của các hệ thống hoặc quá trình không phải AI đang hoạt động và sử dụng chúng làm bối cảnh có liên quan khi thiết lập tiêu chí kết quả thực hiện.

Ngoài ra, tổ chức phải đảm bảo rằng các phương tiện và quá trình được sử dụng để đánh giá hệ thống AI, bao gồm cả việc lựa chọn và quản lý dữ liệu đánh giá, nếu có, để cải tiến tính đầy đủ và độ tin cậy trong việc đánh giá hiệu lực hoạt động của nó đối với các tiêu chí đã xác định.

Việc phát triển các phương pháp đánh giá kết quả thực hiện làm cơ sở các tiêu chí, thước đo và giá trị. Những thông tin này sẽ cung cấp thông tin về lượng dữ liệu và các loại quá trình được sử dụng trong đánh giá cũng như vai trò và chuyên môn của nhân viên thực hiện đánh giá.

Các phương pháp đánh giá hiệu lực hoạt động phải phản ánh các thuộc tính và đặc điểm của hoạt động và cách sử dụng càng chặt chẽ càng tốt để đảm bảo rằng kết quả đánh giá là hữu ích và phù hợp. Một số khía cạnh của đánh giá hiệu lực hoạt động có thể yêu cầu đưa vào một cách có kiểm soát các dữ liệu hoặc quá trình sai hoặc giả để đánh giá tác động đến hiệu lực hoạt động.

Mô hình chất lượng trong ISO/IEC 25059 có thể được sử dụng để xác định tiêu chí thực hiện.

B.6.2.7 Tư liệu kỹ thuật hệ thống AI

Biện pháp kiểm soát

Tổ chức nên xác định tư liệu kỹ thuật hệ thống AI nào là cần thiết cho từng danh mục liên quan của các bên quan tâm, chẳng hạn như người dùng, đối tác, cơ quan giám sát và cung cấp tư liệu kỹ thuật cho họ theo biểu mẫu thích hợp.

Hướng dẫn thực hiện

Tư liệu kỹ thuật của hệ thống AI bao gồm nhưng không giới hạn ở các yếu tố sau:

- mô tả chung về hệ thống AI bao gồm mục đích dự định của nó;

- Cách sử dụng cấu trúc;

- các giả định kỹ thuật về việc triển khai và hoạt động nó (môi trường thời gian chạy, các khả năng phần mềm và phần cứng liên quan, các giả định được thực hiện trên dữ liệu, v.v.);

- hạn chế về mặt kỹ thuật (ví dụ: tỷ lệ lỗi có thể chấp nhận được, độ chính xác, độ tin cậy, độ bền chắc);

- khả năng và chức năng giám sát cho phép người dùng hoặc người hoạt động tác động đến hoạt động của hệ thống.

Các yếu tố tài liệu liên quan đến tất cả các giai đoạn trong vòng đời của hệ thống AI (như được định nghĩa trong ISO/IEC 22989) có thể bao gồm, nhưng không giới hạn ở:

- đặc tả thiết kế và kiến trúc hệ thống;

- các lựa chọn thiết kế được thực hiện và các biện pháp chất lượng được thực hiện trong quá trình phát triển hệ thống;

- thông tin về dữ liệu được sử dụng trong quá trình phát triển hệ thống;

- các giả định được đưa ra và các biện pháp chất lượng được thực hiện đối với chất lượng dữ liệu (ví dụ: phân phối thống kê giả định);

- các hoạt động quản lý (ví dụ: quản lý rủi ro) được thực hiện trong quá trình phát triển hoặc hoạt động hệ thống AI;

- hồ sơ kiểm tra xác nhận và xác nhận giá trị sử dụng;

- những thay đổi được thực hiện đối với hệ thống AI khi đang hoạt động;

- tư liệu về đánh giá tác động như được mô tả trong B.5.

Tổ chức phải lập thành văn bản thông tin kỹ thuật liên quan đến hoạt động có trách nhiệm của hệ thống AI. Điều này có thể bao gồm, nhưng không giới hạn ở:

- lập thành văn bản kế hoạch quản lý những sai lỗi chưa biết trước đó. Điều này có thể bao gồm ví dụ như nhu cầu mô tả kế hoạch khôi phục cho hệ thống AI, tắt các tính năng của hệ thống AI, quá trình cập nhật hoặc kế hoạch thông báo cho khách hàng, người dùng, v.v. về những thay đổi đối với hệ thống AI, thông tin cập nhật về lỗi hệ thống và cách giảm thiểu những lỗi này;

- lập thành văn bản các quá trình để theo dõi tình trạng của hệ thống AI (tức là hệ thống AI hoạt động như dự định và trong phạm vi hoạt động bình thường của nó, còn được gọi là khả năng quan sát) và các quá trình giải quyết các lỗi của hệ thống AI;

- lập thành văn bản các thủ tục vận hành tiêu chuẩn cho hệ thống AI, bao gồm những sự kiện nào cần được theo dõi cũng như cách ưu tiên và xem xét nhật ký. Nó cũng có thể bao gồm cách điều tra các sai lỗi và ngăn ngừa các sai lỗi trong tương lai;

- lập thành văn bản vai trò của nhân sự chịu trách nhiệm hoạt động hệ thống AI cũng như những người chịu trách nhiệm giải trình về việc sử dụng hệ thống, đặc biệt liên quan đến việc xử lý các tác động do lỗi hệ thống AI hoặc quản lý các bản cập nhật cho hệ thống AI;

- lập thành văn bản các cập nhật của hệ thống như những thay đổi trong hoạt động của hệ thống, mục đích sử dụng mới hoặc được sửa đổi hoặc những thay đổi khác về chức năng hệ thống.

Tổ chức cần có sẵn các thủ tục để giải quyết các thay đổi trong hoạt động bao gồm việc trao đổi thông tin với người dùng và đánh giá nội bộ về loại thay đổi.

Tài liệu phải được cập nhật và chính xác. Tài liệu phải được phê duyệt bởi ban quản lý có liên quan trong tổ chức.

Khi được cung cấp như một phần của tài liệu dành cho người dùng, nên tính đến các biện pháp kiểm soát được cung cấp trong Bảng A.1.

B.6.2.8 Việc ghi lại các nhật ký sự kiện của hệ thống AI

Biện pháp kiểm soát

Tổ chức nên xác định giai đoạn nào của vòng đời hệ thống AI, nên bật tính năng lưu giữ hồ sơ nhật ký, nhưng ở mức tối thiểu khi hệ thống AI đang được sử dụng.

Hướng dẫn thực hiện

Tổ chức phải đảm bảo ghi nhật ký cho các hệ thống AI mà tổ chức triển khai để tự động thu thập và lập thành văn bản nhật ký liên quan đến các sự kiện nhất định xảy ra trong thủ tục vận hành. Việc ghi nhật ký như vậy bao gồm nhưng không giới hạn ở:

- truy xuất nguồn gốc chức năng của hệ thống AI để đảm bảo hệ thống AI hoạt động như dự kiến;

- phát hiện kết quả thực hiện của hệ thống AI bên ngoài các điều kiện hoạt động dự định của hệ thống AI có thể dẫn đến kết quả thực hiện không mong muốn đối với dữ liệu sản xuất hoặc tác động đến các bên quan tâm có liên quan thông qua việc giám sát hoạt động của hệ thống AI.

Nhật ký của hệ thống AI có thể bao gồm thông tin, chẳng hạn như ngày và giờ mỗi lần hệ thống AI được sử dụng, dữ liệu sản xuất mà hệ thống AI hoạt động, các kết quả đầu ra nằm ngoài phạm vi hoạt động dự định của hệ thống AI, v.v.

Nhật ký phải được lưu giữ trong khoảng thời gian cần thiết cho mục đích sử dụng của hệ thống AI và trong chính sách lưu giữ dữ liệu của tổ chức.Có thể áp dụng các yêu cầu pháp lý liên quan đến việc lưu giữ dữ liệu.

Thông tin khác

Một số hệ thống AI, chẳng hạn như hệ thống nhận dạng sinh trắc học, có thể có các yêu cầu ghi nhật ký bổ sung tùy thuộc vào thẩm quyền. Các tổ chức nên nhận thức được những yêu cầu này.

B.7 Dữ liệu cho hệ thống AI

B.7.1 Mục tiêu

Để đảm bảo rằng tổ chức hiểu được vai trò và tác động của dữ liệu trong hệ thống AI trong việc ứng dụng và phát triển, cung cấp hoặc sử dụng hệ thống AI trong suốt vòng đời.

B.7.2 Dữ liệu phục vụ phát triển và cải tiến hệ thống AI

Biện pháp kiểm soát

Tổ chức nên xác định, lập thành văn bản và triển khai các quá trình quản lý dữ liệu liên quan đến việc phát triển hệ thống AI.

Hướng dẫn thực hiện

Quản lý dữ liệu có thể bao gồm nhiều chủ đề khác nhau như, nhưng không giới hạn ở:

- những tác động về an toàn và sự riêng tư do việc sử dụng dữ liệu, một số dữ liệu trong số đó có thể mang tính chất nhạy cảm;

- các mối đe dọa về an ninh và an toàn có thể phát sinh từ việc phát triển hệ thống AI phụ thuộc vào dữ liệu;

- các khía cạnh minh bạch và có thể giải thích bao gồm nguồn gốc dữ liệu và khả năng đưa ra lời giải thích về cách sử dụng dữ liệu để xác định đầu ra của hệ thống AI nếu hệ thống yêu cầu tính minh bạch và khả năng giải thích;

- tính đại diện của dữ liệu huấn luyện so với lĩnh vực sử dụng hoạt động;

- tính chính xác và toàn vẹn của dữ liệu.

CHÚ THÍCH Thông tin chi tiết về vòng đời hệ thống AI và các khái niệm quản lý dữ liệu được cung cấp bởi ISO/IEC 22989.

B.7.3 Thu nhận dữ liệu

Biện pháp kiểm soát

Tổ chức phải xác định và lập thành văn bản chi tiết về việc thu nhận và lựa chọn dữ liệu được sử dụng trong hệ thống AI.

Hướng dẫn thực hiện

Tổ chức có thể cần các loại dữ liệu khác nhau từ các nguồn khác nhau tùy thuộc vào phạm vi và cách sử dụng hệ thống AI. Thông tin chi tiết về việc thu nhận dữ liệu có thể bao gồm:

- các loại dữ liệu cần thiết cho hệ thống AI;

- số lượng dữ liệu cần thiết;

- nguồn dữ liệu (ví dụ: nội bộ, mua sắm, chia sẻ, dữ liệu mở, tổng hợp);

- đặc điểm của nguồn dữ liệu (ví dụ: tĩnh, truyền phát, được tập hợp, do máy tạo);

- nhân khẩu học và đặc điểm của chủ thể dữ liệu (ví dụ: các thành kiến đã biết hoặc tiềm ẩn hoặc các lỗi hệ thống khác);

- xử lý dữ liệu trước đó (ví dụ: việc sử dụng trước đó, sự tuân thủ các yêu cầu về an toàn và sự riêng tư);

- quyền dữ liệu (ví dụ PII, bản quyền);

- dữ liệu meta liên quan (ví dụ: chi tiết về ghi nhãn và nâng cao dữ liệu);

- nguồn gốc dữ liệu.

Thông tin khác

Các loại dữ liệu và cấu trúc sử dụng dữ liệu trong ISO/IEC 19944-1 có thể được sử dụng để lập thành văn bản chi tiết về việc thu nhận và sử dụng dữ liệu.

B.7.4 Chất lượng dữ liệu cho hệ thống AI

Biện pháp kiểm soát

Tổ chức nên xác định và lập thành văn bản các yêu cầu về chất lượng dữ liệu và đảm bảo rằng dữ liệu được sử dụng để phát triển và hoạt động hệ thống AI đáp ứng các yêu cầu đó.

Hướng dẫn thực hiện

Chất lượng dữ liệu được sử dụng để phát triển và hoạt động hệ thống AI có thể có tác động đáng kể đến tính hợp lệ của kết quả đầu ra của hệ thống. ISO/IEC 25024 định nghĩa chất lượng dữ liệu là mức độ mà các đặc tính của dữ liệu đáp ứng các nhu cầu đã nêu và ngụ ý khi sử dụng trong các điều kiện cụ thể. Đối với các hệ thống AI sử dụng học máy có giám sát hoặc bán giám sát, điều quan trọng là chất lượng dữ liệu huấn luyện, xác nhận, kiểm tra và sản xuất phải được xác định, đo lường và cải tiến trong phạm vi có thể và tổ chức phải đảm bảo rằng dữ liệu phù hợp cho mục đích dự định. Tổ chức nên xem xét tác động của sai lệch đến kết quả thực hiện hệ thống và tính công bằng của hệ thống, đồng thời thực hiện các điều chỉnh cần thiết đối với mô hình và dữ liệu được sử dụng để cải tiến kết quả thực hiện và tính công bằng sao cho chúng có thể được chấp nhận đối với trường hợp sử dụng.

Thông tin khác

Thông tin bổ sung về chất lượng dữ liệu có sẵn trong tiêu chuẩn ISO/IEC 5259 loạt 2) về chất lượng dữ liệu cho phân tích và ML. Thông tin bổ sung liên quan đến các dạng sai lệch khác nhau trong dữ liệu được sử dụng trong hệ thống AI có sẵn trong ISO/IEC TR 24027.

B.7.5 Nguồn gốc dữ liệu

Biện pháp kiểm soát

Tổ chức nên xác định và lập thành văn bản quá trình đối với việc ghi lại nguồn gốc dữ liệu được sử dụng trong hệ thống AI trong suốt vòng đời của dữ liệu và hệ thống AI.

Hướng dẫn thực hiện

Theo TCVN 10249-2, hồ sơ về nguồn gốc dữ liệu có thể bao gồm thông tin về tạo lập, cập nhật, sao chép, trừu tượng hóa, xác nhận và chuyển giao quyền kiểm soát dữ liệu. Ngoài ra, việc chia sẻ dữ liệu (không chuyển giao quyền kiểm soát) và chuyển đổi dữ liệu có thể được xem xét theo nguồn gốc dữ liệu. Tùy thuộc vào các yếu tố như nguồn dữ liệu, nội dung và bối cảnh sử dụng dữ liệu, các tổ chức nên xem xét liệu có cần các biện pháp để kiểm tra xác nhận nguồn gốc dữ liệu hay không.

B.7.6 Chuẩn bị dữ liệu

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản các tiêu chí lựa chọn việc chuẩn bị dữ liệu và các phương pháp chuẩn bị dữ liệu phải sử dụng.

Hướng dẫn thực hiện

Dữ liệu được sử dụng trong hệ thống AI thường cần được chuẩn bị để có thể sử dụng được cho một nhiệm vụ AI nhất định. Ví dụ, các thuật toán học máy đôi khi không chấp nhận được các mục bị thiếu hoặc không chính xác, phân phối không chuẩn và các thang đo rất khác nhau. Các phương pháp chuẩn bị và biến đổi có thể được sử dụng để nâng cao chất lượng của dữ liệu. Việc không chuẩn bị dữ liệu đúng cách có thể dẫn đến lỗi hệ thống AI. Các phương pháp chuẩn bị và chuyển đổi dữ liệu phổ biến được sử dụng trong hệ thống AI bao gồm:

- khai thác dữ liệu theo thống kê (ví dụ: phân phối, giá trị trung bình, trung vị, độ lệch chuẩn, phạm vi, phân tầng, lấy mẫu) và siêu dữ liệu thống kê (ví dụ: đặc tả sáng kiến tư liệu dữ liệu (DDI) _[28]);

- làm sạch (tức là sửa các mục, xử lý các mục còn thiếu);

- sự quy kết (tức là các phương pháp điền vào các mục còn thiếu);

- chuẩn hóa;

- mở rộng quy mô;

- ghi nhãn các biến mục tiêu;

- mã hóa (ví dụ chuyển đổi các biến phân loại thành số).

Đối với một nhiệm vụ AI nhất định, tổ chức nên lập thành văn bản các tiêu chí lựa chọn các phương pháp và biến đổi chuẩn bị dữ liệu cụ thể cũng như các phương pháp và biến đổi cụ thể được sử dụng trong nhiệm vụ AI.

CHÚ THÍCH Để biết thêm thông tin về việc chuẩn bị dữ liệu cụ thể cho học máy, hãy xem loạt ISO/IEC 5259 ₂₎ và ISO/IEC 23053.

B.8 Thông tin cho các bên quan tâm

B.8.1 Mục tiêu

Để đảm bảo rằng các bên quan tâm có liên quan có thông tin cần thiết để hiểu và đánh giá rủi ro cũng như tác động (cả tích cực và tiêu cực).

B.8.2 Tư liệu hệ thống và thông tin cho người dùng

Biện pháp kiểm soát

Tổ chức cần xác định và cung cấp thông tin cần thiết cho người dùng hệ thống.

Hướng dẫn thực hiện

Thông tin về hệ thống AI có thể bao gồm cả chi tiết kỹ thuật và hướng dẫn, cũng như thông báo chung cho người dùng rằng họ đang tương tác với hệ thống AI, tùy thuộc vào bối cảnh. Điều này cũng có thể bao gồm chính hệ thống cũng như các đầu ra tiềm năng của hệ thống (ví dụ: thông báo cho người dùng rằng hình ảnh được tạo bởi AI).

Mặc dù hệ thống AI có thể phức tạp nhưng điều quan trọng là người dùng phải hiểu được thời điểm tương tác với hệ thống AI và cách thức hoạt động của hệ thống. Người dùng cũng cần hiểu mục đích và mục đích sử dụng của hệ thống AI, khả năng gây hại hoặc lợi ích mang lại cho người dùng. Một số tư liệu hệ thống cần thiết được nhắm đến cho các mục đích sử dụng kỹ thuật nhiều hơn (ví dụ: quản trị viên hệ thống) và tổ chức nên hiểu nhu cầu của các bên quan tâm khác nhau và khả năng có thể hiểu có thể có ý nghĩa gì đối với các bên quan tâm đó. Thông tin cũng phải có thể truy cập được, cả về mặt dễ sử dụng trong việc tìm kiếm thông tin cũng như đối với những người dùng có thể cần các tính năng trợ năng bổ sung.

Thông tin có thể được cung cấp cho người dùng bao gồm nhưng không giới hạn ở:

- mục đích của hệ thống;

- người dùng đang tương tác với hệ thống AI;

- cách tương tác với hệ thống;

- cách thức và thời điểm ghi đè hệ thống;

- các yêu cầu kỹ thuật để hoạt động hệ thống, bao gồm các tài nguyên tính toán cần thiết và các hạn chế của hệ thống cũng như thời gian tồn tại mong đợi;

- nhu cầu giám sát của con người;

- thông tin về độ chính xác và kết quả thực hiện;

- thông tin liên quan từ đánh giá tác động, bao gồm các lợi ích và tác hại tiềm ẩn, đặc biệt nếu được áp dụng trong các bối cảnh cụ thể hoặc các nhóm nhân khẩu học nhất định (xem B.5.2 Và B.5.4);

- các xem xét của các tuyên bố về lợi ích của hệ thống;

- cập nhật và thay đổi về cách thức hoạt động của hệ thống cũng như mọi biện pháp bảo trì cần thiết, bao gồm cả tần suất;

- thông tin liên hệ;

- tài liệu giáo dục để sử dụng hệ thống.

Các tiêu chí được tổ chức sử dụng để xác định xem liệu thông tin nào được cung cấp có cần được lập thành văn bản hay không. Các tiêu chí liên quan bao gồm nhưng không giới hạn ở mục đích sử dụng dự kiến và việc sử dụng sai có thể dự đoán trước một cách hợp lý đối với hệ thống AI, kiến thức chuyên môn của người dùng và tác động cụ thể của hệ thống AI.

Thông tin có thể được cung cấp cho người dùng theo nhiều cách, bao gồm hướng dẫn sử dụng dạng văn bản, cảnh báo và các thông báo khác được tích hợp trong chính hệ thống, thông tin trên trang web, v.v. Tùy thuộc vào phương pháp mà tổ chức sử dụng để cung cấp thông tin, cần kiểm tra xác nhận rằng người dùng có quyền truy cập vào thông tin này và thông tin được cung cấp là đầy đủ, cập nhật và chính xác.

B.8.3 Báo cáo bên ngoài

Biện pháp kiểm soát

Tổ chức cần cung cấp khả năng cho các bên quan tâm báo cáo các tác động bất lợi của hệ thống.

Hướng dẫn thực hiện

Mặc dù hoạt động của hệ thống cần được giám sát đối với các vấn đề và lỗi được báo cáo, tổ chức cũng nên cung cấp khả năng cho người dùng hoặc các bên bên ngoài khác để báo cáo các tác động bất lợi (ví dụ: sự không công bằng).

B.8.4 Trao đổi thông tin về sự cố

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản kế hoạch trao đổi thông tin về các sự cố tới người dùng hệ thống.

Hướng dẫn thực hiện

Các sự cố liên quan đến hệ thống AI có thể xây ra riêng với chính hệ thống AI hoặc liên quan đến an toàn và sự riêng tư thông tin (ví dụ: vi phạm dữ liệu). Tổ chức nên hiểu nghĩa vụ xung quanh việc thông báo cho người dùng và các bên quan tâm khác về sự cố, tùy thuộc vào bối cảnh hệ thống hoạt động. Ví dụ: một sự cố xảy ra với cấu phần AI là một phần của sản phẩm ảnh hưởng đến an toàn có thể có các yêu cầu thông báo khác với các loại hệ thống khác. Các yêu cầu pháp lý (chẳng hạn như hợp đồng) và hoạt động quản lý có thể được áp dụng, trong đó có thể quy định các yêu cầu đối với:

- các loại sự cố phải được thông báo;

- thời gian thông báo;

- liệu có phải thông báo cho cơ quan nào hay không và nếu phải thông báo thì thông cho cơ quan nào;

- những chi tiết cần được trao đổi thông tin về.

Tổ chức có thể tích hợp các hoạt động báo cáo và ứng phó sự cố cho AI vào các hoạt động quản lý sự cố rộng hơn của tổ chức, nhưng cần nhận thức các yêu cầu riêng liên quan đến hệ thống AI hoặc các cấu phần riêng lẻ của hệ thống AI (ví dụ: vi phạm dữ liệu PII trong dữ liệu huấn luyện cho hệ thống có thể có các yêu cầu báo cáo khác nhau liên quan đến sự riêng tư).

Thông tin khác

ISO/IEC 27001 và ISO/IEC 27701 lần lượt cung cấp các chi tiết bổ sung về quản lý sự cố đối với an toàn và sự riêng tư.

B.8.5 Thông tin cho các bên quan tâm

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản nghĩa vụ trong việc báo cáo thông tin về hệ thống AI cho các bên quan tâm.

Hướng dẫn thực hiện

Trong một số trường hợp, thẩm quyền có thể yêu cầu chia sẻ thông tin về hệ thống với các cơ quan có thẩm quyền, chẳng hạn như cơ quan chủ quản. Thông tin có thể được báo cáo cho các bên quan tâm như khách hàng hoặc cơ quan chủ quản trong khung thời gian thích hợp. Thông tin được chia sẻ có thể bao gồm, ví dụ:

- tư liệu hệ thống kỹ thuật, bao gồm nhưng không giới hạn ở các tập dữ liệu dành cho đào tạo, xác nhận và kiểm tra cũng như các biện minh cho các lựa chọn thuật toán và hồ sơ kiểm tra xác nhận và xác nhận giá trị sử dụng;

- rủi ro liên quan đến hệ thống;

- kết quả đánh giá tác động;

- nhật ký và hồ sơ hệ thống khác.

Tổ chức cần hiểu nghĩa vụ về việc báo cáo thông tin về hệ thống AI cho các bên quan tâm và đảm bảo rằng thông tin thích hợp được chia sẻ với các cơ quan có thẩm quyền. Ngoài ra, giả định trước rằng tổ chức nhận thức được các yêu cầu pháp lý liên quan đến thông tin được chia sẻ với các cơ quan thực thi pháp luật.

B.9 Sử dụng hệ thống AI

B.9.1 Mục tiêu

Để đảm bảo rằng tổ chức sử dụng hệ thống AI một cách có trách nhiệm và phù hợp với chính sách của tổ chức.

B.9.2 Quá trình sử dụng có trách nhiệm các hệ thống AI

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản các quá trình sử dụng có trách nhiệm các hệ thống AI.

Hướng dẫn thực hiện

Tùy thuộc vào bối cảnh của mình, tổ chức có thể có nhiều xem xét để xác định xem có nên sử dụng một hệ thống AI cụ thể hay không. Cho dù hệ thống AI được phát triển bởi chính tổ chức hay có nguồn gốc từ bên thứ ba, tổ chức phải hiểu rõ những xem xét này là gì và phát triển các chính sách để giải quyết chúng. Một số ví dụ:

- yêu cầu phê duyệt;

- chi phí (bao gồm cả chi phí giám sát và bảo trì liên tục);

- yêu cầu tìm nguồn cung ứng đã được phê duyệt;

- yêu cầu pháp lý áp dụng cho tổ chức.

Khi tổ chức đã chấp nhận các chính sách cho việc sử dụng các hệ thống, tài sản khác, v.v., những chính sách này có thể được kết hợp nếu muốn.

B.9.3 Mục tiêu sử dụng có trách nhiệm hệ thống AI

Biện pháp kiểm soát

Tổ chức cần xác định và lập thành văn bản các mục tiêu để hướng dẫn việc sử dụng có trách nhiệm các hệ thống AI.

Hướng dẫn thực hiện

Tổ chức hoạt động trong các bối cảnh khác nhau có thể có những mong đợi và mục tiêu khác nhau về những yếu tố tạo nên sự phát triển có trách nhiệm của hệ thống AI. Tùy thuộc vào bối cảnh của mình, tổ chức cần xác định các mục tiêu liên quan đến việc sử dụng đáng tin cậy. Một số mục tiêu bao gồm:

- công bằng;

- trách nhiệm giải trình;

- minh bạch;

- khả năng giải thích;

- độ tin cậy;

- an toàn;

- độ bền chắc và dự phòng;

- an toàn và sự riêng tư;

- khả năng tiếp cận.

Sau khi đã xác định, tổ chức cần thực hiện các cơ chế để đạt được các mục tiêu trong tổ chức. Điều này có thể bao gồm việc xác định xem giải pháp của bên thứ ba có đáp ứng được các mục tiêu của tổ chức hay không hoặc liệu giải pháp được phát triển nội bộ có thể áp dụng được cho mục đích sử dụng dự kiến hay không. Tổ chức nên xác định nên kết hợp các mục tiêu giám sát con người có ý nghĩa trong vòng đời của hệ thống AI. Điều này có thể bao gồm:

- yêu cầu còn người đánh giá kiểm tra kết quả đầu ra của hệ thống AI, bao gồm cả việc có quyền ghi đè các quyết định do hệ thống AI đưa ra;

- đảm bảo rằng có sự giám sát của con người nếu cần để sử dụng hệ thống AI ở mức chấp nhận được theo hướng dẫn hoặc tài liệu khác liên quan đến mục đích triển khai hệ thống AI;

- giám sát kết quả thực hiện của hệ thống AI, bao gồm độ chính xác của đầu ra của hệ thống AI;

- báo cáo các mối quan tâm liên quan đến kết quả đầu ra của hệ thống AI và tác động tới các bên quan tâm có liên quan;

- báo cáo mối lo ngại về những thay đổi về kết quả thực hiện hoặc khả năng của hệ thống AI trong tạo lập ra kết quả đầu ra chính xác trên dữ liệu sản xuất;

- xem xét liệu việc ra quyết định tự động có phù hợp với cách tiếp cận có trách nhiệm đối với việc sử dụng hệ thống AI và mục đích sử dụng của hệ thống AI hay không.

Nhu cầu giám sát của con người có thể được xác định thông qua các đánh giá tác động (xem B.5). Nhân sự tham gia vào các hoạt động giám sát của con người liên quan đến hệ thống AI phải được thông báo, đào tạo và hiểu các hướng dẫn cũng như tài liệu khác về hệ thống AI cũng như các nhiệm vụ mà họ thực hiện để đáp ứng các mục tiêu giám sát của con người. Khi báo cáo các vấn đề về kết quả thực hiện, sự giám sát của con người có thể tăng cường khả năng giám sát tự động.

Thông tin khác

Phụ lục C cung cấp các ví dụ về mục tiêu của tổ chức để quản lý rủi ro, có thể hữu ích trong việc xác định mục tiêu sử dụng hệ thống AI.

B.9.4 Mục đích sử dụng của hệ thống AI

Biện pháp kiểm soát

Tổ chức phải đảm bảo rằng hệ thống AI được sử dụng theo mục đích sử dụng dự kiến của hệ thống AI và tài liệu đi kèm.

Hướng dẫn thực hiện

Hệ thống AI phải được triển khai theo hướng dẫn và tài liệu khác liên quan đến hệ thống AI(xem B.8.2). Việc triển khai có thể yêu cầu các tài nguyên cụ thể để hỗ trợ việc triển khai, bao gồm cả nhu cầu đảm bảo rằng sự giám sát của con người được áp dụng theo yêu cầu (xem B.9.3). Để sử dụng hệ thống AI ở mức chấp nhận được, dữ liệu mà hệ thống AI sử dụng phải phù hợp với tài liệu liên quan đến hệ thống AI để đảm bảo rằng kết quả thực hiện của hệ thống AI là chính xác.

Hoạt động của hệ thống AI cần được giám sát (xem B.6.2.6). Khi việc triển khai đúng hệ thống AI theo các hướng dẫn liên quan của nó gây ra mối lo ngại về tác động đến các bên quan tâm có liên quan hoặc các yêu cầu pháp lý của tổ chức, tổ chức nên trao đổi thông tin về mối quan tâm đến các nhân sự có liên quan trong tổ chức cũng như bất kỳ bên cung cấp bên thứ ba nào của hệ thống AI.

Tổ chức nên lưu giữ nhật ký hoặc tài liệu khác liên quan đến việc triển khai và hoạt động hệ thống AI. Tiêu chuẩn này có thể được sử dụng để chứng minh rằng hệ thống AI đang được sử dụng như dự kiến hoặc để giúp trao đổi thông tin về các mối lo ngại liên quan đến mục đích sử dụng dự định của hệ thống AI. Khoảng thời gian lưu giữ nhật ký và tài liệu khác tùy thuộc vào mục đích sử dụng của hệ thống AI, chính sách lưu giữ dữ liệu của tổ chức và các yêu cầu pháp lý liên quan để lưu giữ dữ liệu.

B.10 Mối quan hệ với bên thứ ba và khách hàng

B.10.1 Mục tiêu

Để đảm bảo rằng tổ chức hiểu rõ trách nhiệm và duy trì trách nhiệm giải trình, đồng thời rủi ro được phân bổ hợp lý khi các bên thứ ba tham gia vào bất kỳ giai đoạn nào trong vòng đời của hệ thống AI.

B.10.2 Phân công trách nhiệm

Biện pháp kiểm soát

Tổ chức phải đảm bảo rằng các trách nhiệm trong vòng đời hệ thống AI được phân bổ giữa tổ chức, đối tác, bên cung cấp, khách hàng và bên thứ ba.

Hướng dẫn thực hiện

Trong vòng đời của hệ thống AI, trách nhiệm có thể được phân chia giữa các bên cung cấp dữ liệu, các bên cung cấp thuật toán và mô hình, các bên phát triển hoặc sử dụng hệ thống AI và chịu trách nhiệm đối với một số hoặc tất cả các bên quan tâm. Tổ chức nên lập thành văn bản tất cả các bên can thiệp vào vòng đời của hệ thống AI cũng như vai trò và xác định trách nhiệm.

Khi tổ chức cung cấp hệ thống AI cho bên thứ ba, tổ chức phải đảm bảo rằng tổ chức thực hiện cách tiếp cận có trách nhiệm để phát triển hệ thống AI. Xem các biện pháp kiểm soát và hướng dẫn trong B.6 . Tổ chức cần có khả năng cung cấp tài liệu cần thiết (xem B.6.2.7 và B.8.2) đối với hệ thống AI cho các bên quan tâm có liên quan và cho bên thứ ba mà tổ chức đang cung cấp hệ thống AI.

Khi dữ liệu được xử lý bao gồm PII, trách nhiệm thường được phân chia giữa bên xử lý và bên kiểm soát PII. ISO/IEC 29100 cung cấp thêm thông tin về bên kiểm soát PII và bên xử lý PII. Khi cần bảo đảm sự riêng tư của PII, cần xem xét các biện pháp kiểm soát như được mô tả trong ISO/IEC 27701. Dựa trên các hoạt động xử lý dữ liệu của tổ chức và hệ thống AI về PII cũng như vai trò của tổ chức trong việc ứng dụng và phát triển hệ thống AI trong suốt vòng đời, tổ chức có thể đảm nhận vai trò của bên kiểm soát PII (hoặc bên kiểm soát PII chung), bên xử lý PII hoặc cả hai.

B.10.3 Các bên cung ứng

Biện pháp kiểm soát

Tổ chức nên thiết lập một quá trình để đảm bảo rằng việc sử dụng dịch vụ, sản phẩm hoặc nguyên liệu do bên cung ứng cung cấp phù hợp với cách tiếp cận của tổ chức đối với việc phát triển và sử dụng có trách nhiệm các hệ thống AI.

Hướng dẫn thực hiện

Các tổ chức đang phát triển hoặc sử dụng hệ thống AI có thể sử dụng bên cung ứng theo nhiều cách, từ tìm nguồn cung ứng bộ dữ liệu, thuật toán hoặc mô hình học máy hoặc các cấu phần khác của hệ thống như thư viện phần mềm, cho đến toàn bộ hệ thống AI để sử dụng riêng hoặc dưới dạng một phần của sản phẩm khác (ví dụ như một chiếc xe).

Các tổ chức nên xem xét các loại bên cung ứng khác nhau, những gi họ cung cấp và mức độ rủi ro khác nhau mà điều này có thể gây ra cho toàn bộ hệ thống và tổ chức trong việc xác định việc lựa chọn bên cung ứng, các yêu cầu đặt ra đối với các bên cung ứng đó cũng như mức độ theo dõi và giám sát liên tục. đánh giá cần thiết đối với các bên cung ứng.

Các tổ chức nên lập thành văn bản cách hệ thống AI và các cấu phần hệ thống AI được tích hợp vào các hệ thống AI do tổ chức phát triển hoặc sử dụng.

Khi tổ chức cho rằng hệ thống AI hoặc các cấu phần hệ thống AI từ bên cung ứng không hoạt động như dự định hoặc có thể gây ra tác động đến các cá nhân và xã hội không phù hợp với cách tiếp cận có trách nhiệm đối với hệ thống AI mà tổ chức thực hiện, thì tổ chức nên yêu cầu bên cung ứng để có hành động khắc phục. Tổ chức có thể quyết định làm việc với bên cung ứng để đạt được mục tiêu này.

Tổ chức cần đảm bảo rằng bên cung ứng hệ thống AI cung cấp tài liệu phù hợp và đầy đủ liên quan đến hệ thống AI (xem B.6.2.7 và B.8.2).

B.10.4 Khách hàng

Biện pháp kiểm soát

Tổ chức phải đảm bảo rằng cách tiếp cận có trách nhiệm đối với việc phát triển và sử dụng hệ thống AI có tính đến mong đợi và nhu cầu của khách hàng.

Hướng dẫn thực hiện

Tổ chức nên hiểu những mong đợi và nhu cầu của khách hàng khi cung cấp sản phẩm hoặc dịch vụ liên quan đến hệ thống AI (tức là khi chính tổ chức đó là bên cung ứng). Những điều này có thể ở dạng yêu cầu đối với chính sản phẩm hoặc dịch vụ trong giai đoạn thiết kế hoặc kỹ thuật hoặc dưới dạng yêu cầu hợp đồng hoặc thỏa thuận sử dụng chung. Một tổ chức có thể có nhiều loại mối quan hệ khách hàng khác nhau và tất cả các loại này đều có thể có những nhu cầu và mong đợi khác nhau.

Tổ chức cần đặc biệt hiểu bản chất phức tạp của mối quan hệ với bên cung ứng và khách hàng, đồng thời hiểu trách nhiệm thuộc về bên cung ứng hệ thống AI và trách nhiệm đối với khách hàng, trong khi vẫn đáp ứng được nhu cầu và mong đợi.

Ví dụ: tổ chức có thể xác định các rủi ro liên quan đến việc khách hàng sử dụng các sản phẩm và dịch vụ AI và có thể quyết định xử lý các rủi ro đã xác định bằng cách cung cấp thông tin thích hợp cho khách hàng để sau đó khách hàng có thể xử lý các rủi ro tương ứng.

Ví dụ về thông tin phù hợp, khi hệ thống AI hợp lệ cho một miền sử dụng nhất định, các giới hạn của miền đó phải được thông báo cho khách hàng. Xem B.6.2.7 và B.8.2.

 

Phụ lục D

(tham khảo)

Sử dụng hệ thống quản lý AI qua các miền hoặc lĩnh vực

D.1 Quy định chung

Hệ thống quản lý này có thể áp dụng cho bất kỳ tổ chức nào đang phát triển, cung cấp hoặc sử dụng các sản phẩm hoặc dịch vụ sử dụng hệ thống AI. Do đó, tiêu chuẩn này có khả năng áp dụng cho nhiều loại sản phẩm và dịch vụ thuộc các lĩnh vực khác nhau, tùy thuộc vào nghĩa vụ, thông lệ tốt, mong đợi hoặc cam kết hợp đồng đối với các bên quan tâm. Ví dụ về các lĩnh vực là:

- Y tế;

- Quốc phòng;

- Vận tải;

- Tài chính;

- Lao động;

- Năng lượng.

Các mục tiêu khác nhau của tổ chức (xem Phụ lục C cho các mục tiêu khả thi) có thể được xem xét để phát triển và sử dụng hệ thống AI một cách có trách nhiệm. Tiêu chuẩn này cung cấp các yêu cầu và hướng dẫn từ góc nhìn cụ thể về công nghệ AI. Đối với một số mục tiêu tiềm năng, tồn tại các tiêu chuẩn hệ thống quản lý chung hoặc cụ thể theo ngành. Các tiêu chuẩn hệ thống quản lý này thường xem xét mục tiêu theo quan điểm trung lập về công nghệ, trong khi hệ thống quản lý AI đưa ra những xem xét cụ thể về công nghệ AI.

Hệ thống AI không chỉ bao gồm các cấu phần sử dụng công nghệ AI mà còn có thể sử dụng nhiều công nghệ và cấu phần khác nhau. Do đó, để phát triển và sử dụng hệ thống AI một cách có trách nhiệm, không chỉ cần tính đến những xem xét cụ thể về AI mà hệ thống cũng phải được xem xét một cách tổng thể với tất cả các công nghệ và cấu phần được sử dụng. Ngay cả đối với phần cụ thể của công nghệ AI, các khía cạnh khác bên cạnh những xem xét dành riêng cho AI cũng cần được tính đến. Ví dụ, vì AI là một công nghệ xử lý thông tin nên an toàn thông tin thường được áp dụng cho. Các mục tiêu như an toàn, an ninh, sự riêng tư và tác động môi trường cần được quản lý một cách tổng thể chứ không riêng biệt đối với AI và các cấu phần khác của hệ thống. Do đó, việc tích hợp hệ thống quản lý AI với các tiêu chuẩn hệ thống quản lý chung hoặc theo ngành cụ thể cho các chủ đề liên quan là điều cần thiết để phát triển và sử dụng hệ thống AI một cách có trách nhiệm.

D.2 Tích hợp hệ thống quản lý AI với các tiêu chuẩn hệ thống quản lý khác

Khi cung cấp hoặc sử dụng AI, tổ chức có thể có các mục tiêu hoặc nghĩa vụ liên quan đến các khía cạnh là chủ đề của các tiêu chuẩn hệ thống quản lý khác. Ví dụ: những điều này có thể bao gồm bảo mật, sự riêng tư, chất lượng, các chủ đề tương ứng được đề cập trong ISO/IEC 27001[5], ISO/IEC 27701 và TCVN ISO 9001.

Khi cung cấp, sử dụng hoặc phát triển AI, các tiêu chuẩn hệ thống quản lý chung tiềm năng có liên quan nhưng không giới hạn ở đó là:

- ISO/IEC 27001: Trong hầu hết các bối cảnh, bảo mật là chìa khóa để đạt được các mục tiêu của tổ chức với hệ thống AI. Cách một tổ chức theo đuổi các mục tiêu an ninh phụ thuộc vào bối cảnh và chính sách của tổ chức đó. Nếu một tổ chức xác định nhu cầu triển khai hệ thống quản lý AI và giải quyết các mục tiêu bảo mật theo cách triệt để và có hệ thống tương tự, thì tổ chức đó có thể triển khai hệ thống quản lý an toàn thông tin phù hợp với ISO/IEC 27001. Vì cả ISO/IEC 27001 và Hệ thống quản lý AI sử dụng cấu trúc cấp cao, việc sử dụng tích hợp được tạo điều kiện thuận lợi và mang lại lợi ích lớn cho tổ chức. Trong trường hợp như vậy, cách triển khai các biện pháp kiểm soát (một phần) liên quan đến an toàn thông tin trong tiêu chuẩn này (xem B.6.1.2) có thể được tích hợp với việc triển khai ISO/IEC 27001 của tổ chức.

- ISO/IEC 27701: Trong nhiều bối cảnh và lĩnh vực ứng dụng, PII được xử lý bởi hệ thống AI. Sau đó, tổ chức có thể tuân thủ các nghĩa vụ hiện hành về sự riêng tư cũng như các chính sách và mục tiêu của riêng mình. Tương tự, đối với ISO/IEC 27001, tổ chức có thể hưởng lợi từ việc tích hợp ISO/IEC 27701 với hệ thống quản lý AI. Các mục tiêu và biện pháp kiểm soát liên quan đến sự riêng tư của hệ thống quản lý AI (xem B.2.3 Và B.5.4) có thể được tích hợp với việc triển khai ISO/IEC 27701 của tổ chức.

- TCVN ISO 9001: Đối với nhiều tổ chức, việc tuân thủ TCVN ISO 9001 là thể hiện quan trọng cho thấy họ hướng đến khách hàng và thực sự quan tâm đến hiệu lực nội bộ. Đánh giá sự phù hợp độc lập với TCVN ISO 9001 tạo điều kiện thuận lợi cho hoạt động kinh doanh giữa các tổ chức và truyền cảm hứng cho khách hàng tin tưởng vào sản phẩm hoặc dịch vụ. Mức tính đáng tin cậy khách hàng đối với một tổ chức hoặc hệ thống AI có thể được củng cố cao độ khi hệ thống quản lý AI được triển khai cùng với TCVN ISO 9001 khi có liên quan đến công nghệ AI. Hệ thống quản lý AI có thể bổ sung cho các yêu cầu của TCVN ISO 9001 (quản lý rủi ro, phát triển phần mềm, sự gắn kết của chuỗi cung ứng, v.v.) trong việc giúp tổ chức đạt được các mục tiêu của mình.

Bên cạnh các tiêu chuẩn hệ thống quản lý chung nêu trên, hệ thống quản lý AI cũng có thể được sử dụng cùng với hệ thống quản lý dành riêng cho một lĩnh vực. Ví dụ: cả TCVN ISO 22000 và hệ thống quản lý AI đều phù hợp với hệ thống AI được sử dụng để sản xuất, chuẩn bị và logistic thực phẩm. Một ví dụ khác là TCVN ISO 13485. Việc triển khai hệ thống quản lý AI có thể hỗ trợ các yêu cầu liên quan đến phần mềm thiết bị y tế trong TCVN ISO 13485 hoặc các yêu cầu từ các Tiêu chuẩn quốc tế khác của ngành y tế như IEC 62304.

 

Thư mục tài liệu tham khảo

[1] TCVN 10249-2, Chất lượng dữ liệu - Phần 2: Từ vựng;

[2] TCVN ISO 9001, Hệ thống quản lý chất lượng - Các yêu cầu;

[3] ISO 9241-210, Công thái học tương tác giữa con người và hệ thống - Phần 210: Thiết kế lấy tiếng ồn làm trung tâm cho các hệ thống tương tác;

[4] TCVN ISO 13485, Thiết bị y tế - Hệ thống quản lý chất lượng - Yêu cầu đối với các mục đích chế định;

[5] TCVN ISO 22000, Hệ thống quản lý an toàn thực phẩm - Yêu cầu đối với các tổ chức trong chuỗi thực phẩm;

[6] IEC 62304, Phần mềm thiết bị y tế - Quá trình vòng đời phần mềm;

[7] TCVN 6844, Các khía cạnh an toàn - Hướng dẫn đưa chúng vào tiêu chuẩn;

[8] ISO/IEC TS 4213. Công nghệ thông tin - Trí tuệ nhân tạo - Đánh giá kết quả thực hiện phân loại học máy;

[9] ISO/IEC 5259 (tất cả các phần), Chất lượng dữ liệu cho phân tích và Học máy (ML);

[10] ISO/IEC 5338), Công nghệ thông tin - Trí tuệ nhân tạo - Quá trình vòng đời hệ thống AI;

[11] TCVN ISO/IEC 17065, Đánh giá sự phù hợp - Yêu cầu đối với tổ chức chứng nhận sản phẩm;

[12] ISO/IEC 19944-1, Tính toán đám mây và nền tảng phân tán - Luồng dữ liệu, danh mục dữ liệu và cách sử dụng dữ liệu - Phần 1: Nguyên tắc cơ bản;

[13] ISO/IEC 23053. Khung cho hệ thống trí tuệ nhân tạo (AI) sử dụng máy học (ML);

[14] ISO/IEC 23894, Công nghệ thông tin - Trí tuệ nhân tạo - Hướng dẫn quản lý rủi ro;

[15] ISO/IEC TR 24027, Công nghệ thông tin - Trí tuệ nhân tạo (AI) - Xu hướng trong hệ thống AI và AI hỗ trợ ra quyết định;

[16] ISO/IEC TR 24029-1, Trí tuệ nhân tạo (AI) - Đánh giá tính bền vững của mạng lưới thần kinh - Phần 1: Tổng quan;

[17] ISO/IEC TR 24368, Công nghệ thông tin - Trí tuệ nhân tạo - Tổng quan về đạo đức và mối quan tâm xã hội;

[18] ISO/IEC 25024, Kỹ thuật hệ thống và phần mềm - Yêu cầu và đánh giá chất lượng hệ thống và phần mềm (SQuaRE) - Đo lường chất lượng dữ liệu;

[19] ISO/IEC 25059, Kỹ thuật phần mềm - Yêu cầu và đánh giá chất lượng phần mềm và hệ thống (SQuaRE) - Mô hình chất lượng cho hệ thống AI;

[20] ISO/IEC 27000:2018[6], Công nghệ thông tin - Kỹ thuật bảo mật - Hệ thống quản lý an toàn thông tin - Tổng quan và từ vựng;

[21] ISO/IEC 27701, Kỹ thuật bảo mật - Phần mở rộng của ISO/IEC 27001 và ISO/IEC 27002 để quản lý thông tin sự riêng tư - Yêu cầu và hướng dẫn;

[22] ISO/IEC 27001[7], An toàn thông tin, an ninh mạng và bảo vệ sự riêng tư - Hệ thống quản lý an toàn thông tin - Các yêu cầu;

[23] ISO/IEC 29100, Công nghệ thông tin - Kỹ thuật bảo mật - Khung bảo mật;

[24] TCVN ISO 31000:2018, Quản lý rủi ro - Hướng dẫn;

[25] ISO 37002, Hệ thống quản lý tố cáo - Hướng dẫn;

[26] ISO/IEC 38500:2015, Công nghệ thông tin - Quản trị CNTT cho tổ chức;

[27] ISO/IEC 38507, Công nghệ thông tin - Quản trị CNTT - Ý nghĩa quản trị của việc sử dụng trí tuệ nhân tạo của các tổ chức;

[28] Vòng đời DDI 3.3. 2020-04-15. Liên minh Sáng kiến Tư liệu dữ liệu (DDI). [xem vào ngày 2022-02-19]. Có sẵn tại: https://ddialliance.org/Specification/DDI-Lifecycle/3.3/;

[29] Khung rủi ro NIST-AI 1.0, 26/01/2023. Viện Công nghệ Quốc gia (NIST) [xem ngày 17-04-2023] https://www.nist.gov/itl/airiskmanagementframework.

 

MỤC LỤC

Lời nói đầu

Lời giới thiệu

1 Phạm vi áp dụng

2 Tài liệu viện dẫn

3 Thuật ngữ và định nghĩa

4 Bối cảnh của tổ chức

4.1 Hiểu tổ chức và bối cảnh của tổ chức

4.2 Hiểu nhu cầu và mong đợi của các bên quan tâm

4.3 Xác định phạm vi của hệ thống quản lý AI

4.4Hệ thống quản lý AI

5 Lãnh đạo

5.1 Lãnh đạo và cam kết

5.2 Chính sách AI

5.3 Vai trò, trách nhiệm và quyền hạn

6 Hoạch định

6.1 Hành động giải quyết rủi ro và cơ hội

6.2 Mục tiêu AI và hoạch định để đạt được mục tiêu

6.3 Hoạch định thay đổi

7 Hỗ trợ

7.1 Tài nguyên

7.2 Năng lực

7.3 Nhận thức

7.4 Trao đổi thông tin

7.5 Thông tin dạng văn bản

8 Hoạt động

8.1 Hoạch định và kiểm soát hoạt động

8.2 Đánh giá rủi ro AI

8.3 Xử lý rủi ro AI

8.4 Đánh giá tác động của hệ thống AI

9 Đánh giá kết quả thực hiện

9.1 Giám sát, đo lường, phân tích và đánh giá

9.2 Đánh giá nội bộ

9.3 Xem xét của lãnh đạo

10 Cải tiến

10.1 Cải tiến liên tục

10.2 Sự không phù hợp và hành động khắc phục

Phụ lục A (quy định) Mục tiêu kiểm soát và biện pháp kiểm soát tham chiếu

Phụ lục B (quy định) Hướng dẫn triển khai biện pháp kiểm soát AI

Phụ lục C (tham khảo) Nguồn rủi ro tiềm ẩn của tổ chức liên quan đến AI

Phụ lục D (tham khảo) Sử dụng hệ thống quản lý AI trên các miền hoặc lĩnh vực

Thư mục tài liệu tham khảo