Tiêu chuẩn TCVN 4548:2009 Loại bỏ các giá trị bất thường trong thống kê

Thuộc tính Nội dung Tiêu chuẩn liên quan Lược đồ Tải về
LuatVietnam.vn độc quyền cung cấp bản dịch chính thống Công báo tiếng Anh của Thông Tấn Xã Việt Nam

TIÊU CHUẨN QUỐC GIA

TCVN 4548:2009

THỐNG KÊ ỨNG DỤNG – LOẠI BỎ CÁC GIÁ TRỊ BẤT THƯỜNG

Applied statistics – Rejection of outliers

Lời nói đầu

TCVN 4548 : 2009 thay thế cho TCVN 4548-1988;

TCVN 4548 : 2009 do Ban kỹ thuật tiêu chuẩn quốc gia TCVN/TC 69 Ứng dụng các phương pháp thống kê biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học và Công nghệ công bố.

 

THỐNG KÊ ỨNG DỤNG – LOẠI BỎ CÁC GIÁ TRỊ BẤT THƯỜNG

Applied statistics – Rejection of outliers

1 Phạm vi áp dụng

Tiêu chuẩn này quy định quy tắc đánh giá tính bất thường của các kết quả quan trắc và được sử dụng để xử lý số liệu quan trắc của các biến ngẫu nhiên có phân bố chuẩn.

2 Quy định chung

2.1. Giá trị quan trắc là bất thường nếu nó lệch một cách đáng kể so với những giá trị còn lại.

2.2. Giá trị bất thường có thể được tạo ra do mắc phải các sai số thô khi ghi chép, tính toán... Trong trường hợp này, nó không thuộc cùng một tổng thể với các giá trị khác. Do đó phải loại bỏ nó khi ước lượng các tham số của tổng thể (trung bình, phương sai...).

Khi gặp giá trị bất thường, phải xem xét hết sức thận trọng và trước tiên phải tìm hiểu những điều kiện thu được giá trị này.

2.3. Các quy tắc được dùng trong tiêu chuẩn này cần đến giả thuyết về phân bố chuẩn của biến ngẫu nhiên đang xét. Do đó cần kiểm tra giả thuyết về phân bố chuẩn.

2.4. Các quy tắc trong các Điều 3, 4, 5 và 6 về cơ bản giống nhau, chỉ khác nhau ở chỗ là đã biết hoặc chưa biết về giá trị trung bình và độ lệch chuẩn của tổng thể. Quy tắc nêu trong Điều 7 là quy tắc dựa vào tỉ số giữa các độ lệch, không đòi hỏi tính giá trị trung bình và độ lệch chuẩn.

3. Quy tắc đánh giá tính bất thường của các giá trị quan trắc khi không biết trung bình m và độ lệch chuẩn s của tổng thể

Với mẫu đã được sắp thứ tự:

y1 £ y2 £ ... £ yn

tính trung bình mẫu:

và độ lệch chuẩn mẫu:

Tính:

Với cỡ mẫu n và xác suất a1, dùng Bảng 1 tra được giá trị h.

Nếu Un ³ h (U1 ³ h) thì giá trị nghi ngờ được coi như là bất thường cần phải loại bỏ. Nếu ngược lại thì giá trị đó được coi là bình thường.

Nếu n > 25 thì dùng Bảng 3.

4. Quy tắc đánh giá tính bất thường của các giá trị quan trắc khi đã biết độ lệch chuẩn s nhưng giá trị trung bình m vẫn chưa biết

Với mẫu đã được sắp thứ tự:

y1 £ y2 £ ... £ yn

tính trung bình mẫu:

và các đại lượng:

Cho trước cỡ mẫu n và xác suất a dùng Bảng 2 để tra giá trị h. Nếu n > 25, dùng Bảng 3.

Nếu tn ³ h (t1 ³ h) thì giá trị yn (y1) là bất thường. Ngược lại chúng là bình thường.

5. Quy tắc đánh giá tính bất thường của các giá trị quan trắc khi biết độ lệch chuẩn s và trung bình m

Với mẫu đã được sắp thứ tự:

y1 £ y2 £ ... £ yn

Tính:

Giá trị Vn (V1) sẽ được so với giá trị h tra trong Bảng 3 ứng với cỡ mẫu n và xác suất a. Nếu Vn ³ h (V1 ³ h) thì yn (y1) được xem là bất thường và loại ra khỏi mẫu. Ngược lại chúng được xem là bình thường.

6. Quy tắc đánh giá tính bất thường của các giá trị quan trắc theo mô đun của độ lệch của chúng so với trung bình

6.1. Trong một số trường hợp xử lý các kết quả quan trắc, cần phải đánh giá tính bất thường của chúng dựa vào độ lệch so với trung bình lớn hơn hs hay nhỏ hơn hs với xác suất a* cho trước, hoặc nếu s không biết thì thay bằng hs và (-hs).

6.2. Trong trường hợp độ lệch chuẩn chưa biết, cần xác định:

U* = max |Uk}

trong đó:

Đại lượng U* được so với giá trị h tra trong Bảng 1 với cỡ mẫu n và xác suất a*.

Nếu U* ³ h thì yk tương ứng với U* là bất thường và có thể bỏ được. Trường hợp ngược lại, nó là bình thường.

6.3. Khi đã biết độ lệch chuẩn nhưng chưa biết trung bình, xác định:

t* = max |tk|

trong đó:

Đại lượng t* được so với h tra trong Bảng 2 với cỡ mẫu n và xác suất a*.

Nếu t* > h thì yk có thể được xem là bất thường và loại bỏ. Trong trường hợp ngược lại, nó là bình thường.

6.4. Nếu độ lệch chuẩn và trung bình đều đã biết, cần xác định:

V* = max |Vk|

trong đó:

Đại lượng V* được so với h tra trong Bảng 4 tương ứng với cỡ mẫu n và xác suất a.

Nếu V* ³ h thì giá trị yk là bất thường và có thể loại bỏ. Trường hợp ngược lại, nó là bình thường.

6.5.a* » 2a nên để đánh giá tính bất thường của các kết quả theo độ lệch so với trung bình, trong Bảng 1 và Bảng 2, các giá trị của xác suất a* phải đọc từ phía dưới bảng.

7. Quy tắc Dixon

Với mẫu đã được sắp thứ tự:

y1 £ y2 ££ yn

Tính thống kê:

Với xác suất a và cỡ mẫu n, tra bảng để tìm giá trị tới hạn h.

Nếu R1i ³ h thì giá trị nghi ngờ y1 là bất thường. Ngược lại, nó là bình thường.

Trường hợp giá trị nghi ngờ là yn thì các thống kê cần tính có dạng:

Nếu nghi ngờ đồng thời có y1 và yn tính:

Trong trường hợp này ta có quy tắc hai phía nên xác suất a* = 2a.

(Mời xem tiếp trong file tải về)
 

Tiêu chuẩn Việt Nam
Tiêu chuẩn Quốc gia TCVN 4548:2009 Thống kê ứng dụng-Loại bỏ các giá trị bất thường
Số hiệu: TCVN 4548:2009 Loại Văn bản: Tiêu chuẩn Việt Nam
Cơ quan ban hành: Bộ Khoa học và Công nghệ Lĩnh vực: Khoa học-Công nghệ
Năm ban hành 2009 Hiệu lực:
Người ký: Tình trạng hiệu lực: Đã biết
Vui lòng đăng nhập tài khoản gói Tiêu chuẩn hoặc Nâng cao để xem VB liên quan.
Nếu chưa có tài khoản Quý khách đăng ký tại đây!
* Lưu ý: Để đọc được văn bản tải trên Luatvietnam.vn, bạn cần cài phần mềm đọc file DOC, DOCX và phần mềm đọc file PDF.
Để được giải đáp thắc mắc, vui lòng gọi
1900.6192 hoặc gửi câu hỏi tại đây

Tải ứng dụng LuatVietnam Miễn phí trên

Văn bản cùng lĩnh vực