데이터처리시의 일반적인 수치맺음법

 

 

 2.3  데이터처리시의 일반적인 수치맺음법

 품질관리를 위한 데이터의 처리시에는 일반적으로 많은 실험치, 측정치, 계산치를 취급하는데 그런 수치들은 대개 적당한 자리수만을 남기고 끝수는 잘라버리거나 또는 끝올림을 한다. 그런데 남겨야 할 자리수를 결정하기 위해서는 그 특성, 성능 등을 나타내는 데 필요한 精度와 측정 가능한 정도의 양쪽을 고려해야 한다. 

수치의 끝수를 처리하는 방법으로는 단순처리에 의한 오차를 될 수 있는 대로 줄일 수 있는 처리방법이 KS A 0021(수치의 맺음법)에 규정되어 있다.

어떤 수치를 유효수자 n자리의 수치로, 또는 소수점 이하 n자리까지 처리할 경우, (n+1)자리수 이하의 수치는 아래와 같이 정리한다.

① (n+1)자리수의 숫자가 5미만일 때는 버리고, 5를 넘을 때는 끝올림을 한다.

② (n+l)자리수의 숫자가 5일 경우

㉮ 5다음에 숫자가 없든가 혹은 전부 0일 때는 n자리수의 수자가 0, 2, 4, 6, 8이면 버리고, 1, 3, 5, 7, 9이면 끝올림을 한다.

㉯ 5의 다음에 수자가 계속될 겻우에는 끝올림을 한다.

㉰ (n+1)자리수의 숫자가 5라고 하더라도 (n+1)자리수 이하의 숫자가 끝수가 처리된 것임을(요약된 것임을) 알고 있을 경우는 ①의 방법에 의해 처리한다. 

이 처리방법은 숫자의 처리에 의한 오차를 될 수 있는 대로 줄이려는 것이므로 그 값을 끝올림한 값과 잘라버린 값 가운데 가까운 쪽의 값을 취하는 방법이다. 그 값이 5와 같을 때는 끝올림을 하거나 잘라버리거나 그 오차는 같다. 따라서 그런 경우는 앞의 숫자가 짝수일 때는 버리고 홀수일 때는 끝올림하여 버리는 경우와 끝올림하는 경우를 같도록 한 것이다. 이와 같은 끝수의 처리방법은「四捨五入法」보다는 오차가 줄어져 보다 정확한 값을 얻게 된다.

 

데이터처리를 위한 수치맺음법의 보기

① 1.23을 유효숫자 두 자리에서 처리하면 1.2, 

   0.2967을 小數點 이하 세 자리에서 처리하면 0.297

② ㉮ 1.25를 유효숫자 두 자리에서 처리하면 1.2

      0.095를 小數點 이하 두 자리에서 처리하면 0.10

   ㉯ 1.2501을 유효숫자 두 자리에서 처리하면 1.3

   ㉰ 2.35를 유효숫자 두 자리에서 처리하는 경우, 이 수치가 2.347을 끝올

    림한 것임을 알고 있을 경우에는 2.4로 하지 앉고 2.3으로 한다.

radial_purple.gif 출처 :  품질기술사 수험도서  통계적품질관리      radial_purple.gif 출판사 : (주)ATPM컨설팅

radial_purple.gif 저자 :  공학박사/기술사/지도사 권오운


       QM/SQC분야 자료실  메인 페이지로              자료실 메인으로

Copyright ⓒ ATPM Consulting Inc. All Rights Reserved.