카파(Kappa) 통계는 두 명 이상의 평가자 간의 일치도를 측정하는 데 사용되는 통계량입니다. 특히, 범주형 데이터에서 평가자 간의 신뢰성을 평가하는 데 유용합니다. 단순한 일치도 비율과 달리, 카파 통계는 우연에 의한 일치를 보정합니다. 카파 값은 -1에서 1 사이의 값을 가지며, 일반적으로 다음과 같이 해석됩니다:
카파 값의 해석
- 1.00: 완벽한 일치 (Perfect Agreement)
- 0.81 – 1.00: 거의 완벽한 일치 (Almost Perfect Agreement)
- 0.61 – 0.80: 상당한 일치 (Substantial Agreement)
- 0.41 – 0.60: 중간 정도의 일치 (Moderate Agreement)
- 0.21 – 0.40: 약간의 일치 (Fair Agreement)
- 0.01 – 0.20: 약한 일치 (Slight Agreement)
- 0.00 이하: 일치 없음 또는 우연보다 낮은 일치 (Poor Agreement or Less than Chance Agreement)
카파 통계 계산
카파 통계는 다음과 같은 공식으로 계산됩니다:
\[ \kappa = \frac{P_o – P_e}{1 – P_e} \]
여기서:
- \(P_o\)는 관찰된 일치도(Observed Agreement)입니다.
- \(P_e\)는 우연에 의한 기대 일치도(Expected Agreement)입니다.
예제
두 명의 평가자가 50개의 샘플을 평가한 데이터가 있다고 가정해 봅시다. 각 샘플은 “긍정”, “부정”, “중립” 중 하나로 분류됩니다.
데이터
| 평가자 1 \ 평가자 2 | 긍정 | 부정 | 중립 | 합계 |
|---|---|---|---|---|
| 긍정 | 20 | 2 | 3 | 25 |
| 부정 | 2 | 15 | 5 | 22 |
| 중립 | 1 | 4 | 8 | 13 |
| 합계 | 23 | 21 | 16 | 60 |
관찰된 일치도 ((P_o))
\[ P_o = \frac{20 + 15 + 8}{60} = \frac{43}{60} = 0.7167 \]
기대 일치도 ((P_e))
\[ P_e = \frac{(25 \times 23) + (22 \times 21) + (13 \times 16)}{60^2} = \frac{575 + 462 + 208}{3600} = \frac{1245}{3600} = 0.3458 \]
카파 값 ((\kappa))
\[ \kappa = \frac{P_o – P_e}{1 – P_e} = \frac{0.7167 – 0.3458}{1 – 0.3458} = \frac{0.3709}{0.6542} = 0.567 \]
이 예제에서 카파 값은 0.567로, 이는 중간 정도의 일치를 나타냅니다.
결론
카파 통계는 평가자 간의 일치도를 측정할 때 우연에 의한 일치를 보정하여 더 정확한 신뢰성을 제공합니다. 이는 심리학, 의학, 사회과학 등의 연구에서 평가 도구의 신뢰성을 평가하는 데 중요한 역할을 합니다. 카파 값이 높을수록 평가자 간의 일치도가 높으며, 이는 평가 도구나 방법이 일관되게 적용되고 있음을 나타냅니다.
