진단키트의 정확도

테스트의 정확도를 평가하기 위하여 두 가지 지표 - 즉, 민감도(sensitivity)와 특이도(specificity)를 흔히 사용한다. 이는 어떤 건강 상태를 가지고 있는 경우와 그렇지 않은 경우를 얼마나 잘 구분할 수 있는지를 의미한다.

 

어떤 진단법을 사용했을 때 실제로 이에 해당하는 사람들을 얼마나 잘 찾아내는가 하는 기준을 민감도, 해당되지 않는 사람들을 얼마나 잘 분류하는가 하는 기준을 특이도라고 한다. 표로 나타내보면 

민감도는 양성이고 실제 질병이 있는 사람 / 실제 질병이 있는 사람 X 100으로 결정되며

특이도는 음성이고 실제 질병이 없는 사람 / 실제 질병이 없는 사람 X 100으로 결정된다.

이와 더불어 검사방법의 유용성 및 절단값(cut-off value) 판단을 위해 Receiver Operating Characteristic (ROC) curve(수신자조작특성)를 사용한다. 유용성이란 이용할만한 가치가 있는지를 의미하는 것이며, 그것을 판단하기 위한 값을 절단값이라고 한다.

 

ROC curve는 진단 테스트의 각각 다른 가능한 절단점에 대한 위양성율(1-특이도; X축)과 그에 대한 실제 양성률(민감도 또는 1-위음성률; Y축) 을 그래프로 표현한 것이다.

진단의 정확도는 ROC curve 아래의 면적(area under the ROC curve; AUC)에 의해 측정될 수 있다.

AUC = 곡선 아래 영역

* 면적 1 = 완벽한 진단 검사
  True positive(TP) rate = 1.0 -> 질병이 있는 사람이 검사에서 양성이 나올 확률이 100%

  False positive(FP) rate = 0.0 -> 질병이 없는 사람이 검사에서 음성이 나올 확률이 100%

* AUC 0.5 = 쓸모없는 검사  비정보적 검사

* AUC >0.5 -> 덜 정확한 검사

 

AUC에 따라서 어떤 검사를 할지 결정할 수 있을 것이다.

 

절단값에 따라서도 다르다. 

물론, 검사의 절단점은 민감도와 특이도가 모두 높은 값을 선택하는 것, 즉 가장 선별을 잘 할 수 있는 값을 선택하는 것이 좋을 것이다. 한 그래프 선 안에서도 값에 따라 다르게 나올 수 있다.

위의 그래프는 한 검사에서 임계값에 따른 변화를 나타낸 것이다. 

A에서는 TP가 낮지만 FP도 낮다. B에서는 TP가 높지만 FP도 높다.

그 비율을 따져서 절단값을 결정하면 된다.

 

선별의 대상이 되는 질환의 특성 즉, 질병의 중한 정도나 유병률 등을 고려하여 결정하는 것이 필요할 것이다. 검사 방법에 따라 가격/시간 등이 차이가 나기 때문에 잘 결정해야한다. 절단값을 민감하게 설정하면 더 좋겠지만, 민감하게 설정할 수록 오히려 측정하기가 어렵다던지, 비용이 많이 든다던지 등의 일이 발생할 수 있다.

 

이러한 것들이 현재 코로나 진단 키드에서도 볼 수 있는 중요한 지표라고 볼 수 있을 것이다.

 

참고 자료: https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc?hl=ko

참고 논문: https://www.kjfm.or.kr/upload/pdf/Jkafm030-11-01.pdf