혼동행렬 (Confusion Matrix)
태그 :
- 개념
- 혼동행렬(Confusion Matrix)의 정의 ⁻ 데이터 분석에서 잘못된 예측의 영향을 간편하게 파악하기 위해 예측된 값과 실제 값이 일치하는지 여부를 행렬로 분류하는 모델 평가 기법 ⁻ 혼동행렬을 작성함에 따라 모델의 성능을 평가할 수 있는 평가 메트릭이 도출됨 ⁻ 혼동행렬의 행은 모델의 예측 값을 나타내며 열은 실제 값을 나타냄
## Ⅰ. 혼동행렬 개요
### 가. 혼동행렬(Confusion Matrix)의 정의
⁻ 데이터 분석에서 잘못된 예측의 영향을 간편하게 파악하기 위해 예측된 값과 실제 값이 일치하는지 여부를 행렬로 분류하는 모델 평가 기법
⁻ 혼동행렬을 작성함에 따라 모델의 성능을 평가할 수 있는 평가 메트릭이 도출됨
⁻ 혼동행렬의 행은 모델의 예측 값을 나타내며 열은 실제 값을 나타냄
### 나. 혼동행렬의 개념도 ![](/upload/editor/images/혼동행렬의개념도.png) ⁻ Positive/Negative는 예측한 값, True/False는 예측한 값과 실제 값의 비교 결과
모델의 정확도를 예측 값과 실제 값의 일치 빈도를 통해 평가할 수 있음 ## Ⅱ. 주요기법 ### 가. 혼동행렬의 작성 방법 |구분 | 분류 값 | 설명 |
| -------- | -------- | -------- |
| 예측이 정확한 경우 | TP(True Positive)
TN(True Negative) | - 실제 값이 Positive이고 예측 값도 Positive인 경우
- 실제 값이 Negative이고 예측 값도 Negative인 경우 | | 예측이 틀린 경우 | FP(False Positive)
FN(False Negative) | - 실제 값은 Negative이었으나 예측 값은 Positive이었던 경우
- 실제 값은 Positive이었으나 예측 값은 Negative이었던 경우 | - 혼동행렬은 예시된 2×2 형태의 행렬 외에 N×N 형태로도 작성이 가능 ### 나. 혼동행렬 기반의 모델 성능평가 항목(Metric) |평가항목 | 산식 | 설명 |
| -------- | -------- | -------- |
| Precision | ![](/upload/editor/images/혼동행렬1.PNG) | 정도, Positive Predictive Value
- Positive로 예측된 것 중 실제로도 Positive인 경우의 비율 | | Accuracy | ![](/upload/editor/images/혼동행렬2.png) | 정해율
- 전체 예측에서 (예측이 Positive이든 Negative이든 무관하게) 옳은 예측의 비율 | | Recall | ![](/upload/editor/images/혼동행렬3.png) | 진양성율, Sensitivity, True Positive Rate
- 실제로 Positive인 것들 중 예측이 Positive로 된 경우의 비율 | | Specificity | ![](/upload/editor/images/혼동행렬4.png) | 진음성율, True Negative Rate
- 실제로 Negative인 것들 중 예측이 Negative로 된 경우의 비율 | | FP Rate | ![](/upload/editor/images/혼동행렬5.png) | - False Alarm Rate
- Positive가 아닌데 Positive로 예측된 비율
- 1-Specificity 와 같은 값 | | F1 점수 | ![](/upload/editor/images/혼동행렬6.png) | - F1 measure, F1 score
- Precision과 Recall의 조화평균
- 시스템의 성능을 하나의 수치로 표현하기
위해 사용하는 점수로 0~1사이의 값을
가짐 | | Kappa | ![](/upload/editor/images/혼동행렬7.png) | - 코헨의 카파 계수
- 두 평가자의 평가가 얼마나 일치하는지 평가하는 값
- 0~1 사이의 값을 가짐
- P(e)는 두 평가자의 평가가 우연히 일치할 확률
- 코헨의 카파 계수는 두 평가자의 평가가
우연히 일치할 확률을 제외한 뒤의 점수 | ⁻ 평가항목을 수치로 정량화 하여 모델에 대한 성능을 객관적 지표로 평가하고 데이터 분석 및 기계 학습의 효율성을 극대화 할 수 있음
⁻ 혼동행렬을 작성함에 따라 모델의 성능을 평가할 수 있는 평가 메트릭이 도출됨
⁻ 혼동행렬의 행은 모델의 예측 값을 나타내며 열은 실제 값을 나타냄
### 나. 혼동행렬의 개념도 ![](/upload/editor/images/혼동행렬의개념도.png) ⁻ Positive/Negative는 예측한 값, True/False는 예측한 값과 실제 값의 비교 결과
모델의 정확도를 예측 값과 실제 값의 일치 빈도를 통해 평가할 수 있음 ## Ⅱ. 주요기법 ### 가. 혼동행렬의 작성 방법 |
TN(True Negative) | - 실제 값이 Positive이고 예측 값도 Positive인 경우
- 실제 값이 Negative이고 예측 값도 Negative인 경우 | | 예측이 틀린 경우 | FP(False Positive)
FN(False Negative) | - 실제 값은 Negative이었으나 예측 값은 Positive이었던 경우
- 실제 값은 Positive이었으나 예측 값은 Negative이었던 경우 | - 혼동행렬은 예시된 2×2 형태의 행렬 외에 N×N 형태로도 작성이 가능 ### 나. 혼동행렬 기반의 모델 성능평가 항목(Metric) |
- Positive로 예측된 것 중 실제로도 Positive인 경우의 비율 | | Accuracy | ![](/upload/editor/images/혼동행렬2.png) | 정해율
- 전체 예측에서 (예측이 Positive이든 Negative이든 무관하게) 옳은 예측의 비율 | | Recall | ![](/upload/editor/images/혼동행렬3.png) | 진양성율, Sensitivity, True Positive Rate
- 실제로 Positive인 것들 중 예측이 Positive로 된 경우의 비율 | | Specificity | ![](/upload/editor/images/혼동행렬4.png) | 진음성율, True Negative Rate
- 실제로 Negative인 것들 중 예측이 Negative로 된 경우의 비율 | | FP Rate | ![](/upload/editor/images/혼동행렬5.png) | - False Alarm Rate
- Positive가 아닌데 Positive로 예측된 비율
- 1-Specificity 와 같은 값 | | F1 점수 | ![](/upload/editor/images/혼동행렬6.png) | - F1 measure, F1 score
- Precision과 Recall의 조화평균
- 시스템의 성능을 하나의 수치로 표현하기
위해 사용하는 점수로 0~1사이의 값을
가짐 | | Kappa | ![](/upload/editor/images/혼동행렬7.png) | - 코헨의 카파 계수
- 두 평가자의 평가가 얼마나 일치하는지 평가하는 값
- 0~1 사이의 값을 가짐
- P(e)는 두 평가자의 평가가 우연히 일치할 확률
- 코헨의 카파 계수는 두 평가자의 평가가
우연히 일치할 확률을 제외한 뒤의 점수 | ⁻ 평가항목을 수치로 정량화 하여 모델에 대한 성능을 객관적 지표로 평가하고 데이터 분석 및 기계 학습의 효율성을 극대화 할 수 있음