mAP (mean Average Precision)

 

mAP를 이해하기 전에  Precision, Recall / IoU에 대해서 먼저 살펴봐야 합니다.

분류 모델 성능 평가 지표 (Precision, Recall, Accuracy, F1-Score)

 

IoU (Intersection over Union)

 

이제 mAP에 대해서 알아 보겠습니다. mAP를 설명하기전 몇가지 알아두어야 할것이 있습니다.

Precision-Recall Curve

아래의 Graph는 PR Curve 라고 부릅니다. PR Curve는 Confidence 레벨에 대한 threshold값의 변화에 의한 Object detection의 성능을 평가하는 방법입니다. (Confidence: Detect된 Object에 대해 모델이 얼마나 확신을 가지고 있는지에 대한 값)

보통 Confidence 레벨에 대해 Threshold값을 부여해서 특정한 값 이상이 되어야 검출된 것으로 인정합니다.

(만약 Threshold  값이 0.5라면 confidence 레벨이 0.1~0.5인 검출은 무시하는 것입니다.)

PR Curve

PR Curve에서 x축은 Recall 값이고, y축은 Precision 값입니다. 한마디로 PR Curve에서는 Recall값의 변화에 따른 Precision 값을 확인할 수 있습니다.

AP (Average Precision)

PR Curve에서의 Precision 값의 평균을 AP(Average Precision)라고 합니다. 위의 PR Curve 그대로 계산하게 되면 계산이 복잡해 지기 때문에 PR Curve의 모든점에 대해서 보간을 하게 됩니다. (All point interpolation)

AP (Average Precision)

이렇게 모든점을 Interpolation 한후 PR Curve의 아래쪽 면적의(Area Under Curve)을 계산하면 AP(Average Precision)이 됩니다. AP는 Precision과 Recall을 모두 고려하여 얻어진 종합 지표입니다.

AP는 Object detection 모델의 성능을 정량적으로 비교하기 용이하기에 이를 활영하여 주로 Object detection 모델의 성능을 평가할 때 사용합니다.

AP의 면적

mAP (mean Average Precision)

각 Object 클래스가 여러개인 경우 각 클래스당 AP를 계산합니다. 각 클래스의 AP의 평균을 mAP(mean Average Precision)이라고 합니다.