[Deep Learning] Precision과 Recall, Detection의 정확도(accuracy)

Precision, Recall

Recognition과 Detection 기술의 성능을 평가할 때는 검출율과 정확도를 동시에 고려해야 한다.

검출율

• recall
• 대상으로 하는 object를 놓치지 않고 잘 검출하는 지를 나타냄.
• 

정확도

• precision
• 검출된 결과가 얼마나 정확한지를 나타냄.
• 즉, 실제 결과와 예측 결과를 비교함.
• 

precision VS recall

• 둘을 헷갈리는 이유는 Detect라는 단어에 대해서 혼동을 하기 때문임.
• detect는 단지 알고리즘이 무언가를 검출했다는 것을 의미함.
• 검출한 결과가 실제 물체일수도, 아닐수도 있음.
• Ex) “어느 알고리즘의 성능은 recall 0.9, precision 0.7이다"
• 위와 같이 알고리즘의 성능을 어느 한 값으로만 표현하고 평가하는 것은 올바르지 않음.
• recall과 precision은 알고리즘의 parameter 조절에 따라 유동적으로 변하는 값이기 때문에 어느 한 값으로 알고리즘 전체 성능을 제대로 표현할 수 없음.
• 일반적으로 recall과 precision은 서로 반비례 관계를 가짐. 알고리즘의 파라미터를 조절해 검출율을 높이면 오검출(false alarms)이 증가하고, 반대로 오검출을 줄이기 위해 조건을 강화하면 검출율(recall)이 떨어진다.
• 인식 알고리즘의 성능을 제대로 비교하고 평가하기 위해서 precision과 recall의 성능변화 전체를 살펴봐야함. 대표적인 방법으로 precision-recall graph를 이용하는 것.

Average Precision (AP)

• Precision-Recall graph는 어떤 알고리즘의 성능을 파악하기는 좋으나, 서로 다른 두 알고리즘의 성능을 정량적으로(quantitatively) 비교하기에는 불편한 점이 있음. 그래서 나온 개념이 Average Precision임.
• Average Precision은 인식 알고리즘의 성능을 하나의 값으로 표현한 것으로 precision-recall graph에서 graph 선 아래쪽의 면적으로 계산됨.
• Average precision이 높을수록 알고리즘의 성능이 전체적으로 우수하다는 의미.

아래 분의 블로그를 보고 공부하는 데, 아마도 다크 프로그래머는 천재다.  (https://darkpgmr.tistory.com/162)