[대회 기록] Mask classification Competiton_loss 종류

대회 중 학습한 내용을 중간중간에 적어보려 합니다. 

0. Loss

loss는 학습하는 데 없어서는 안 될 요소입니다. 일반적으로 loss는 Ground Truth (실제로 사실인지 아닌지와 관계없이 모델을 만드는 사람이 사실이라고 정의한 값)과 model이 output으로 내놓은 값의 차이를 말합니다. 

이 loss는 상황에 따라 여러 가지 종류의 loss를 사용할 수 있습니다. 이 competiton의 baseline code에서 주어진 loss는 4가지였습니다. 이 loss들을 공부해보려고 합니다. 

 

1. Cross Entropy Loss

classification 문제에서는 데이터 라벨이 one-hot encoding을 통해 표현됩니다. 정답인 class에만 1을 채워주고 나머지 class는 다 0인 값이 채워지게 됩니다. 입력 데이터의 feature 값이 모델을 통과하면 출력 layer의 softmax 함수에 의해 각각 class에 해당할 확률이 계산됩니다.

하나의 모델을 통과해서 나온 이 확률값이 [0.6, 0.2, 0.1, 0.1]이라고 가정하면 class0에 해당할 확률이 60%, class1에 해당할 확률이 20%라는 것입니다. 그런데 이 라벨들에 대한 Ground Truth가 [1, 0, 0, 0] 일 때 cross entropty를 사용한 loss는 결국 -(1 * log 0.6 + 0 * log0.2 + 0 * log0.1 + 0* log0.1 ) = -log0.6(0.2218) 이 됩니다. 

 

2. Focal Loss

모델이 맞추기 쉬운 예제에 대해서는 가중치를 줄이고, 모델이 맞추기 어려운 예제에 대해서는 가중치를 높여 맞추기 어려운 학습에 초점을 맞추는 Cross Entropy Loss의 확장판이 Focal Loss입니다. class imbalance가 발생한 문제에서는 이 Loss를 많이 적용합니다. 

위의 Cross Entropy Loss와 비교를 하자면 빨간 박스 부분만 달라지는 것입니다.

CE와 FL

여기에 있는  감마(r)는 focusing parameter로 어려운 예제에 대해서 얼마큼 가중치를 높일지에 영향을 주는 변수입니다. 

 

3. LabelSmoothing Loss

label smoothing은 앞에 소개했던 One-hot encoding으로 표현되는 hard label을 soft label로 smoothing 하는 것을 뜻합니다. 이 loss를 통해서 모델이 자신이 실제로 정답을 맞힐 확률보다 자신이 예측한 결과를 과잉확신하는 경향을 해소시킬 수 있습니다. 어느 하나의 모델이 하나의 class의 확률을 60%로 예측했을 때(soft label), 실제 정답을 맞출 확률도 60%로 맞춰주는 것입니다. 

 

 

4. F1 loss

F1 loss는 F1 score 역수 개념이라고 생각하면 될 것 같습니다. 잘 쓰지 않는 말인 듯합니다.

F1 score는 무엇일까요.

쉽게 말하면 불균형한 데이터에서 잘 동작하는 평가지표입니다. (이번 competition의 숨겨진 부제가 바로 class imbalance를 어떻게 해결할 것인가 인 것 같다. ) 

F1 score는 precision과 recall의 조화평균입니다.

Precision 은 TP/(TP + FP) 즉, 사실이라고 예측한 것들 중 얼마만큼 사실인지에 해당하는 비율이고,

Recall 은 TP/(TP+FN) 즉, 정확하게 예측한 것들 중 얼마만큼 사실을 사실이라고 예측했는지에 해당하는 비율입니다. 

 

여기서 조화평균을 쓴 이유는 Precision과 Recall 중 더 작은 값에 영향을 많이 받게 하기 위함입니다. Precision과 Recall 둘 중 어느 하나의 값이 작으면 F1 score 값도 작아지므로 둘 다 커야 좋은 F1 score, 작은 F1 Loss를 얻을 수 있습니다.