[ML/DL] Entropy, CrossEntropy, KL divergence 개념 정리

KL divergence 

예측 분포의 엔트로피와 실제 분포에 대한 엔트로피간의 차이 측정 measure

Entropy

불확실성을 수식으로 나타냄 (엔트로피가 높다는 것은 불확실한 정보가 많다는 것) (주사위의 엔트로피가 동전의 엔트로피보다 높음.)

CE Loss

내가 예측한 분포와 실제 분포로 구성된 함수로 내가 예측한 분포에 대한 엔트로피

 

 

Reference

https://velog.io/@rcchun/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%ED%81%AC%EB%A1%9C%EC%8A%A4-%EC%97%94%ED%8A%B8%EB%A1%9C%ED%94%BCcross-entropy

[머신러닝] 크로스 엔트로피(cross entropy)