Joonas' Note
목록2023/07/05 (1)
Joonas' Note
logit vs. sigmoid vs. softmax
Logit logit 함수를 이해하려면 odds 를 알아야한다. logit 함수는 \( logit(p) = log(odds) \) 이기 때문이다. Odds odds 는 어떤 사건이 발생할 확률과 발생하지 않을 확률을 비교한 값이다. 일반적으로는 성공 확률을 실패 확률로 나누어서 계산한다고 한다. $$ odds = \frac{p}{1-p} $$ 여기에 로그를 씌운 함수를 logit function 이라고 부른다. $$ logit(p) = log(odds) = log(\frac{p}{1-p}) $$ 이 logit function 을 x=[0, 1] 에 대해서 그래프를 그려보면 아래와 같이 생겼다. Sigmoid sigmoid 함수는 logit function의 역함수이다. 즉, x와 y를 뒤집은 그래프라는 ..
AI
2023. 7. 5. 21:43