Logistic Regression

 - ŷ -

 

Input x가 주어졌을 때 추정 y값을 ŷ (y hat)이라고 한다.

 

ŷ = estimate of y

ŷ = P(y = 1 | x) : y is equal to one given the input features x.

 

Parameter w and b...?

 

w ∈ lRnx (x dimensional vector)

b ∈ lR (real number)

 

이 Parameter을 이용해 우리는 output ŷ를 다음과 같이 표현할 수 있다.

 

ŷ = wTx + b

 

근데 이 경우 문제가 하나 있다. ŷ의 값으로 우리는 0 or 1을 기대하지만 위의 식은 0보다 작은 값을 가지거나 1보다 큰 값을 가지는 경우도 발생하는 것이다.
 

이를 방지하기 위해 우리는 Sigmoid function을 사용한다. 표현식은 아래와 같다.

 

ŷ = 𝜎(wTx + b)

 

그래프는 아래와 같다.

 

 

 

위 그래프를 보면 알 수 있듯이 x값이 작아 질수록 y값은 0에 수렴하고 x값이 커질수록 y값은 1에 수렴하는 것을 알 수 있다. (0 <= ŷ <= 1)

 

𝜎(z) = 1 / 1+ e-z

 

z -> large -> 𝜎(z) ≈ 1 / (1+0) = 1

z -> small -> 𝜎(z) ≈ 1 / (1+Big Num) = 0