Logistic Regression: Cost Function

{(x(1), y(1)), ... , (x(m), y(m))}와 같이 training set이 주어졌을 때

 

우리는 i번째 training example x를 x(i)라 하고 i번째 예측결과 값을 ŷ(i) 라 한다.

 

ŷ(i) = 𝜎(wTx(i) + b), where 𝜎(z(i)) = 1 / 1+ e-z(i)

ŷ(i) ≈ y(i)

 

Loss (Error) function

 

: Loss function은 예측값 (ŷ)와 우리가 실제로 기대하는 값 (y)의 차이를 측정한다.

 다시말해 Loss function은 single traing example의 에러 값을 계산한다고 할 수 있다.

 

Loss function의 계산식은 아래와 같다.

 

𝐿(𝑦̂(𝑖), 𝑦(𝑖)) = (𝑦̂(𝑖) − 𝑦(𝑖))2 / 2

𝐿(𝑦̂(𝑖), 𝑦(𝑖)) = −( 𝑦(𝑖) log(𝑦̂(𝑖)) + (1 − 𝑦(𝑖)) log(1 − 𝑦̂(𝑖))

 

If 𝑦(𝑖) = 1: 𝐿(𝑦̂(𝑖), 𝑦(𝑖)) = − log(𝑦̂(𝑖)) where log(𝑦̂(𝑖)) and 𝑦̂(𝑖) should be close to 1

If 𝑦(𝑖) = 0: 𝐿(𝑦̂(𝑖), 𝑦(𝑖)) = − log(1 − 𝑦̂(𝑖)) where log(1 − 𝑦̂(𝑖)) and 𝑦̂(𝑖) should be close to 0

 

Cost function

 

: Cost function은 전체 training set lost function의 평균을 의미한다.

그러므로 우리는 이 Cost funtion 값을 최소화 할 수 있는 w와 b 파라미터 값을 찾아야 한다.

 

𝐽(𝑤, 𝑏) = ∑ 𝐿(𝑦̂(𝑖), 𝑦(𝑖)) / 𝑚  = −  ∑[( 𝑦(𝑖) log(𝑦̂(𝑖)) + (1 − 𝑦(𝑖))log(1 − 𝑦̂(𝑖))] / 𝑚