로지스틱 회귀
-
Logistic Regression: Cost FunctionSoftware/Deep Learning 2018. 12. 5. 00:10
{(x(1), y(1)), ... , (x(m), y(m))}와 같이 training set이 주어졌을 때 우리는 i번째 training example x를 x(i)라 하고 i번째 예측결과 값을 ŷ(i) 라 한다. ŷ(i) = 𝜎(wTx(i) + b), where 𝜎(z(i)) = 1 / 1+ e-z(i) ŷ(i) ≈ y(i) Loss (Error) function : Loss function은 예측값 (ŷ)와 우리가 실제로 기대하는 값 (y)의 차이를 측정한다. 다시말해 Loss function은 single traing example의 에러 값을 계산한다고 할 수 있다. Loss function의 계산식은 아래와 같다. 𝐿(𝑦̂(𝑖), 𝑦(𝑖)) = (𝑦̂(𝑖) − 𝑦(𝑖))2 / 2 𝐿(𝑦̂(𝑖),..
-
Logistic RegressionSoftware/Deep Learning 2018. 12. 3. 01:06
- ŷ - Input x가 주어졌을 때 추정 y값을 ŷ (y hat)이라고 한다. ŷ = estimate of y ŷ = P(y = 1 | x) : y is equal to one given the input features x. Parameter w and b...? w ∈ lRnx (x dimensional vector) b ∈ lR (real number) 이 Parameter을 이용해 우리는 output ŷ를 다음과 같이 표현할 수 있다. ŷ = wTx + b 근데 이 경우 문제가 하나 있다. ŷ의 값으로 우리는 0 or 1을 기대하지만 위의 식은 0보다 작은 값을 가지거나 1보다 큰 값을 가지는 경우도 발생하는 것이다. 이를 방지하기 위해 우리는 Sigmoid function을 사용한다. 표현식..
-
Binary ClassificationSoftware/Deep Learning 2018. 12. 3. 01:02
Logistic regression is an algorithm for binary classification : 로지스틱 회귀분석은 이항 분류를 위한 알고리즘이다. Binary Classifiaction은 어떤 Input값이 있을 때 Output 값으로 1 또는 0 값을 가지도록 한다. X -> Y ( 1 or 0 ) Single training example = (x, y), x ∈ lRnx , y ∈ {0, 1} ( x : x-dimensional feature vector, y : Label 0 or 1), First training example = (x(1), y(1)) and second training example = (x(2), y(2)) ... last (x(m), y(m)) (m =..