Software/Deep Learning
-
Gradient DescentSoftware/Deep Learning 2018. 12. 5. 00:13
Training set의 w,b 파라미터 값을 학습시키기 위해 gradient descent 알고리즘을 사용할 수 있다. 여기에 Gradient descent를 나타내는 3차 그래프가 있다. 이 다이어그램의 높이값은 Cost function인 J(w, b)를 의미하고 수평축은 각각 w, b를 의미한다. Cost function J는 convex function (볼록 함수) 이다. Cost function이 nonconvex function이 아닌 convex function이라는 사실은 w, b를 초기화 하는데 있어 매우 큰 의미를 가진다. 일반적으로 w, b를 어떤 초기값으로 초기화 할 때 우리는 0값을 쓰기도 하고 때로는 랜덤값을 사용하기도 한다. 그러나 cost function이 convex fu..
-
Logistic Regression: Cost FunctionSoftware/Deep Learning 2018. 12. 5. 00:10
{(x(1), y(1)), ... , (x(m), y(m))}와 같이 training set이 주어졌을 때 우리는 i번째 training example x를 x(i)라 하고 i번째 예측결과 값을 ŷ(i) 라 한다. ŷ(i) = 𝜎(wTx(i) + b), where 𝜎(z(i)) = 1 / 1+ e-z(i) ŷ(i) ≈ y(i) Loss (Error) function : Loss function은 예측값 (ŷ)와 우리가 실제로 기대하는 값 (y)의 차이를 측정한다. 다시말해 Loss function은 single traing example의 에러 값을 계산한다고 할 수 있다. Loss function의 계산식은 아래와 같다. 𝐿(𝑦̂(𝑖), 𝑦(𝑖)) = (𝑦̂(𝑖) − 𝑦(𝑖))2 / 2 𝐿(𝑦̂(𝑖),..
-
Logistic RegressionSoftware/Deep Learning 2018. 12. 3. 01:06
- ŷ - Input x가 주어졌을 때 추정 y값을 ŷ (y hat)이라고 한다. ŷ = estimate of y ŷ = P(y = 1 | x) : y is equal to one given the input features x. Parameter w and b...? w ∈ lRnx (x dimensional vector) b ∈ lR (real number) 이 Parameter을 이용해 우리는 output ŷ를 다음과 같이 표현할 수 있다. ŷ = wTx + b 근데 이 경우 문제가 하나 있다. ŷ의 값으로 우리는 0 or 1을 기대하지만 위의 식은 0보다 작은 값을 가지거나 1보다 큰 값을 가지는 경우도 발생하는 것이다. 이를 방지하기 위해 우리는 Sigmoid function을 사용한다. 표현식..
-
Binary ClassificationSoftware/Deep Learning 2018. 12. 3. 01:02
Logistic regression is an algorithm for binary classification : 로지스틱 회귀분석은 이항 분류를 위한 알고리즘이다. Binary Classifiaction은 어떤 Input값이 있을 때 Output 값으로 1 또는 0 값을 가지도록 한다. X -> Y ( 1 or 0 ) Single training example = (x, y), x ∈ lRnx , y ∈ {0, 1} ( x : x-dimensional feature vector, y : Label 0 or 1), First training example = (x(1), y(1)) and second training example = (x(2), y(2)) ... last (x(m), y(m)) (m =..