Machine Learning
경사 하강법(Gradient Descent)의 이해, Feature Scaling, Learning Rate
[경사하강법과 Learning Rate] http://silentbrain.tistory.com/10 에 이어서 이해할 것. ML연산의 최종 목표는 최소 가중치 J(θ_1~n)을 가지는 θ값들의 조합을 찾아내는 것 θ을 어떻게 변경하면서 J값을 계산해가야만 최종적으로 최소의 J값(즉, 가중치 그래프의 가장 바닥과 가까운 곳!)에 다다를 수 있을 것인가에 대한 방법론이 바로 경사 하강법이다. 공식 θ_j := θ_j - α * J(θ)미분 해당 공식이 의미하는 바를 풀이하면, x축 θ, y축 J(θ) 그래프에서 특정 θ_j값에 α를 곱한 J(θ) 그래프 기울기(미분)를 빼면서 θ_j값을 업데이트 해나가는 것 ( := 연산자는 a = a+1 과 같은 대입 연산자로 이해하면 된다.)특정 θ_j 값에서 J(θ)..
2018. 6. 5. 13:23