728x90

Gradient 2

[인공지능] 4장. 신경망 기초2

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. ▶4.4 퍼셉트론 학습 알고리즘 4.4.2 경사 하강법(gradient descent)의 원리 학습 알고리즘은 J의 최저점 w를 찾아야 한다. 학습 규칙 유도 - 경사 하강법은 미분을 이용해 최적해를 찾는 기법이다. - 미분값 ∂J / ∂w1의 반대 방향이 최적해에 접근하는 방향이므로 현재 w1에 -∂J / ∂w1를 더하면 최적해에 가까워진다. - 방향은 알지만 얼마만큼 가야 하는지에 대한 정보가 없기 때문에 학습률 p를 곱하여 조금씩 이동한다. - p는 하이퍼 매개변수로서 보통 0.001이나 0.0001처럼 작은 값을 사용한다..

[수치해석] Ch14. Grandient Methods - Multidimensional

복습하기 위해 학부 수업 내용을 필기한 내용입니다. 이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다. 그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다. 2022.12.10 - [컴퓨터공학/수치해석] - [수치해석] Ch14. Directed Methods - Multidimensional Gradient method은 최적을 찾기 위한 효율적인 algorithm을 생성하기 위해 derivative 정보를 명시적으로 사용한다. ▶Gradients and Hessians 첫 번째 도함수가 0이 되면 최적의 값에 도달한 것이다. 두 번째 도함수의 부호는 양수면 최소, 음수면 최대에 도달한 것이다. 즉, 갈 수 있는 공간 360도 전체 중에서, 가장 경사가 급한 쪽으로 간다. (특히 ..

728x90