optimizer

[정의]

수학, 물리 컴퓨터 등에서 많이 사용되는 단어로 딥러닝에서 학습속도를 빠르고 안정적이게 하기 위해 손실함수(loss function)를 최소화하는 최적의 가중치 (weight)를 업데이트 하는 방법입니다.

쉽게말해 예측치와 실제값 사이의 오차를 줄여주는데 도움을 주는 방법이라고 보면 됩니다.

[종류]

Gradient Descent

경사 하강법(Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하고 경사의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것이다.

--

--

--

--