최적화

Adagrad, RMSprop, Adam 최적화(optimize) 알고리즘

Adagrad Adagrad(Adaptive Gradient) 최적화 알고리즘은 손실 함수(loss function)의 값을 최소로 만드는 최적의 가중치를 찾아내기 위해 learning rate를 조절해 하강하는 방법 중 하나이다. 기존 방식이 가중치들의 업데이트를 같은 속도로 한꺼번에 하는 방법이었다면, Adagrad는 가중치 각각의 업데이트 속도를 데이터에 맞추어(adaptively) 계산해 적절한 learning rate로 하강하도록 한다. Adagrad tf.keras.optimizers.Adagrad(lr, epsilon, decay) : lr : 학습률 (learning rate) (lr >= 0), 기본값 0.1 epsilon : 연산 시 분모가 0이 되는 것을 막는, 0에 가까운 상수 (e..