모멘텀

모멘텀(Momentum)

SGD는 손실 함수(loss function)의 최솟값에 도달하는 동안 Gradient가 진동하여 최적값에 도달하기까지의 시간이 오래 걸리는 단점을 가지고 있다. 이를 보완하기 위해 사용되는 모멘텀(momentum) 기법은 관성의 개념을 이용해 최적값에 좀 더 빠르게 도달할 수 있도록 도와준다. SGD에서 momentum을 사용하기 위한 함수/라이브러리 tf.keras.optimizers.SGD(lr, momentum): lr : 학습률 (learning rate) (lr >= 0), 기본값 0.1 momentum : 진동을 막아주고 SGD를 가속하는 파라미터 (momentum >= 0), 기본값 0.9 모델을 테스트하기 위한 함수/라이브러리 score = model.evaluate(test_data, ..