SGD

모멘텀(Momentum)

2021.07.19

SGD는 손실 함수(loss function)의 최솟값에 도달하는 동안 Gradient가 진동하여 최적값에 도달하기까지의 시간이 오래 걸리는 단점을 가지고 있다. 이를 보완하기 위해 사용되는 모멘텀(momentum) 기법은 관성의 개념을 이용해 최적값에 좀 더 빠르게 도달할 수 있도록 도와준다. SGD에서 momentum을 사용하기 위한 함수/라이브러리 tf.keras.optimizers.SGD(lr, momentum): lr : 학습률 (learning rate) (lr >= 0), 기본값 0.1 momentum : 진동을 막아주고 SGD를 가속하는 파라미터 (momentum >= 0), 기본값 0.9 모델을 테스트하기 위한 함수/라이브러리 score = model.evaluate(test_data, ..

AI/MachineLearning

GD vs SGD(Stochastic Gradient Descent)

2021.07.19

GD(Gradient Descent)**는 시작 지점에서 기울기의 반대 방향으로 하강하면서 **손실 함수(loss function)를 최소화하는 지점을 찾기 위한 가장 직관적인 방법입니다. 이처럼 전체 데이터 셋을 가지고 학습하게 되면 안정적이긴 하지만, 계산량과 학습 비용이 많아지게 됩니다. 이때 전체 데이터 셋이 아닌, 무작위로 뽑은 데이터들에 대한 Gradient Descent를 진행하고, 이를 반복하며 정확도를 찾아 나가는 것을 SGD(Stochastic Gradient Descent)라고 합니다. 이번 실습에서는 동일한 모델 생성 및 학습을 통하여 두 최적화 기법을 비교해보도록 하겠습니다. 데이터셋은 IMDB 영화 리뷰 데이터 셋을 사용합니다. 해당 데이터셋은 훈련용 데이터 25,000개와 테스..

모멘텀(Momentum)

GD vs SGD(Stochastic Gradient Descent)

티스토리툴바