회귀 분석의 절차 X라는 값이 입력되면 Y = 베타0 + 베타1*X라는 계산식을 통해 값을 산출하는 예측 함수를 정의한다. 실제 값 y와 예측 함수를 통해 도출된 예측값 pred_y간의 차이를 계산한다. 계산한 차이에 기반하여 베타0와 베타1를 업데이트하는 규칙을 정의하고 이를 바탕으로 베타0와 베타1의 값을 조정한다. 위의 과정을 특정 반복 횟수(iteration) 만큼 반복한다. 반복적으로 수정된 베타0와 베타1를 바탕으로 Y = 베타0 + 베타1*X라는 회귀식을 정의한다. import numpy as np import matplotlib.pyplot as plt # 데이터를 생성하고 반환하는 함수 def load_data(): X = np.array([[8.70153760], [3.90825773]..
과적합(Overfitting)이란? 모델이 주어진 훈련 데이터에 과도하게 맞춰져서 새로운 데이터가 입력 되었을 때 잘 예측하지 못하는 현상 즉, 모델이 과도하게 복잡해져 일반성이 떨어진 경우를 의미함 과적합 방지 방법 1. 교차검증 (Cross Validation) 모델이 잘 적합되었는지 알아보기 위해 훈련용 데이터와 별개의 테스트 데이터, 그리고 검증 데이터로 나누어 성능 평가하는 방법 k-fold 교차검증 : 훈련 데이터를 계속 변경하며 모델을 훈련시킴. 데이터를 k등분으로 나누고 K번 훈련시킴. 2. 정규화 모델의 복잡성을 줄여 일반화된 모델을 구현하기 위한 방법 -> 모델 베타i에 패널티를 부여함 L1 정규화 (Lasso) : 불필요한 입력값에 대응되는 베타i를 정확히 0으로 만듦. L2 정규화 ..
회귀 분석이란? 데이터를 가장 잘 설명하는 선을 찾아 입력값에 따른 미래 결과값을 예측하는 알고리즘 적절한(완벽할 수 없음) β0와 β01을 찾는 것이 회귀분석에서 해야하는 일 * Loss function : 모델이 예측하는 값과 실제 값의 차이 Loss function을 최소로 하는 β0와 β1을 구하는 것이 회귀분석이다. 어떻게 하면 가장 적합한 β0와 β1을 찾을까? -산 정상 오르기 회귀 분석 개념 정리 Loss Function(실제 값과 모델이 예측하는 값의 오차)를 최소화하는 Gradient Descent(최적의 베타제로, 베타원을 찾는 알고리즘)을 통해 데이터를 가장 잘 설명할 수 있는 선을 찾는 방법 회귀 분석의 절차 X라는 값이 입력되면 Y = \beta_0 + \beta_1 XY..
