위 그림에서 m = 4로 설정, 따라서 입력값(Input)은 x_1, x_2, x_3, x_4x1,x2,x3,x4로 총 4개, 가중치(Weight)도 w_1, w_2, w_3, w_4w1,w2,w3,w4로 총 4개임 가중치 w_0w0에 대한 입력값은 1이므로 두 값이 곱해진 값은 상수 w_0w0이고, 이는 곧 Bias입니다. 따라서 Bias b = 1 * w_0 = w_0b=1∗w0=w0 라고 할 수 있음 입력값 x_1, x_2, x_3, x_4x1,x2,x3,x4와 가중치 w_1, w_2, w_3, w_4w1,w2,w3,w4, 그리고 1과 w_0w0까지 Net input function에 입력되면 y = w_1x_1 + w_2x_2 + w_3x_3 + w_4x_4 ..
''' 1. 신호의 총합과 외출 여부를 반환하는 Perceptron 함수를 완성합니다. Step01. Bias는 외출을 좋아하는 정도이며 -1로 설정되어 있습니다. Step02. 입력 받은 값과 Bias 값을 이용하여 신호의 총합을 구합니다. Step03. 지시한 활성화 함수를 참고하여 외출 여부 (0 or 1)를 반환합니다. ''' def Perceptron(x_1,x_2,w_1,w_2): bias = -1 output = x_1 * w_1 + x_2 * w_2 + bias y = 1 if output > 0 else 0 return output, y # 값을 입력받는 함수입니다. def input_func(): # 비 오는 여부(비가 온다 : 1 / 비가 오지 않는다 : 0) x_1 = int(inp..
랜덤 포레스트(Random Forest) - 의사결정 트리 + Bagging 알고리즘 - 부트스트랩 데이터를 생성할 때, 입력 변수에 대해서도 복원 추출 - 데이터 셋에서 Bootstrap을 통해 N개의 훈련 데이터셋을 생성하고, 생성한 N개의 의사결정 나무들을 학습함 - 학습된 트리들의 예측 결과값의 평균 또는 다수결 투표 방식 이용하여 결합 - 변수의 중요성을 파악할 수 있음 - 변수 일부를 사용하기 때문에 과적합을 방지할 수 있음 Ada Boost(Adaptive Boosting:적응 부스팅) - 이전 학습 과정에서 오분류한 데이터를 다음 학습 과정에서는 잘 분류할 수 있도록 하여 Weak Learner를 Strong Learner로 수정하는 Boosting 알고리즘 - 이전 모델이 오분류한 데이터..
앙상블 기법이란? - 과적합 방지 및 더 높은 성능의 결과를 도출하도록 여러 모델을 활용하는 기법 - Voting(투표), Bagging(Bootstrap Aggregating), Boosting Voting(투표) - 여러 모델의 예측 결과값을 활용하여 투표를 통해 최종 예측값 결정 - 결과가 직관적이며 해석이 쉽고, 평균, 다수결 채택 등의 간단한 연산을 사용함 Bagging(Bootstrap Aggregating) - Bootstrap + Aggregating - 복원 추출을 통해 랜덤 추출한 데이터 셋을 생성하고, 각 데이터를 모델 학습하여 결합한 후, 학습된 모델의 예측 변수를 활용하여 최종 모델을 생성하는 방법 - Bootstrap을 활용한 랜덤 샘플링으로 과적합(Overfitting) 방지 ..
의사결정 나무 - 회귀 - 겹치지 않는 구역으로 데이터를 나눔 - 특정 구역에 데이터가 있으면, 그 데이터의 예측값은 해당 구역의 평균값임 어떤 구역으로 나누어야 하는가? - 구역을 쪼개는 기준 어떤 구역으로 어떻게 나누어야 하는가? 해당 구역에 있는 데이터의 실제값(y)과 예측값의 오차 제곱합을 최소화하는 구역 RSS(Residual Sum of Squares) RSS(Residual Sum of Squares) : 회귀 알고리즘에서 등장한 개념으로 실제값과 예측값의 단순 오차 제곱합 단순오차 제곱합 : 전체 데이터에 대한 실제 값과 예측하는 값의 오차들의 제곱 총합 어떤 구역으로 어떻게 나누어야 하는가? ↓ RSS를 최소화하는 모든 구역을 한 번에 찾는 것은 계산적으로 불가능함 ↓ 위에서부터 순간순간..
혼동 행렬(Confusion Matrix) 분류 모델의 성능을 평가하기 위함 - True Positive, True Negative, False Positive, False Negative True Positive: 실제 Positive인 값을 Positive라고 예측 (정답) True Negative: 실제 Negative인 값을 Negative라고 예측 (정답) False Positive: 실제 Negative인 값을 Positive라고 예측 (오답) - 1형 오류 False Negative: 실제 Positive인 값을 Negative라고 예측 (오답) - 2형 오류 정확도(Accuracy) 전체 데이터 중에서 제대로 분류된 데이터의 비율로, 모델이 얼마나 정확하게 분류하는지를 나타냄 분류 모델의 ..
