He

He 초기화 방법

He 초기화 방법은 활성화 함수로 ReLU를 쓸 때 활성화 결괏값들이 한쪽으로 치우치는 문제를 해결하기 위해 나온 방법이다. He 초기화 방법은 앞 레이어의 노드가 n개일 때 표준 편차가 \sqrt{2} / \sqrt{n}2​/n​인 분포를 사용하는 것이다. 즉 표준 정규 분포를 입력 개수 절반의 제곱근으로 나누어주면 된다. Xavier 초기화 방법은 표준 편차가 1 / \sqrt{n}1/n​이라고 한다. ReLU는 음의 영역에 대한 함숫값이 0이라서 더 넓게 분포시키기 위해 \sqrt{2}2​배의 계수가 필요하다고 이해할 수 있다. import numpy as np from visual import * np.random.seed(100) def relu(x): result = np.maximum(0,x..