딥러닝 이해 시작(5) - 활성화 함수 종류

딥러닝 이해 시작(5) - 활성화 함수 종류

시그모이드 함수, 렐수 함수, 소프트맥스 함수에 대한 간단한 설명

---

활성화 함수(activation function) 

  가중합의 결과를 놓고 (시그모이드)1 또는 0을 출력해서 다음으로 보내는데, 여기서 0과 1을 판단하는 함수(sigmoid함수, relu함수, softmax함수 등)

 

1) 시그모이드 함수

• 식 : f(x) = 1 / ( 1 + e^-x)
• 0 또는 1의 값이 출력 됨
• 이진 분류 출력층에서 사용

시그모이드 함수 그래프

2) 렐루 함수

• 식 : f(x) = max(0, x)
• 0보다 작을 때는 0을 출력, 0보다 클 때는 x를 출력하는 함수
• Gradient Vanishing(기울기 소실) 해결, 은닉충에 사용

렐수 함수 그래프

Gradient Vanishing(기울기 소실)이란
 깊은 인공 신경망을 학습하다보면 역전파 과정에서 입력층으로 갈 수록 기울기(Gradient)가 점차적으로 작아지는 현상이 발생할 수 있다. 입력층에 가까운 층들에서 가중치들이 업데이트가 제대로 되지 않으면 결국 최적의 모델을 찾을 수 없게 된다. 이것을 기울기 소실이라고 한다.
 ReLU나 ReLU의 변형 함수와 같은 Leaky ReLU를 사용하면 기울기가 0으로 수렴하는 것을 방지할 수 있다.

 

3) 소프트맥스 함수

• 식
  n = 출력층의 뉴런 수(총 클래스의 수), k = k번째 클래스

소프트맥스 함수 식

• 0과 1사이의 값이 여러개 출력 됨(여러개의 선형 방정식의 출력 값을 0~1사이로 압축하고 전체 합이 1이 되도록 만듬)
• 다중 분류 출력층에서 사용