3-1. 활성화 함수(시그모이드, 계단, ReLU)

1.활성화 함수란?

- 입력 신호의 총합을 출력신호로 변환하는 함수

 

활성화함수 처리과정

위 그림을 수식으로 표현하면 아래와 같음.

a = b + w1x1 + w2x2

y = h(a)

- 가중치 신호를 조합한 결과 = a

- 활성화 함수 h()를 통과하여 새로운 노드(뉴런)로 변환된 결과 = y

 

2. 시그모이드 함수

 

-시그모이드 함수 수식 및 그래프

• 시그모이드 함수 파이썬 구현

import matplotlib.pyplot as plt

def sigmoid(x):
  return 1/(1+np.exp(-x))

x=np.arange(-5, 5, 0.1)
y=sigmoid(x)
plt.plot(x,y)
plt.ylim(-0.1, 1.1)
plt.show()

 

3. 계단 함수

-계단함수 그래프

• 계단함수 파이썬 구현

def step_function(x):
  return np.array(x>0, dtype=np.int)

x=np.arange(-5, 5, 0.1)
y=step_function(x)
plt.plot(x,y)
plt.ylim(-0.1, 1.1)
plt.show()

 

4. ReLU 함수

 

 

요약

- 활성화함수는 입력신호의 총합을 출력신호로 변환하는 함수

- 활성화 함수 종류는 시그모이드 함수, 계단 함수, ReLU 함수 등이 있음