[AI hand-on] 1. Single Neuron & ReLU

 

출처:  https://www.linkedin.com/feed/update/urn:li:share:7137904420217917440/

 

이 예제는 신경망의 기본 개념인 단일 뉴런과 ReLU 활성화 함수를 연습하는 문제이다. 학생들이 입력 값, 가중치, 편향을 사용해 뉴런의 출력을 계산하고, 그 출력에 ReLU 함수를 적용하는 과정을 이해할 수 있게 해준다.

먼저 주어진 식에서 선형 계산을 한다. 각 입력 값과 가중치를 곱하고 그 결과를 모두 더한 후 편향을 더한다:

• 입력 값(x): (1, 2, 3)
• 가중치(w): (1, -1, 1)
• 편향(b): -5

w∗x+b=(1)∗(2)+(−1)∗(1)+(1)∗(3)+(−5)=−1w * x + b = (1)*(2) + (-1)*(1) + (1)*(3) + (-5) = -1w∗x+b=(1)∗(2)+(−1)∗(1)+(1)∗(3)+(−5)=−1

선형 계산의 결과는 -1이다.

그다음으로 ReLU 활성화 함수를 적용한다. ReLU는 출력 값이 0보다 크면 그대로 사용하고, 0 이하이면 0으로 변환하는 함수이다. -1은 0 이하이므로 ReLU를 적용하면 최종 출력은 0이 된다.

 

 

---

 

ReLU(Rectified Linear Unit)?

ReLU는 신경망에서 많이 사용되는 활성화 함수로, 입력이 0보다 크면 그대로 출력하고 0 이하이면 0으로 변환한다. 계산이 간단하고 빠르며, 기울기 소실 문제를 해결해 딥러닝에서 효과적이다. 하지만 음수 입력에서 뉴런이 계속 0을 출력하는 Dying ReLU 문제가 발생할 수 있다.

 

이를 보완한 Leaky ReLU는 음수 구간에서 작은 기울기를 부여해 음수 값도 조금은 출력되도록 한다. 이렇게 해서 뉴런이 죽지 않도록 방지하는 역할을 한다. ReLU와 Leaky ReLU 모두 학습 속도를 빠르게 하고 복잡한 패턴을 학습할 수 있게 해준다.

 

 

---

 

Leaky ReLU?

Dying ReLU 문제를 해결하기 위해 변형된 버전인 Leaky ReLU가 제안되었다. Leaky ReLU는 음수 값에 아주 작은 기울기를 주어 음수 입력도 어느 정도 영향을 미치도록 한다. 정의는 다음과 같다:

Leaky ReLU

여기서 α는 음수일 때의 기울기를 의미하며, 일반적으로 매우 작은 값(예: 0.01)을 사용한다.