AI44 [AI hand-on] 1. Single Neuron & ReLU 이 예제는 신경망의 기본 개념인 단일 뉴런과 ReLU 활성화 함수를 연습하는 문제이다. 학생들이 입력 값, 가중치, 편향을 사용해 뉴런의 출력을 계산하고, 그 출력에 ReLU 함수를 적용하는 과정을 이해할 수 있게 해준다.먼저 주어진 식에서 선형 계산을 한다. 각 입력 값과 가중치를 곱하고 그 결과를 모두 더한 후 편향을 더한다:입력 값(x): (1, 2, 3)가중치(w): (1, -1, 1)편향(b): -5w∗x+b=(1)∗(2)+(−1)∗(1)+(1)∗(3)+(−5)=−1w * x + b = (1)*(2) + (-1)*(1) + (1)*(3) + (-5) = -1w∗x+b=(1)∗(2)+(−1)∗(1)+(1)∗(3)+(−5)=−1선형 계산의 결과는 -1이다.그다음으로 ReLU 활성화 함수를 적용한다... 2024. 10. 14. [AI] 간단한 선형 모델로 이해하는 가중치 감쇠(Weight Decay) 가중치 감쇠가중치 감소: 매번 업데이트할 때마다 가중치가 조금씩 줄어듦.복잡도 제어: 가중치가 작아지면 모델의 복잡도가 낮아져, 과도한 학습을 방지.일반화 성능 향상: 모델이 훈련 데이터에 과적합되지 않고, 새로운 데이터에도 잘 동작하게 됨.가중치 감쇠(Weight Decay)는 정규화(Regularization) 기법 중 하나이다. 정규화는 머신러닝 모델이 과적합(Overfitting) 되는 것을 방지한다. 간단한 선형 모델이 있다. 이 때 손실 함수를라고 한다. 가중치(Weight Decay)를 적용한 전체 손실 함수는이다. 🤔🤔근데 왜 𝜆/2에 w^2를 하는가?w^2를 미분하면 2w가 되는데, 이 때 1/2가 있으면 미분 값이 λw로 간단해지기 때문이다. 왜 굳이 가중치에 제곱을 하.. 2024. 9. 19. [AI] 평균 제곱 오차(Mean Squared Error) 손실 함수 f(x_i): 모델의 예측 값y(i): 실제 값 현재 epoch의 손실값을 구하는 함수이다.i = 1부터 N까지 모델의 예측 값에서 실제 값을 뺀 값을 제곱한 값을 모두 더한 뒤, N으로 나눠준다. 모델의 예측 값에서 실제 값을 뺀 값을 제곱하는 이유는 음수일수도 있기 때문이다. epoch 회수 m회에 대하여 예측값을 모두 더하고 m으로 나눠주면 평균 손실값이 나오는데, 이것이 현재 모델의 성능이다. p.s.손실 함수에는 여러 종류가 있다. 2024. 9. 9. [연관 규칙 - 1] Apriori란? 어떤 현상들끼리 연관 규칙이 있는가를 알아내는 알고리즘이 Apriori이다. 밤 8시만 되면 기저귀와 맥주가 동시에 팔리는 현상이 있다고 하자. 기저귀와 맥주? 아무 연관관계도 없을 것 같은 이 두 물건이 무슨 관계가 있을까? 아마 유부남이 기저귀가 다 떨어져서 기저귀를 사러왔는데 퇴근도 했겠다 맥주도 같이 사러 간다는 분석이 있다면 어느 정도 일리가 있다고 느낄 수 있다. 그냥 흔한 경우를 생각해본다면, 편의점에서 햄버거를 사는 사람은 콜라도 구매할 확률이 높다. 데이터 세트에서 이런 연관 규칙을 찾는 것이 Apriori 알고리즘이라고 할 수 있다. Apriori 알고리즘 아래와 같은 데이터 세트가 있다. ID itemset 1 A, B, C 2 B, C 3 A, C 4 A 5 A, D 지지도를 2/5.. 2022. 5. 9. [클러스터링 - 3] 계층적 클러스터링(Hierarchical Clustering)이란? K-평균 클러스터링과 계층적 클러스터링의 결과는 비슷할 수 있다. 하지만 그 과정이 다르다. 계층적 클러스터링에는 응집적 접근과 분할적 접근이 있다. 응집적 접근과 분할적 접근은 서로 반대로 진행된다. 응집적 접근 Step 1. 모든 데이터 포인트를 단독 클러스터로 만든다. (데이터 갯수 N == K) Step 2. 가장 가까운 데이터 포인트 2개를 하나의 클러스터로 합친다. Step 3. 그 다음 가장 가까운 데이터 포인트 2개를 하나의 클러스터로 합친다. Step 4. Step 3을 반복하면 최종적으로 하나의 클러스터가 남는다. 클러스터를 만드는 방법은 알았다. 그런데 우리가 원하는건 Step 4의 최종적 결과인 하나의 클러스터가 아니다. 그럼 클러스터의 최적의 수는 어떻게 구할 수 있을까? 덴드로그.. 2022. 5. 3. 이전 1 2 3 4 ··· 9 다음
