머신러닝15 [AI] 간단한 선형 모델로 이해하는 가중치 감쇠(Weight Decay) 가중치 감쇠가중치 감소: 매번 업데이트할 때마다 가중치가 조금씩 줄어듦.복잡도 제어: 가중치가 작아지면 모델의 복잡도가 낮아져, 과도한 학습을 방지.일반화 성능 향상: 모델이 훈련 데이터에 과적합되지 않고, 새로운 데이터에도 잘 동작하게 됨.가중치 감쇠(Weight Decay)는 정규화(Regularization) 기법 중 하나이다. 정규화는 머신러닝 모델이 과적합(Overfitting) 되는 것을 방지한다. 간단한 선형 모델이 있다. 이 때 손실 함수를라고 한다. 가중치(Weight Decay)를 적용한 전체 손실 함수는이다. 🤔🤔근데 왜 𝜆/2에 w^2를 하는가?w^2를 미분하면 2w가 되는데, 이 때 1/2가 있으면 미분 값이 λw로 간단해지기 때문이다. 왜 굳이 가중치에 제곱을 하.. 2024. 9. 19. [클러스터링 - 3] 계층적 클러스터링(Hierarchical Clustering)이란? K-평균 클러스터링과 계층적 클러스터링의 결과는 비슷할 수 있다. 하지만 그 과정이 다르다. 계층적 클러스터링에는 응집적 접근과 분할적 접근이 있다. 응집적 접근과 분할적 접근은 서로 반대로 진행된다. 응집적 접근 Step 1. 모든 데이터 포인트를 단독 클러스터로 만든다. (데이터 갯수 N == K) Step 2. 가장 가까운 데이터 포인트 2개를 하나의 클러스터로 합친다. Step 3. 그 다음 가장 가까운 데이터 포인트 2개를 하나의 클러스터로 합친다. Step 4. Step 3을 반복하면 최종적으로 하나의 클러스터가 남는다. 클러스터를 만드는 방법은 알았다. 그런데 우리가 원하는건 Step 4의 최종적 결과인 하나의 클러스터가 아니다. 그럼 클러스터의 최적의 수는 어떻게 구할 수 있을까? 덴드로그.. 2022. 5. 3. [클러스터링 - 1] K-평균 클러스터링이란? K-평균은 데이터 클러스터링을 하도록 도와주는 알고리즘으로 데이터 집합에서 클러스터를 알아내기에 유용하다. 이게 무슨 말이야? 아래 그림을 보면 명확해진다. 이렇게 데이터들을 클러스터링해주는 것이다. 즉, 위 그림에서는 총 3개의 클러스터가 있다고 할 수 있다. 그렇다면 K-평균 알고리즘은 어떻게 동작하는 걸까? Step 1.클러스터의 수 K를 정한다. (최적의 클러스터 수를 정하는 것은 뒤에서) Step 2. 클러스터의 중앙이 될 랜덤한 점을 K개 선택한다. 데이터와 상관 없는 점이어도 된다. Step 3. 각 데이터들을 클러스터의 중앙들 중 가까운 곳에 분류해준다. (여기서는 유클리드 거리를 썼지만, 다른 종류의 거리가 될 수도 있다) Step 4. 클러스터의 중앙을 각 데이터 클러스터의 가운데로 .. 2022. 5. 1. 데이터 엔지니어, 데이터 애널리스트, 데이터 사이언티스트 무엇이 다를까 데이터 엔지니어(Data Engineer) 데이터 애널리스트(Data Analyst) 데이터 사이언티스트(Data Scientist) 차이가 무엇일까? 현재 다니고 있는 회사 기준이므로 다를 수도 있다. 이게 100% 정확하게 용어가 정립된게 아닌 것 같다. 데이터 엔지니어가 애널리스트 일을 일부 겸할 수도 있고, 사이언티스트가 애널리스트의 일을 일부 겸할 수도 있는 것이다. 데이터 엔지니어는 안정적인 데이터 파이프라인을 구축하고 운영하는 직업이다. 데이터 애널리스트는 데이터를 시각화, 분석하고 인사이트를 얻는 직업이다. 마케팅 팀하고 데이터 팀하고 사이에 걸쳐 있는 느낌. 데이터 사이언티스트는 애널리스트의 일을 겸하면서 더 나아가 머신러닝과 AI까지 가능한 직군이다. 애널리스트보다 좀 더 이과스러운(?.. 2022. 5. 1. [분류 - 7] Kernel SVM이란? 결정 경계(Decision Boundary)를 긋지 못하는 데이터에 대해서는 어떻게 해야할까? 1. 고차원으로의 매핑 제곱을 해서 분리하는 방법이다. 이런 느낌이라고 보면 된다. 그러나 이 방법은 연산에 오랜 시간이 걸리므로 그렇게 좋은 방법은 아니다. 2. 커널 트릭 식의 좌항은 초록색 점들이 모인 구역을 뜻한다. l은 초록색 점들의 중심, x는 초록색 점의 위치 벡터이다. 식이 어렵게 보이지만, 교양 수준에서 해석을 해보면 x-l즉, 초록색 점의 위치에서 중심점의 위치의 거리가 멀면 멀수록 K가 작아진단 뜻이다. 즉 K > 0인 구간에 데이터들에 대해서 초록색 점으로 판단하겠다는 뜻이다. σ는 원의 크기를 뜻한다. 실제로 커널은 이것보다 훨씬 다양한 종류들이 있다. 2022. 4. 30. 이전 1 2 3 다음
