NA의 잡 블로그

이 글은 책 「파이썬 머신러닝 완벽가이드」와 공돌이의 수학정리노트 깃허브 글을 바탕으로 작성되었습니다. GMM(Gaussian Mixture Model)란? 여러 개의 정규분포를 이루는 데이터가 합쳐진 집합(모집단)에서 데이터가 추출된 것(표본)이라는 가정하에 군집화를 수행하는 알고리즘 GMM에서의 모수 추정 : 1. 개별 정규 분포의 평균과 분산 2. 각 데이터가 어떤 정규 분포에 해당하는지의 확률 MLE(Maximum Likelihood Estimation, 최대우도법)이란? 1. MLE 정의 모수적(parametic)인 밀도 추정 방법으로 파라미터 \( \theta = (\theta_{1}, \cdots, \theta_{m}) \) 으로 구성된 어떤 확률 밀도함수 \( P(x| \theta) \) ..

이 글은 책 「파이썬 머신러닝 완벽가이드」와 다크프로그래머님의 블로그 글을 바탕으로 작성되었습니다. 평균 이동(Mean Shift)란? - KDE 기반으로 밀도가 가장 높은 지점으로 군집 중심점을 이동시켜 군집화를 수행하는 알고리즘 KDE(Kernel Density Estimation, 커널 밀도 추정)이란? 1. 밀도 추정 : 관측된 데이터(표본)의 분포를 통해 원래 변수(모집단)의 확률 밀도(분포)를 추정하는 것 기계 학습, 확률과 통계에서의 밀도 = 확률 밀도(probability density) 어떤 변수 x의 밀도(density)를 추정하는 것은 x의 확률 밀도 함수 (probability density function, pdf)를 추정하는 것과 같음 f(a)는 x=a에서의 확률 밀도 = "변수..

이 글은 책 「파이썬 머신러닝 완벽가이드」를 바탕으로 작성되었습니다. K-평균 (K-means)란? - 주변 데이터까지의 거리의 평균 지점으로 군집 중심점을 이동시켜 군집화를 수행하는 알고리즘 작동방식 1. 임의의 군집 중심점(centroid)를 설정하고 해당 지점에 가까운 데이터 포인트들을 선택 2. 선택된 데이터 포인트들의 거리 중심점으로 이동하고, 이동된 지점에서 가까운 데이터 포인트들을 선택, 다시 군집 중심점을 거리 평균 지점으로 이동 3. 더 이상 군집 중심점의 이동이 없으면 반복을 멈추고 해당 군집 중심점에 가까운 데이터 포인트들을 하나의 군집으로 라벨링 사이킷런 클래스 KMeans class sklearn.cluster.KMeans(n_clusters=8, *, init='k-means++..

군집화(Clustering)란? 비지도학습의 한 종류로, 비슷한 속성을 지닌 데이터끼리 하나의 군집(cluster)를 구성하도록 라벨링하는 것을 말한다. 동일한 군집 안에 존재하는 데이터들끼리의 차이는 최소화하고, 다른 군집에 존재하는 데이터와의 차이는 최대화하는 것을 목표로 한다. 군집화 알고리즘의 종류 거리 기반 알고리즘 1. K-평균 (K-means) - 주변 데이터까지의 거리의 평균 지점으로 군집 중심점을 이동시켜 군집화를 수행하는 알고리즘 - 알고리즘이 간결하고 직관적이기 때문에 가장 일반적으로 사용되는 군집화 알고리즘 - 몇개의 군집을 설정할지 결정하기 어려움 - 속성의 개수가 많을수록/차원이 올라갈수록 군집화 정확도가 떨어짐 (→ PCA 차원 축소 적용) - 원형 구조의 데이터 세트에는 효과..