최근접 이웃 분류의 이해

최근접 이웃 분류기

레이블이 없는 예시를 레이블된 유사한 예시의 클래스로 할당해 분류하는 특징
특징과 타겟 클래스 간에 관계가 많고 복잡하거나 이해하기가 매우 어렵지만, 유사한 클래스 유형의 아이템이 상당히 동ㅈ질적인 경향을 띠는 분류 작업에 적합

K-NN 알고리즘

장점

단순하고 효율적
기저 데이터 분포에 대한 가정을 하지 않음
훈련 단계가 빠름

단점

모델을 생성하지 않아 특징과 클래스 간의 관계를 이해하는 능력이 제약을 받음
적절한 k의 선택 필요
분류 단계가 느림
명목 특징과 누락 데이터용 추가 처리가 필요

거리로 유사도 측정

최근접 이웃을 찾으려면 거리 함수나 두 인스턴스 간의 유사도를 측정하는 공식이 필요
전통적으로 K-NN 알고리즘은 유클리드 거리를 사용

적절한 k 선택

k의 값은 모델이 미래 데이터에 대해 일반화되는 능력을 결정
훈련 데이터에 대한 과적합과 과소적합 사이의 균형은 편향 분산 트레이드오프로 알려진 문제
k가 크면 노이즈가 많은 데이터로 인한 영향이나 분산은 감소하지만 작더라도 중요한 패턴을 무시하는 위험을 감수하는 학습자로 편향될 수 있음
k가 작으면 노이즈가 있는 데이터나 이상치가 예시의 분류에 과도한 영향을 미침
k는 보통 훈련 예시 개수의 제곱근으로 설정하고 시작해서 다수의 k 값을 테스트해 분류 성능이 가장 좋은 것을 선택
데이터에 노이즈가 많지 않고 훈련 데이터셋이 클 경우 k는 덜 중요해짐

k-NN 사용을 위한 데이터 준비

일반적으로 특징은 알고리즘에 적용하기 전에 표준 범위로 변환
거리 공식이 특정한 측정 방법에 매우 의존적이기 때문
전통적으로 최소-최대 정규화를 사용

최소-최대 정규화

모든 값이 0에서 1 사이 범위에 있도록 특징을 변환
Xnew = (X - min(X)) / (max(X) - min(X))

z-점수 표준화

특징 X에서 평균값을 빼고 그 결과를 X의 표준 편차로 나눔
Xnew = (X - Mean(X)) / StdDev(X)
각 특징 값이 평균의 위나 아래로 몇 표준 편차만큼 떨어져 있는지의 관점으로 각 특징 값을 확대 축소
결과 값은 z-점수
z-점수는 정규화 값과 달리 미리 정의된 최솟값과 최댓값이 없음

유클리드 거리 공식

명목 데이터에는 정의되지 않음
명목 특징 간에 거리를 계산하고자 특징을 수치 형식으로 변환할 필요가 있음
더미 코딩을 활용하는 것이 대표적
더미 코딩에서 값 1은 해당 범주를 나타내고, 0은 다른 범주를 나타냄
n-범주 명목 특징은 특징의 (n-1) 레벨의 이진 지시 변수를 생성해서 더미 코드화할 수 있음

k-NN 알고리즘이 게으른 이유

최근접 이웃 방법에 기반을 둔 분류 알고리즘은 게으른 학습이라고 함
추상화가 일어나지 않기 때문
즉, 훈련 단계에서는 훈련 데이터를 저장하기만 하여 빠르지만, 아무것도 훈련하지 않음
예측 단계가 훈련 단계에 비해 상대적으로 느린 경향이 있음
추상화된 모델보다 훈련 인스턴스에 많이 의존하여 게으른 학습은 인스턴스 기반 학습, 암기 학습이라고도 함
모델을 만들지 않기 때문에 비모수 학습 방법의 부류라고 할 수 있음

예제: k-NN 알고리즘으로 암 진단

데이터

UCI 머신러닝 repository의 Wisconsin Breast Cancer Diagnostic dataset

데이터 탐색

wbcd <- read.csv("wisc_bc_data.csv", stringsAsFactors=F)
str(wbcd)

> str(wbcd)
'data.frame':	569 obs. of  32 variables:
 $ id               : int  87139402 8910251 905520 868871 9012568 906539 925291 87880 862989 89827 ...
 $ diagnosis        : chr  "B" "B" "B" "B" ...
 $ radius_mean      : num  12.3 10.6 11 11.3 15.2 ...
 $ texture_mean     : num  12.4 18.9 16.8 13.4 13.2 ...
 $ perimeter_mean   : num  78.8 69.3 70.9 73 97.7 ...
 $ area_mean        : num  464 346 373 385 712 ...
 $ smoothness_mean  : num  0.1028 0.0969 0.1077 0.1164 0.0796 ...
 $ compactness_mean : num  0.0698 0.1147 0.078 0.1136 0.0693 ...
 $ concavity_mean   : num  0.0399 0.0639 0.0305 0.0464 0.0339 ...
 $ points_mean      : num  0.037 0.0264 0.0248 0.048 0.0266 ...
 $ symmetry_mean    : num  0.196 0.192 0.171 0.177 0.172 ...
 $ dimension_mean   : num  0.0595 0.0649 0.0634 0.0607 0.0554 ...
 $ radius_se        : num  0.236 0.451 0.197 0.338 0.178 ...
 $ texture_se       : num  0.666 1.197 1.387 1.343 0.412 ...
 $ perimeter_se     : num  1.67 3.43 1.34 1.85 1.34 ...
 $ area_se          : num  17.4 27.1 13.5 26.3 17.7 ...
 $ smoothness_se    : num  0.00805 0.00747 0.00516 0.01127 0.00501 ...
 $ compactness_se   : num  0.0118 0.03581 0.00936 0.03498 0.01485 ...
 $ concavity_se     : num  0.0168 0.0335 0.0106 0.0219 0.0155 ...
 $ points_se        : num  0.01241 0.01365 0.00748 0.01965 0.00915 ...
 $ symmetry_se      : num  0.0192 0.035 0.0172 0.0158 0.0165 ...
 $ dimension_se     : num  0.00225 0.00332 0.0022 0.00344 0.00177 ...
 $ radius_worst     : num  13.5 11.9 12.4 11.9 16.2 ...
 $ texture_worst    : num  15.6 22.9 26.4 15.8 15.7 ...
 $ perimeter_worst  : num  87 78.3 79.9 76.5 104.5 ...
 $ area_worst       : num  549 425 471 434 819 ...
 $ smoothness_worst : num  0.139 0.121 0.137 0.137 0.113 ...
 $ compactness_worst: num  0.127 0.252 0.148 0.182 0.174 ...
 $ concavity_worst  : num  0.1242 0.1916 0.1067 0.0867 0.1362 ...
 $ points_worst     : num  0.0939 0.0793 0.0743 0.0861 0.0818 ...
 $ symmetry_worst   : num  0.283 0.294 0.3 0.21 0.249 ...
 $ dimension_worst  : num  0.0677 0.0759 0.0788 0.0678 0.0677 ...

569개의 암 조직검사 예시
32개의 특징
첫 변수는 환자 ID로 유용한 정보를 제공하지 않으니 제외할 필요가 있음
의미 없는 ID와 chr인 diagnosis를 제외한 다른 특징들은 숫자

wbcd <- wbcd[-1] # 환자 id는 유용한 정보를 제공하지 않아 제외

table(wbcd$diagnosis)

> table(wbcd$diagnosis)

  B   M 
357 212

변수 diagnosis는 예측하려는 결과
양성 종양인지 음성 종양인지 여부를 나타냄
양성이 357개, 음성이 212개
팩터로 변환할 필요 있음
추가로 정보를 주는 레이블 제공 필요

wbcd$diagnosis <- factor(wbcd$diagnosis, levels=c("B","M"),
                         labels=c("Benign","Malignant"))
round(prop.table(table(wbcd$diagnosis)) * 100, digits=1)

> round(prop.table(table(wbcd$diagnosis)) * 100, digits=1)

   Benign Malignant 
     62.7      37.3

양성이 62.7%, 음성이 37.3%

summary(wbcd[c("radius_mean","area_mean","smoothness_mean")])

> summary(wbcd[c("radius_mean","area_mean","smoothness_mean")])
  radius_mean       area_mean      smoothness_mean  
 Min.   : 6.981   Min.   : 143.5   Min.   :0.05263  
 1st Qu.:11.700   1st Qu.: 420.3   1st Qu.:0.08637  
 Median :13.370   Median : 551.1   Median :0.09587  
 Mean   :14.127   Mean   : 654.9   Mean   :0.09636  
 3rd Qu.:15.780   3rd Qu.: 782.7   3rd Qu.:0.10530  
 Max.   :28.110   Max.   :2501.0   Max.   :0.16340

매끄러움의 범위는 0.05~0.16인 반면, 면적의 범위는 143.5에서 250.10이기 때문에 거리 계산에서 면적의 영향이 커지게 됨
정규화 적용이 필요

수치 데이터 정규화

min-max 정규화 함수 생성

normalize <- function(x) {
  return ((x - min(x)) / (max(x) - min(x)))
}
normalize(c(1, 2, 3, 4, 5))
normalize(c(10, 20, 30, 40, 50))

> normalize(c(1, 2, 3, 4, 5))
[1] 0.00 0.25 0.50 0.75 1.00
> normalize(c(10, 20, 30, 40, 50))
[1] 0.00 0.25 0.50 0.75 1.00

lapply()

리스트를 취해 각 리스트 항목에 지정된 함수를 적용
데이터 프레임은 동일한 길이를 갖는 벡터들의 리스트
lapply()는 리스트를 반환하므로 결과값을 데이터프레임으로 변환하는 것이 필요

wbcd_n <- as.data.frame(lapply(wbcd[2:31], normalize))
summary(wbcd_n$area_mean)

> summary(wbcd_n$area_mean)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.0000  0.1174  0.1729  0.2169  0.2711  1.0000

원래 143.5~2501.0의 범위를 가졌지만 지금은 0에서 1까지 범위에 있는 것을 확인할 수 있음

데이터 준비

train, test 분리

469개를 train, 100개를 test로 분리함

wbcd_train <- wbcd_n[1:469, ]
wbcd_test <- wbcd_n[470:569, ]

diagnosis 팩터를 가져와서 레이블 벡터를 생성

wbcd_train_label <- wbcd[1:469, 1]
wbcd_test_label <- wbcd[470:569, 1]

데이터로 모델 훈련

k의 값은 훈련 데이터가 469개 이므로 469의 제곱근과 동일한 홀수인 21로 시도
2-범주 결과이므로 홀수를 사용해 동점 표로 끝날 가능성을 제거

library(class)
wbcd_test_pred <- knn(train=wbcd_train, test=wbcd_test, 
                      cl=wbcd_train_label, k=21)

모델 성능 평가

library(gmodels)
CrossTable(x=wbcd_test_label, y=wbcd_test_pred, prop.chisq=F)

> CrossTable(x=wbcd_test_label, y=wbcd_test_pred, prop.chisq=F)

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        61 |         0 |        61 | 
                |     1.000 |     0.000 |     0.610 | 
                |     0.968 |     0.000 |           | 
                |     0.610 |     0.000 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         2 |        37 |        39 | 
                |     0.051 |     0.949 |     0.390 | 
                |     0.032 |     1.000 |           | 
                |     0.020 |     0.370 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        63 |        37 |       100 | 
                |     0.630 |     0.370 |           | 
----------------|-----------|-----------|-----------|

좌측 상단 셀은 TN 결과를 나타냄
100개의 값 중 61개는 종양이 양성이고, k-NN 알고리즘이 정확히 양성으로 식별한 경우
우측 하단 셀은 TP 결과를 나타냄
악성 종양을 정확히 악성 종양이라고 분류기가 맞춘 결과
좌측 하단은 FN, 우측 상단은 FP로 오류들임
종양 100개 중 2개를 잘못 분류
정확도가 높지만 오류가 FN이기 때문에 성능 향상이 필요

모델 성능 개선

수치 특징 재조정 후 다른 방법 사용
k에 몇 가지 다른 값을 시도

z-점수 표준화

scale() 사용
scale()은 데이터 프레임에 직접 적용 가능

wbcd_z <- as.data.frame(scale(wbcd[-1]))
summary(wbcd_z$area_mean)

> summary(wbcd_z$area_mean)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
-1.4532 -0.6666 -0.2949  0.0000  0.3632  5.2459

첫 번째 열의 diagnosis를 제외하고 모든 특징을 재조정
z-점수로 표준화된 변수의 평균은 항상 0, 범위는 상당히 작아야 함
3보다 크거나 -3보다 작은 z-점수는 매우 희소한 값을 나타냄

wbcd_train <- wbcd_z[1:469, ]
wbcd_test <- wbcd_z[470:569, ]
wbcd_train_label <- wbcd[1:469, 1]
wbcd_test_label <- wbcd[470:569, 1]
wbcd_test_pred <- knn(train=wbcd_train, test=wbcd_test,
                      cl=wbcd_train_label, k=21)
CrossTable(x=wbcd_test_label, y=wbcd_test_pred,
           prop.chisq=F)

> CrossTable(x=wbcd_test_label, y=wbcd_test_pred,
+            prop.chisq=F)

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        61 |         0 |        61 | 
                |     1.000 |     0.000 |     0.610 | 
                |     0.924 |     0.000 |           | 
                |     0.610 |     0.000 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         5 |        34 |        39 | 
                |     0.128 |     0.872 |     0.390 | 
                |     0.076 |     1.000 |           | 
                |     0.050 |     0.340 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        66 |        34 |       100 | 
                |     0.660 |     0.340 |           | 
----------------|-----------|-----------|-----------|

정확도 감소
FN이 증가하는 더 좋지 못한 결과를 얻음

k의 대체 값 테스트

k의 값을 1, 5, 11, 15, 21, 27로 변경하여 시도

# k 값 변화
k.val <- c(1, 5, 11, 15, 21, 27)
wbcd_n <- as.data.frame(lapply(wbcd[2:31], normalize))
wbcd_train <- wbcd_n[1:469, ]
wbcd_test <- wbcd_n[470:569, ]
wbcd_train_label <- wbcd[1:469, 1]
wbcd_test_label <- wbcd[470:569, 1]
for (i in k.val) {
  wbcd_test_pred <- knn(train=wbcd_train, test=wbcd_test,
                        cl=wbcd_train_label, k=i)
  print(CrossTable(x=wbcd_test_label, y=wbcd_test_pred,
             prop.chisq=F))
}

> for (i in k.val) {
+   wbcd_test_pred <- knn(train=wbcd_train, test=wbcd_test,
+                         cl=wbcd_train_label, k=i)
+   print(CrossTable(x=wbcd_test_label, y=wbcd_test_pred,
+              prop.chisq=F)$t)
+ }

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        59 |         2 |        61 | 
                |     0.967 |     0.033 |     0.610 | 
                |     0.952 |     0.053 |           | 
                |     0.590 |     0.020 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         3 |        36 |        39 | 
                |     0.077 |     0.923 |     0.390 | 
                |     0.048 |     0.947 |           | 
                |     0.030 |     0.360 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        62 |        38 |       100 | 
                |     0.620 |     0.380 |           | 
----------------|-----------|-----------|-----------|

 
           y
x           Benign Malignant
  Benign        59         2
  Malignant      3        36

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        60 |         1 |        61 | 
                |     0.984 |     0.016 |     0.610 | 
                |     0.968 |     0.026 |           | 
                |     0.600 |     0.010 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         2 |        37 |        39 | 
                |     0.051 |     0.949 |     0.390 | 
                |     0.032 |     0.974 |           | 
                |     0.020 |     0.370 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        62 |        38 |       100 | 
                |     0.620 |     0.380 |           | 
----------------|-----------|-----------|-----------|

 
           y
x           Benign Malignant
  Benign        60         1
  Malignant      2        37

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        60 |         1 |        61 | 
                |     0.984 |     0.016 |     0.610 | 
                |     0.952 |     0.027 |           | 
                |     0.600 |     0.010 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         3 |        36 |        39 | 
                |     0.077 |     0.923 |     0.390 | 
                |     0.048 |     0.973 |           | 
                |     0.030 |     0.360 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        63 |        37 |       100 | 
                |     0.630 |     0.370 |           | 
----------------|-----------|-----------|-----------|

 
           y
x           Benign Malignant
  Benign        60         1
  Malignant      3        36

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        61 |         0 |        61 | 
                |     1.000 |     0.000 |     0.610 | 
                |     0.953 |     0.000 |           | 
                |     0.610 |     0.000 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         3 |        36 |        39 | 
                |     0.077 |     0.923 |     0.390 | 
                |     0.047 |     1.000 |           | 
                |     0.030 |     0.360 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        64 |        36 |       100 | 
                |     0.640 |     0.360 |           | 
----------------|-----------|-----------|-----------|

 
           y
x           Benign Malignant
  Benign        61         0
  Malignant      3        36

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        61 |         0 |        61 | 
                |     1.000 |     0.000 |     0.610 | 
                |     0.924 |     0.000 |           | 
                |     0.610 |     0.000 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         5 |        34 |        39 | 
                |     0.128 |     0.872 |     0.390 | 
                |     0.076 |     1.000 |           | 
                |     0.050 |     0.340 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        66 |        34 |       100 | 
                |     0.660 |     0.340 |           | 
----------------|-----------|-----------|-----------|

 
           y
x           Benign Malignant
  Benign        61         0
  Malignant      5        34

 
   Cell Contents
|-------------------------|
|                       N |
|           N / Row Total |
|           N / Col Total |
|         N / Table Total |
|-------------------------|

 
Total Observations in Table:  100 

 
                | wbcd_test_pred 
wbcd_test_label |    Benign | Malignant | Row Total | 
----------------|-----------|-----------|-----------|
         Benign |        61 |         0 |        61 | 
                |     1.000 |     0.000 |     0.610 | 
                |     0.924 |     0.000 |           | 
                |     0.610 |     0.000 |           | 
----------------|-----------|-----------|-----------|
      Malignant |         5 |        34 |        39 | 
                |     0.128 |     0.872 |     0.390 | 
                |     0.076 |     1.000 |           | 
                |     0.050 |     0.340 |           | 
----------------|-----------|-----------|-----------|
   Column Total |        66 |        34 |       100 | 
                |     0.660 |     0.340 |           | 
----------------|-----------|-----------|-----------|

 
           y
x           Benign Malignant
  Benign        61         0
  Malignant      5        34

정리

k 값	FN	FP	에러율
1	3	2	5%
5	2	1	3%
11	3	1	4%
15	3	0	3%
21	5	0	5%
27	5	0	5%

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

220524.md

220524.md

최근접 이웃 분류의 이해

K-NN 알고리즘

거리로 유사도 측정

적절한 k 선택

k-NN 사용을 위한 데이터 준비

k-NN 알고리즘이 게으른 이유

예제: k-NN 알고리즘으로 암 진단

데이터 탐색

수치 데이터 정규화

데이터 준비

데이터로 모델 훈련

모델 성능 평가

모델 성능 개선

z-점수 표준화

k의 대체 값 테스트

Files

220524.md

Latest commit

History

220524.md

File metadata and controls

최근접 이웃 분류의 이해

K-NN 알고리즘

거리로 유사도 측정

적절한 k 선택

k-NN 사용을 위한 데이터 준비

k-NN 알고리즘이 게으른 이유

예제: k-NN 알고리즘으로 암 진단

데이터 탐색

수치 데이터 정규화

데이터 준비

데이터로 모델 훈련

모델 성능 평가

모델 성능 개선

z-점수 표준화

k의 대체 값 테스트