[혼공 머신러닝+딥러닝] k-최근접 이웃 회귀

1. k-최근접 이웃 회귀 알고리즘 

지도 학습은 크게 분류와 회귀로 나뉜다. 

회귀는 클래스 중 하나로 분류하는 것이 아니라 임의의 어떤 숫자를 예측하는 문제이다.

 

이전에 다뤘던 k-최근접 이웃 분류 알고리즘은 예측하려는 샘플에 가장 가까운 샘플 k개를 선택한다.

그 다음 샘플들의 클래스를 확인하여 다수를 차지하는 샘플들의 클래스로 예측한다. 

 

k- 최근접 이웃 회귀 또한 분류와 똑같이 예측하려는 샘플에 가장 가까운 샘플 k개를 선택한다.

하지만 회귀이므로 이웃한 샘플의 타깃은 어떤 클래스가 아니라 수치이다. 

따라서, 이웃 샘플들의 수치를 이용하여 이들의 평균을 구해 새로운 샘플(예측하려는 샘플)의 타깃을 예측한다.

 

(1) 데이터 준비

#데이터 준비 (농어의 길이와 무게 데이터)
#특성=길이, 타깃=무게
import numpy as np

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
       44.0])
perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

 

 

데이터의 형태를 파악해보기 위해 산점도를 그려본다. 

import matplotlib.pyplot as plt

plt.scatter(perch_length, perch_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()

#길이가 커짐에 따라 무게도 늘어남

 

길이가 커짐에 따라 무게가 늘어나는 것을 확인할 수 있다.

 

다음으로는, 사이킷런의 train_test_split()함수를 사용하여 훈련 세트와 테스트 세트로 나눈다. 

(random_state = 42)

perch_length는 1차원 배열이다.

하지만, 사이킷런에서 사용할 훈련세트는 2차원 배열이어야 하기 때문에 배열의 크기를 바꿔주는 reshape() 함수를 사용한다.

train_input = train_input.reshape(-1,1)
test_input = test_input.reshape(-1,1)
print(train_input.shape)
#(42, 1) (14, 1)

 

 

(2) 결정계수(R^)

사이킷런에서 k-최근접 이웃 회귀 알고리즘을 구현한 클래스는 KNeighborsRegressor이다.

클래스의 사용법 자체는 k-최근접 이웃 알고리즘과 매우 비슷하다.

객체를 생성하고 fit()메서드를 통해 훈련시켜주면 된다.

from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor()

knr.fit(train_input, train_target)

 

다음으로 테스트 세트의 점수를 확인해본다.

print(knr.score(test_input, test_target))
#0.992809406101064

 

테스트 결과 매우 좋은 점수가 나왔다.

이 점수가 바로 결정계수이다.

분류의 경우, 테스트 세트에 있는 샘플을 정확하게 분류한 개수의 비율이 점수로 계산되었다.

하지만 회귀의 경우 타깃이 수치이므로 정확한 값을 맞힌다는 것은 불가능하다.

따라서, 평가를 할 때 결정 계수로 평가한다.

결정계수 = 1 - (타깃 = 예측)^의 합 / (타깃-평균)^의 합 

 

각 샘플의 타깃과 예특한 값의 차이를 제곱하여 더한다.

그 다음 타깃과 타깃 평균의 차이를 제곱하여 더한 값으로 나눈다. 

만약 타깃의 평균 정도를 예특하는 수준이라면 (즉, 분자와 분모가 가까워지면) R^(=결정계수)는 0에 가까워지고, 예측이 타깃에 가까워지면 (분자가 -으로 가까워짐) 1에 가까운 값이 된다.

 

결정계수가 매우 좋게 나왔는데, 이것이 정확한 결과인지 확인해보기 위해, mean_absolute_error를 사용하여 타깃과 예측의 오차를 평균하여 반환한다. 

from sklearn.metrics import mean_absolute_error

#테스트 세트데 대한 예측 생성
test_prediction = knr.predict(test_input)

#테스트 세트에 대한 평균 절대값 오차를 계산
mae = mean_absolute_error(test_target, test_prediction)
print(mae)

 

결과에 따르면, 예측이 평균적으로 19g 정도 타깃값과 다르다. 

 

2. 과대적합 vs 과소적합 

지금까지는 훈련세트를 사용하여 모델을 훈련하고 테스트 세트로 모델을 평가하였다.

 

그렇다면 훈련세트를 사용하여 평가해보면 어떨까?

즉, score() 메서드에 훈련세트를 전달하여 점수를 출력해보는 것이다.

print(knr.score(train_input, train_target))
#0.9698823289099254

 

보통 훈련에 사용한 훈련 세트를 사용하여 테스트를 진행하면 점수가 더 높게 나올 것이라고 예상하지만, 예상과 다른 결과가 나온다.

 

과대적합 = 훈련 세트에서 점수가 좋았지만, 테스트 세트에서는 점수가 굉장히 나쁜 경우 

즉, 훈련 세트에만 적절한 모델이라는 것 (실전 샘플에 대한 예측도가 매우 떨어짐)

 

과소적합 = 훈련 세트보다 테스트 세트의 점수가 더 높거나 두 점수 모두 너무 낮은 경우

즉, 모델이 너무 단순하여 훈련 세트에 적절히 훈련되지 않은 것이다. (그냥 제대로 훈련되지 않았다는 것)

 

//훈련 세트와 테스트 세트의 점수를 비교하였을 때 훈련 세트가 너무 높으면 과대적합, 반대거나 점수가 둘 다 낮으면 과소적합이다.

 

따라서, 현재 우리가 만든 모델은 훈련 세트의 점수가 더 낮으므로 과소적합이다. 

 

이럴 때에는 모델을 조금 더 복잡하게 만들면 해결된다. 

k-최근접 이웃 알고리즘으로 모델을 더 복잡하게 만들기 위해서는 이웃의 개수 k를 줄이면 된다. 

k를 줄이면 훈련 세트에 있는 더 작은 부위의 이웃값들의 평군들을 구할 것이고 그렇게 되면 더욱 민감한 데이터(어쩌면 정확도가 더 높은?)가 만들어질 것이기 때문이다.

반대로 이웃 k의 개수를 늘리면 모델은 더욱 넓은 범위의 이웃값들의 평균을 구할 것이므로 더울 일반적인 데이터(정확도가 떨어질 수 있는)를 만들 것이다. 

 

따라서 k의 값을 5에서 3으로 줄여 재훈련하고, 테스트 세트의 점수를 확인해보면 과소적합을 해결한 것을 알 수 있다.