[혼공 머신러닝+딥러닝] 선형 회귀

k-최근접 이웃 회귀에는 치명적인 단점이 존재한다.

 

해당 모델은 50cm의 농어를 1.033g정도로 예측한다. (실제보다 훨씬 가볍게 예측)

 

산점도를 보면, 농어는 길이가 커질 수록 무게가 늘어난다. 

훈련 샘플에 있는 농어 중 가장 길이가 길었던 샘플이 45 정도이기 때문에 모델은 이 샘플들의 무게를 이용하여 길이 50cm인 농어의 무게를 예측한다. 이때, 45cm정도의 농어 샘플들의 평균이 바로 1.033g이다. 

 

즉, 농어가 아무리 커져도 모델은 1.033g으로 예측할 것이다. 

 

 

훈련 샘플에 포함되지 않은 범위의 데이터까지 예측할 수 있기 위해서 선형회귀 알고리즘을 사용할 수 있다.

1. 선형회귀

선형 회귀는 비교적 간단하고 성능이 뛰어나기 때문에 대표적인 머신러닝 알고리즘 중 하나이다. 

특성이 하나인 경우 어떤 직선을 학습하는 알고리즘이다. 

데이터의 특성을 잘 나타내는 직선을 머신러닝 알고리즘이 자동으로 찾아주는 것이다.

따라서 이 직선을 이용해 더욱 정확한 예측을 할 수 있다. 

 

(1) 선형회귀 모델이 예측한 50cm 농어의 무게

사이킷런에서는 skelearn.linear_model 패키지 아래에 LinearRegression 클래스로 선형회귀 알고리즘을 구현한다. 

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

#선형 회귀 모델을 훈련
lr.fit(train_input, train_target)

#50cm 농어에 대한 예측
print(lr.predict([[50]]))

 

[1241.83860323]로, k-최근접 이웃 회귀보다 더 정확하게 예측하였다. 

 

(2) 직선의 방정식

직선의 방정식 y = ax + b 에는 기울기(a)와 절편(b)이 존재해야 한다.

여기에 x를 특성인 농어의 길이, y를 타깃인 농어의 무게로 생각하면 된다. 

기울기와 절편은 LinearRegression 클래스가 해당 데이터를 입력받고, 알아서 찾아준다. 

이렇게 찾은 기울기와 절편은 lr 객체의 coef_와 intercept_ 속성에 저장된다. 

머신러닝에서의 기울기 = 계수 = 가중치 

coef_와 intercept_처럼 머신러닝 알고리즘이 찾은 값은 모델 파라미터라고 부른다. 

 

 

(3) 선형 회귀 모델 - 농어

선형 회귀 알고리즘이 농어 데이터셋에 대해 찾아낸 최적의 직선이다. 

 

하지만, 훈련 세트와 테스트 세트에 대한 R^ 점수를 확인해보면 테스트 세트에 대한 점수가 낮아 과소적합됨을 알 수 있다. 

또한, 위 그림을 보면 직선이기 때문에 언젠가 무게가 음수가 되는 경우도 발생할 수 있다는 것을 확인할 수 있다. 

 

 

2. 다항회귀

농어의 길이와 무게에 대한 산점도는 일직선이라기보다는 사실 곡선에 가깝다. 

따라서, 최적의 직선을 찾는 알고리즘 보다는 최적의 곡선을 찾는 알고리즘을 사용하면 더 좋을 것이다. 

 

 

(1) 2차 방정식 

이런 곡선은 2차 방정식을 가진다. (y = ax^ + bx + c)

이렇게 2차 방정식의 그래프를 그리기 위해서는 길이(x)를 제곱한 항이 훈련 세트에 추가되어야 한다. 

넘파이의 column_stack()함수를 이용하면 간단하게 추가할 수 있다. 

train_poly = np.column_stack((train_input ** 2, train_input))
test_poly = np.column_stack((test_input ** 2, test_input))

 

새롭게 만든 데이터셋에는 훈련 세트와 테스트 세트의 열이 모두 2개로 늘어났다. 

 

2차 방정식 그래프를 찾기 위해 훈련 세트에는 제곱항을 추가했지만, 타깃값은 그대로 사용함을 주목해야 함

(2) 훈련 및 예측 

lr = LinearRegression()
lr.fit (train_poly, train_target)

print(lr.predict([[50**2, 50]]))

 

 

이 모델은 50cm인 농어의 무게에 대해 [1573.98423528]g으로 예측하였다.

훈련한 계수(기울기)와 절편을 출력해보면 다음과 같다.

즉, 무게 = 1.01 * 길이^ - 21.6 * 길이 + 116.05 의 그래프를 그린 것이다. 

 

이렇게 다항식을 사용한 선형 회귀를 다항 회귀라고 부른다. 

이렇게 머신러닝은 훈련 세트에서 벗어난 특성에 대해서도 예측할 수 있다. 

 

+) 하지만 여전히 테스트 세트에 대한 점수가 약간 더 높은 것으로 보아 과소적합이 약간 있다. 즉, 더 복잡한 모델이 필요하다