[혼공 머신러닝+딥러닝] 훈련 세트와 테스트 세트

1. 지도학습과 비지도 학습

ex. 도미와 빙어를 구분하는 모델

• 입력: 데이터 (길이와 무게)
• 타깃: 정답 (생선의 종류)
• 즉, 타깃은 알아내야 하는 것이다. 
• 특성: 입력으로 사용되는 특징
  • 생선의 길이와 무게

 

• 지도 학습: 타깃이 있으므로, 즉 알고리즘이 정답을 맞추는 모델
• 비지도 학습: 타깃없이 입력 데이터만 활용. 데이터를 파악하기 쉽게 하거나 변형할 때 사용

---

2. 훈련 세트와 테스트 세트

• 훈련 세트: 훈련에 사용되는 데이터
• 테스트 세트: 평가에 사용되는 데이터

모델에 대해 정확하게 테스트하기 위해서는 훈련 데이터와 평가 데이터가 달라야 한다. 

(연습문제와 시험문제가 달라야 그 사람의 진짜 실력을 평가할 수 있음을 생각하자)

 

(1) 데이터 준비 및 k-최근접이웃 알고리즘 사용

#도미와 빙어 데이터셋 합치기
fish_length =[
    25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0
]

fish_weight = [
    242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0,
    700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0,
    955.0, 925.0, 975.0, 950.0, 6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9
]

#생선의 길이와 무제를 하나의 리스트로 담은 2차원 리스트 생성
fish_data = [[l,w] for l, w in zip(fish_length, fish_weight)]


#fish_data에 대한 레이블링 리스트 생성
fish_target = [1]*35 + [0]*20

print(fish_data)

#k-최근접이웃 알고리즘 사용을 위해 싸이킷런 패키지로부터 임포트
from sklearn.neighbors import KNeighborsClassifier

##k-최근접이웃 분류기 선언
kn = KNeighborsClassifier()

 

 

(2) 훈련세트와 테스트 세트 나누기

 

이때, 하나의 생선 데이터를 샘플이라고 부른다.

도미와 빙어가 각각 35마리, 14마리 있으므로 전체 데이터는 49개의 샘플로 이루어져있다. 

처음 35개의 세트를 훈련 세트로, 나머지 14개를 테스트 세트로 활용하도록 한다. 

// 이렇게 나누면 결국 문제가 발생한다. 자세한 이야기는 밑에서

 

#훈련세트로 입력값 중 0부터 34번째 인덱스까지 사용
train_input = fish_data[:35]

#훈련 세트로 타깃값 중 0부터 34번째 인덱스까지 사용
train_target = fish_target[:35]

#테스트 세트로 입력값 중 35번째부터 마지막 인덱스(49)까지 사용
test_input = fish_data[35:]

#테스트 세트로 타깃값 중 35번째부터 마지막 인덱스(49)까지 사용
test_target = fish_target[35:]

---

파이썬 리스트의 슬라이싱 (:)

 

---

 

(3) 훈련 및 테스트 

 

이렇게 준비한 훈련 세트(train_)와 테스트 세트(test_)로 훈련(fit())과 테스트(score())을 진행해본다.

정확도를 확인해본 결과 0이 나온다.

 

 

그 이유는, 훈련세트와 테스트 세트로 나누는 과정에서 훈련세트로 35개를 쓰고 나머지 14개를 테스트 세트로 쓰게 되어 훈련세트에는 도미 샘플만 들어가고, 테스트 세트에는 빙어 샘플만 들어가기 때문이다. 

 

이렇게 훈련 세트와 테스트 세트에 샘플이 골고루 섞여있지 않는 것을 샘플링이 한 쪽으로 치우쳤다는 의미로 샘플링 편향이라고 한다.

 

따라서, 훈련세트에도 도미와 빙어 샘플이 적절히 섞여있고

테스트 세트에도 도미와 빙어 샘플이 적절히 섞여있도록 수정해야 한다. 

 

---

numpy (넘파이) 라이브러리

: 파이썬의 대표적인 배열 라이브러리

  

리스트는 2차원 표현에 한정되지만, 넘파이는 다차원을 지원한다. 

 

또한, 배열의 차원을 구분하기 쉽도록 행과 열을 가지런히 출력해준다. 

배열의 shape 속성은 배열의 개수와 원소의 수를 알려준다. 

 

---

 

(4) 적절하게 훈련 세트와 테스트 세트 나누기

 

생선 데이터를 넘파이 배열로 준비한 뒤 이 배열에서 랜덤하게 샘플을 선택해 훈련 세트와 테스트 세트를 만든다. 

이때, 배열을 섞은 후에 나누는 방식을 사용할 수 있지만 여기에서는 무작위로 샘플을 고르는 방식으로 진행한다. 

 

주의해야 할 것은 input_arr과 target_arr에서 같은 위치는 함께 선택되어야 한다는 것이다. 

(input_arr의 두번째 값은 훈련 세트로 가고, target_arr의 두번째 값은 테스트 세트로 가면 안된다. 둘은 짝꿍이니까..)

 

따라서 배열에 인덱스를 생성하여 이를 무작위로 섞는 방식을 통해 훈련세트와 테스트 세트를 적절하게 만들어줄 것이다.

 

넘파이 arrange()함수는 정수 N을 전달하면 0에서부터 N-1까지 1씩 증가하는 배열을 만든다. 

따라서  넘파이 arrange()함수에 49를 전달하여 0에서부터 48까지 1씩 증가하도록 만들어준다. 

 

그 이후 인덱스를 랜덤하게 섞어준다. 

 

 

 

(5) 개선된 머신러닝 프로그램  만들기

 

이렇게 만든 0~48로 이루어진 무작위 배열 index를 통해 훈련세트와 테스트 세트를 분리해준다.

 

 

 

(6) 산점도 그려보기

 

훈련 세트(파랑)와 테스트 세트(주황)의 산점도를 그려보면,

빙어 데이터와 도미 데이터가 적절하게 섞여있다는 것을 알 수 있다. 

 

 

 

(7) 재훈련 및 테스트

 

재훈련 후 테스트를 해보면 1.0이 나온다. (100%의 정확도를 보인다.)

 

 

(8) 예측 결과와 실제 타깃 확인해보기 - predict()

 

확인 결과 예측 결과와 실제 타깃의 정보가 동일하다는 것을 확인할 수 있었다. 

이때, predict()의 결과 값이 test_target 의 출력과 동일하게 array()로 감싸져 있는 것을 확인할 수 있다.

이는 넘파이 배열을 의미하는데, 사실 싸이킷런의 입력과 출력음 모두 넘파이 배열이다.

 

이처럼 넘파이는 많은 파이썬 과학 라이브러리에서 사용하는 표준 데이터이다.