[혼공 머신러닝+딥러닝] 마켓과 머신러닝

0. 생성 분류 문제 (시나리오)

시나리오: 한빛 마켓에서 생선을 파는데, 직원이 생선 구분을 못한다

따라서, 머신러닝을 이용해 생선의 특성을 통해 생선의 이름을 알려주는 머신러닝을 만들어야 한다. 

한빛마켓에서 팔기 시작한 생선은 도미 등이 있다. 

 

데이터셋 출처: https://github.com/Ankit152/Fish-Market 

(책에서는 캐글이었는데, 현재 삭제된 것으로 보임)

 

생선을 분류하는 일이니 생선의 특징을 통해 쉽게 구분할 수 있을 것이다. 

생선에 대해 잘 아는 김팀장이 생선길이가 30cm이상이면 도미라고 알려주었다. 

하지만, 30cm이상인 모든 생선이 도미는 아니다. 

 

이 문제를 머신러닝으로 어떻게 해결할 수 있을까?

 

보통 프로그래밍된 프로그램은 '누군가 정해준 기준대로' 일을 한다.

하지만 머신러닝은 스스로 기준을 찾아서 일을 한다. 

 

예를 들어, 한빛 마켓에 들어오는 생선 중 30~40cm 길이인 생선은 도미라는 기준을 머신러닝을 스스로 찾을 수 있다는 것이다. 

 

또한, 이렇게 스스로 찾은 기준으로 생선을 구분해낼 수도 있다. 

 

머신러닝에서 이렇게 여러 개의 종류(클래스)를 구분해내는 것을 분류라고 한다.

이때, 클래스는 종류라는 의미로 프로그래밍에서 흔히 쓰이는 클래스와는 다른 의미임을 기억하자

 

2개의 클래스 중 하나를 고르는 문제는 이진 분류라고 한다. 

---

1. 도미 분포 산점도로 출력하기 

도미에 대한 정보(데이터)를 리스트 형식으로 준비한다. 

 

(1) 도미 데이터 준비 및 산점도 출력 

#도미 데이터(도미의 길이와 무게) 준비
bream_length = [25.4 ,26.3 ,26.5 ,29.0 ,29.0 ,29.7 ,29.7 ,30.0 ,30.0 ,30.7 ,31.0 ,31.0 ,31.5 ,32.0 ,32.0 ,32.0 ,33.0 ,33.0 ,33.5 ,33.5 ,34.0 ,34.0 ,34.5 ,35.0 ,35.0 ,35.0 ,35.0 ,36.0 ,36.0 ,37.0 ,38.5 ,38.5 ,39.5 ,41.0 ,41.0 ]

bream_weight = [242.0 ,290.0 ,340.0 ,363.0 ,430.0 ,450.0 ,500.0 ,390.0 ,450.0 ,500.0 ,475.0 ,500.0 ,500.0 ,340.0 ,600.0 ,600.0 ,700.0 ,700.0 ,610.0 ,650.0 ,575.0 ,685.0 ,620.0 ,680.0 ,700.0 ,725.0 ,720.0 ,714.0 ,850.0 ,1000.0 ,920.0 ,955.0 ,925.0 ,975.0 ,950.0]

 

 

(2) 빙어 데이터 준비 및 산점도 출력 

#빙어 데이터(빙어의 길이와 무게) 준비
smelt_length =[9.8 ,10.5 ,10.6 ,11.0 ,11.2 ,11.3 ,11.8 ,11.8 ,12.0 ,12.2 ,12.4 ,13.0 ,14.3 ,15.0 ]
smelt_weight = [6.7 ,7.5 ,7.0 ,9.7 ,9.8 ,8.7 ,10.0 ,9.9 ,9.8 ,12.2 ,13.4 ,12.2 ,19.7 ,19.9 ]

 

- 이번에는 빙어와 도미의 데이터를 산점도에 함께 출력해본다. 

 

색깔로 구분되어 나옴

 

산점도를 보면 축의 값이 달라서 표가 이전과는 형태가 조금 다르게 나온 것을 확인할 수 있다.
도미는 무게가 1000까지 나오기 때문인데, 이런 데이터는  분류하기 좋은 데이터라고 할 수 있다.

(왼쪽이면 빙어, 오른쪽이면 도미라고 판단할 수 있기 때문)

 

---

2. 첫 번째 머신러닝 프로그램 

- k 최근접 이웃 알고리즘

: 어떤 데이터에 대한 답을 구할 때, 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 함 

 

길이와 무게를 보고 도미인지 빙어인지 구분하는 머신러닝 프로그램을 만들 것이다. 

 

이 책에서 사용하는 머신러닝 패키지는 사이킷런이다. 

사이킷런을 사용하기 위해서는 각 특성의 리스트를 2차원 리스트로 만들어주어야 한다. 

 

(1) 특성 2차원 리스트 생성 

#데이터셋 통합 (도미+방어)
length = bream_length + smelt_length
weight = bream_weight + smelt_weight

print(length)
print(weight)

#점으로 찍기 위해 (x,y) 추출 - fish_data
#길이, 무게 형태의 2차원 배열이 됨
fish_data = [[l,w] for l,w in zip(length, weight)]

print(fish_data)

 

zip함수를 통해 fish_data은 [ [l1, w1], [l2, w2],[l3, w3],...[l49, w49]] 형태의 2차원 배열이 된다.

 

---

zip()함수 참고 자료

파이썬의 zip() 내장 함수로 데이터 엮기

---

 

(2) 정답 데이터 준비 

 

생선 49개의 길이와 무게를 모두 준비했으면, 이제는 정답 데이터를 준비해야 한다. 

 

이 머신러닝은 길이와 무게를 보고 어떤 생선이 도미인지 빙어인지 구분해야 한다. 

그러기 위해서는 어떤 생선이 도미인지 빙어인지 알려주어야 한다. 

도미와 빙어를 숫자를 통해 알려준다. 도미 - 1, 빙어 - 0

 

(보통 머신러닝에서는 이진분류에서 찾으려는 대상을 1로 놓고, 그 외에는 0으로 놓는다.)

 

#각 요소에 대해서 도미와 빙어로 라벨링하는 리스트 생성 - fish_target
#앞에는 쭉 도미(1)이고, 뒤에는 쭉 빙어(0)다
fish_target = [1]*35+[0]*14

print(fish_target)

 

즉, fish_data에는 특징 리스트가 순서대로 있고, fish_target에는 생선 이름 리스트가 순서대로 있다. 

 

이제 사이킷런 패키지에서 k-최근접 이웃 알고리즘을 구현한 클래스인 KNeighborClassifer을 import해준다. 

 

 

(3) KNeighborClassifer 임포트 

#k-최근접이웃 알고리즘 사용을 위해 싸이킷런 패키지로부터 임포트
from sklearn.neighbors import KNeighborsClassifier

#KNeighborsClassifer 클래스의 객체 생성
kn = KNeighborsClassifier()

 

(4) 훈련 및 평가

 

이 객체(kn)에 fish_data와 fist_target을 전달하여 도미를 찾기 위한 기준을 학습시킨다. 

이런 과정을 훈련이라고 부른다. 

• fit()은 머신러닝의 훈련 메소드
  • fit() 메서드는 주어진 데이터로 알고리즘을 훈련한다. 
• score()는 평가 메소드
  • score() 메서드는 모델을 평가하는 메서드이며, 0에서 1사이의 값을 반환한다. 1은 모든 데이터를 정확히 맞혔다는 것을 의미한다. (정확도 확인)

#kn모델에 요소(fish_data)와 레이블(fish_target)을 지정하여 훈련함
kn.fit(fish_data, fish_target)

#kn모델에 요소(fish_data)와 레이블(fish_target)을 지정하여 평가함
kn.score(fish_data,fish_target)

 

정확도 = 1

---

3. k-최근접 이웃 알고리즘

k- 최근접 이웃 알고리즘: 어떤 데이터에 대한 답을 구할 때, 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 함 

 

예를 들어, 삼각형으로 표시된 새로운 데이터(길이: 30, 무게:600)가 있다고 가정할 떄, 이 삼각형에서 가까운 데이터들이 도미 데이터이기 때문에 이 머신러닝은 도미라고 판단한다. 

 

 

predict() 메서드는 새로운 데이터의 정답을 예측한다. 

이 메서드도 fit()과 마찬가지로 2차리스트를 전달해야 한다. 

 

 

확인 결과, 실제로 array[1] 즉, 도미(1)라고 예측하는 것을 확인할 수 있다. 

 

k-최근접 이웃 알고리즘을 위해 준비해야 할 일은 데이터를 모두 가지고 있는 것이다. 

새로운 데이터에 대해 예측할 때는 가장 가까운 직선거리에 어떤 데이터가 있는지를 살피면 된다. 

 

단, k-최근접 이웃 알고리즘은 이런 특징 때문에 데이터가 아주 많은 경우에는 사용이 어렵다.

많은 데이터에 따라 메모리가 많이 필요하고 직선거리를 계산하는데에도 많은 시간이 필요하기 때문이다.

 

사이킷런의 KNeighborsClassifier 클래스의 경우, fix_X 속성에 우리가 전달한 fish_data를 모두 가지고 있다.

_y 속성에는 fish_target을 가지고 있다. 

#모델에 학습된 데이터값
print(kn._fit_X)

#모델에 학습된 레이블 값
print(kn._y)

##모든 데이터셋 개수인 49개만큼 가까운 데이터를 참고하는 모델 생성
kn49 = KNeighborsClassifier(n_neighbors=49)

##모델 학습 및 평가(정확도 출력)
kn49.fit(fish_data, fish_target)
kn49.score(fish_data, fish_target)


#도미 35개에 대해서만 정확히 맞추기 때문에 35/49와 같은 정확도를 보임
print(35/49)

kn49.predict([[15,80]]) #무조건 도미 나옴

 

따라서, 실제로 k-최근접 이웃알고리즘은 실제로 무언가 훈련되는 것은 없는 셈이다. 

단지, fit() 메서드에 전달한 데이터를 모두 저장하고 있다가 새로운 데이터가 등장하면 가장 가까운 데이터를 참고할 뿐이다. 

 

이때, 가장 가까운 몇개의 데이터를 참고할지는 우리가 임의로 정할 수 있다. (기본값: 5)

 

 

가장 가까운 데이터 49개를 이용하는 모델에 fish_data를 적용하면 어떤 데이터가 되었든 모든 생선을 이용하여 예측하게 된다. 이때, 49개 중 도미가 35개로 더 많기 때문에 이 경우에는 무조건 도미로 예측된다.

 

 

따라서 해당 모델을 정확하지 않기 때문에 n_neighbors 값을 다른 값(ex. 5) 로 두는 것이 적절할 것이다.