[혼공 머신러닝+딥러닝] 데이터 전처리

1. 데이터 전처리 

(1) 넘파이로 데이터 준비하기 

- 먼저 간단하게 도미와 빙어의 길이와 무게에 대한 리스트를 생성해준다. 

#도미와 빙어 데이터셋 합치기
fish_length =[
    25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0
]

fish_weight = [
    242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0,
    700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0,
    955.0, 925.0, 975.0, 950.0, 6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9
]

 

- 이전에는 위의 리스트를 for문으로 순회하면서 2차원 리스트를 생성했지만, 넘파이 라이브러리의 column_stack() 함수를 활용하면 더욱 간편하게 만들 수 있다,

###이전에 활용하던 방법 (for문 활용)
#생선의 길이와 무제를 하나의 리스트로 담은 2차원 리스트 생성
fish_data = [[l,w] for l, w in zip(fish_length, fish_weight)]

#타겟 리스트 생성
fish_target = [1]*35 + [0]*14

---

column_stack()

 

넘파이의 column_stack() 함수는 전달받은 리스트를 일렬로 세운 다음 차례대로 나란히 연결한다.

예를 들어, 다음의 2개의 리스트를 나란히 붙였을 떄, 연결할 리스트는 튜플로 전달한다. 

 

---

 

이렇게 fish_length와 fish_weight을 합친 것을 확인할 수 있다.

처음 5개의 리스트를 출력해보면 제대로 연결이 된 것을 화인할 수 있다.

 

 

다음으로는 타깃 데이터를 넘파이 라이브러리의 np.ones() 함수와 np.zeros() 함수를 이용하여 만들 것이다. 

 

 

---

 

np.ones() 와 np.zeros()

 

이 두 함수는 각각 원하는 개수의 1과 0을 채운 배열을 만들어준다. 

 

 

 

np.concentrate()

 

 

첫 번째 차원을 따라 배열을 연결해준다

---

 

이렇게 1이 35개, 0이 14개가 순서대로 있는 타깃 데이터를 생성하였다.

 

 

 

(2) 사이킷런으로 훈련 세트와 테스트 세트 나누기 

사이킷런은 머신러닝 모델을 위한 알고리즘뿐만 아니라 다양한 유틸리티 도구도 제공한다.

대표적으로 사이킷런의 train_test_split() 함수가 있다.

 

---

train_test_split()

 

전달되는 리스트나 배열을 비율에 맞게 훈련 세트와 테스트 세트로 섞어서 나누어준다. 

train_test_split() 하수는 model_selection 모듈 아래에 있기 때문에 아래와 같이 import 해준다.

이후 나누고 싶은 리스트나 배열을 원하는 만큼 전달하면 된다. 

ex. train_test_split (나누고 싶은 리스트1, 나누고 싶은 리스트2)

 

from sklearn.model_selection import train_test_split

---

 

train_test_split() 함수를 통해 훈련 세트와 테스트 세트를 나누어준다. 

이전에 np.random.seed() 함수를 이용하여 데이터를 무작위로 섞고, 원하는 결과가 나오도록 하였다. 

train_test_split() 함수는 random_state 매개변수를 이용하여 랜덤 시드를 지정할 수 있다. 

 

 

 

train_test_split() 함수는 기본적으로 25%를 테스트 세트로 활용한다. 

배열의 크기를 알려주는 shape 속성을 통해 확인해보면, 

49개의 데이터 중 36개의 데이터를 훈련 데이터로, 13개(약 25%)를 테스트 데이터로 활용했음을 알 수 있다. 

 

 

 테스트 데이터를 출력해보면, 13개의 테스트 세트 중에 10개가 도미(1)이고, 3개가 빙어(0)이다.

빙어의 비율이 조금 모자라다. 원래 도미와 빙어의 개수가 35개와 14개이므로, 두 생선의 비율이 2.5:1이다.

하지만, 테스트 세트에서의 도미와 빙어의 비율은 3.3:1 이다. 

샘플링 편향이 나타난 것이다. (도미의 비율이 큼)

 

 

 

이렇게 무작위로 나누었을 때 샘플이 골고루 섞이지 않을 수 있다.

//특히 일부 클래스(종류)의 개수가 적을 때 이런일이 생길 수 있다. 

 

train_test_split() 함수는 이러한 문제를 stratify 매개변수에 타깃 데이터를 전달하여 클래스 비율에 맞게 데이터를 나눔으로써 해결한다. 

 

 

 

빙어가 하나 늘어, 테스트 세트의 비율이 2.25:1이 되었다.

드디어 전체 훈련 데이터의 비율과 비슷한 비율이 되었다. 

 

 

(3) 수상한 도미 한 마리 (k-최근접 이웃 알고리즘)

- k-최근접 이웃 활용

• fit - 훈련: train_
• score-  테스트: test_

 

 

새로운 도미 데이터로 결과를 확인해보기 

-> 빙어(0)으로 예측

 

 

 

새로운 샘플 데이터를 다른 데이터와 함께 산점도로 그려본다.

산점도를 보면, 해당 데이터는 오른쪽 위의 도미데이터와 가깝게 보인다.

하지만 머신러닝 모델은 빙어라고 예측하였다. 

 

 

 

k-최근접 이웃은 주변의 샘플 중에서 다수인 클래스로 예측한다.

이 샘플의 주변 샘플을 확인해보기 위해, KneighborsClassifier 클래스에서 주어진 샘플 중 가장 가까운 이웃을 찾아주는 kneighbors() 메서드를 활용한다. 

---

kneighbors()

 

• distances: 찾은 이웃들과 입력 데이터 포인트 사이의 거리를 저장하는 배열 또는 리스트. 이 배열은 가장 가까운 이웃부터 먼 이웃 순서대로 거리를 포함하게 됩니다.
• indexes: 가장 가까운 이웃들의 인덱스를 저장하는 배열 또는 리스트. 이 배열은 가장 가까운 이웃부터 먼 이웃 순서대로 인덱스를 포함하게 됩니다. 이 인덱스는 원본 데이터 세트에서 가장 가까운 이웃들을 식별하는 데 사용될 수 있습니다.
• kneighbors() 메서드는 기본적으로 5개의 이웃을 반환해준다.

---

 

indexes 배열을 통해 훈련 데이터 중에서 이웃 샘플을 따로 구분하여 그린다. 

그 결과, 가장 가까운 이웃에 도미가 하나밖에 포함되지 않으며 나머지 4개의 샘플은 빙어가 나왔다. 

 

 

 

실제로 데이트를 직접 확인해보면, train_input의 가장 가까운 데이터는 빙어이다.

 

 

 

타깃 데이터로 확인해보면 확실히 빙어(0)인 것을 알 수 있다. 

 

 

 

산점도에서는 직관적으로 도미와 가깝게 보이는 왜 가장 가까운 이웃이 빙어가 된 것일까?

kneighbors() 메서드에서 반환한 distances 배열을 출력하여 샘플까지의 거리를 확인해본다.

 

 

 

(4) 기준을 맞춰라

산점도를 다시 한 번 보면, 가장 가까운 샘플까지의 거리는 92이고, 그외 가장 가까운 샘플들은 모두 distance가 130 이상이다.

이처럼 산점도에서 눈에 보이는 길이와 실제 거리가 다르게 보이는 이유는 x축의 범위가 좁고(10~40) , y축은 범위(0~1000) 가 넓기 때문이다. 따라서 y축으로 조금만 멀어져도 거리가 아주 큰 값으로 계산되는 것이다. 

 

 

 

이를 눈으로 확인하기 위해 산점도의 x축과 y축의 범위를 동일하게 맞춰볼 수 있다.

산점도의 범위는 xlim(), ylim() 함수를 활용한다. 

xlim() 함수를 통해 x축의 범위를 y축과 동일하게 0부터 1000으로 맞추면 일직선으로 나타나는 산점도를 확인할 수 있다.

이렇게 되면, 가장 가까운 이웃을 찾는데에는 y축만이 영향을 주게 된다. 

 

 

 

이렇게 두 특성이 값이 놓인 범위가 매우 다를 때, 이를 두 특성의 스케일이 다르다고 말한다. 

(어떤 사람이 방의 넓이를 재는데 세로는 cm로 재고, 가로는 inch로 잰디면 정사각형 방도 직사각형으로 보일 수 있다.)

 

데이터를 표현하는 기준이 다르다면 알고리즘이 올바르게 예측할 수 없다.

알고리즘이 거리 기반일 때 더욱 그렇다. (k-최근접 이웃)

 

따라서, 제대로 샘플을 활용하기 위해서는 특성값을 일정한 기준으로 맞추어야 한다. 

이 작업을 바로 데이터 전처리라고 부른다. 

 

가장 널리 활용하는 전처리 기법 중 하나가 표준 점수(z점수)이다. 

 

표준점수는 데이터에서 평균을 빼고 표준편차를 나누어주면 된다. 

넘파이는 이 두 함수를 모두 제공한다.

• np.mean(): 평균 계산
• np.std(): 표준편차 계산 
• axis=0은 열을 따라 연산을 수행하거나 결과를 반환한다.
• axis=1은 행을 따라 연산을 수행하거나 결과를 반환한다.

 

 

 

넘파이는 train_input의 모든 행에서 mean에 있는 두 평균값을 뺴준다.

그 다음 std에 있는 두 표준편차를 다시 모든 행에 적용한다.

 

이런 넘파이 기능을 브로드캐스팅이라고 부른다.

 

train_scaled = (train_input - mean) / std

 

 

(5) 전처리 데이터로 모델 훈련하기

산점도로 그려보면 오른쪽 맨 꼭대기에 도미 샘플이 덩그러니 떨어져있다.

훈련세트를 mean으로 빼고 std로 나누어주면서 값의 범위가 크게 달라진 것이다. 

 

 

 

따라서, 새로운 도미 샘플 또한 훈련세트의 mean, std를 이용해서 변환해야 한다. 

(샘플 하나만으로는 평균과 표준편차를 구할 수도 없음)

 

산점도를 확인해보면, 처음 보았던 산점도와 비슷하게 나온다.

 

 

 

scale을 맞춘 자료를 이용하여 다시 k-최근접 이웃 모델을 훈련하고 평가한다.

훈련을 마친 뒤 테스트 세트로 평가할 때에는, 도미 샘플을 훈련 세트의 평균과 표준편차로 변환한 것처럼 테스트 세트 또한 훈련세트의 평균과 표준편차로 변환해야 한다.

테스트 결과 모든 테스트 샘플을 완벽하게 분류해낸 것을 확인할 수 있다. 

 

(즉, 훈련 세트의 데이터 전처리 과정 이후 이 모델을 활용하기 위해서는 새로운 샘플과 테스트 세트 또한 같은 전처리 과정을 거쳐야 함)

 

 

 

도미 샘플로 다시 확인해보면, 해당 샘플을 도미(1)로 제대로 예측하는 것을 확인할 수 있다. 

 

 

 

kneighbors() 함수로 k-최근접 이웃을 구한 다음 산점도로 그려보면, 가장 가까운 이웃을 더 올바르게 구할 수 있도록 바뀐 것을 확인할 수 있다.