데이터 분포가 직선 형태인 선형관계일 때 사이킷런의 선형회귀 모형인 LinearRegression 클래스는 매우 정확한 예측력을 갖습니다. (이전 포스팅 참조)

만약에, 데이터 분포가 복잡하여 이런 선형관계를 인식하지 못한 상태에서도 머신러닝 또는 딥러닝 학습을 통해 선형관계라는 것을 찾아낼 수 있을까요?  

우리가 머신러닝 또는 딥러닝 알고리즘을 데이터 분석에 기반한 예측에 활용하는 이유가 여기에 있습니다. 데이터 갯수가 많거나 분포가 복잡할 수록 인간의 인지능력으로 어떤 패턴을 인식하는 것은 어렵습니다. 하지만, 머신러닝 또는 딥러닝 알고리즘을 잘 활용하면, 복잡하거나 잘 드러나지 않는 패턴을 찾을 수가 있습니다. 

앞의 예제에서 사용한 데이터셋을 가지고, 딥러닝 알고리즘을 적용해보겠습니다. 

텐서플로우(케라스) 불러오기

구글 코랩은 텐서플로우(tensorflow) 2.0을 지원하기 때문에, 따로 설치하지 않아도 사용할 수 있습니다. 케라스(kears)도 통합되어 지원됩니다. 다음과 같이 케라스 모듈을 불러옵니다.

>>> from tensorflow import keras
>>> from tensorflow.keras.layers import Dense

딥러닝 모델 객체 정의하기

Sequential 클래스 함수를 사용하여 신경망 객체를 생성합니다. 여러 층의 레이어를 순차적으로 연결하는 형태의 심층신경망(DNN)을 구성할 때 사용합니다. 완전연결층 Dense 레이어를 add 명령을 사용하여 추가합니다. units=1 인자는 목표변수(타겟 레이블)의 출력 데이터가 1가지 종류라는 뜻입니다. 회귀 문제는 하나의 단일 값을 예측하기 때문에 1로 지정합니다. input_shape=(1,) 옵션은 입력 데이터인 설명변수(x 변수)의 데이터 구조를 지정합니다. 여기서는 1개의 열, 즉 입력 변수인 x가 1개라는 뜻입니다.

compile 명령을 사용하여, 옵티마이저 함수와 로스 함수를 정의합니다. 로스 함수는 예측값의 오차를 측정하는 기준이 되고, 옵티마이저 함수는 오차를 줄이는데 사용하는 최적화 알고리즘입니다. 자세한 설명은 나중에 다루기로 하고 일단 넘어가겠습니다.

최종적으로, 1개의 레이어를 갖는 간단한 신경망 모델이 완성되었습니다.

>>> dnn = keras.Sequential()
>>> dnn.add(Dense(units=1, input_shape=(1,)))
>>> dnn.compile(optimizer='sgd', loss='mse')

summary 명령을 사용하여 인공신경망의 구조를 출력해서 확인할 수 있습니다. 입력 변수인 x 변수가 1개이므로, x 변수의 계수와 상수항(일차함수식의 y=ax + b를 생각하자)까지 2개의 파라미터가 있습니다.

>>> dnn.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)   Output Shape    Param #
=================================================================
dense (Dense)   (None, 1)        2
=================================================================
Total params: 2
Trainable params: 2
Non-trainable params: 0
_________________________________________________________________

주어진 데이터로 모델 학습시키기

학습을 위한 설명변수 데이터(x_new)와 목표값인 타겟 레이블 데이터(y)를 신경망 모델에 주입하고 학습을 진행합니다. fit 메소드를 사용하는 점은 앞에서 다룬 사이킷런 모델과 같습니다.

학습 과정을 통해서 목표값과 예측값의 오차가 가장 작은 함수 관계식을 찾습니다. 2개의 파라미터 값을 조금씩 변화를 주면서 최적화된 해를 찾는 것입니다. epochs=10은 이와 같은 학습 과정을 10번 반복한다는 뜻입니다. 로스(loss)값이 점점 줄어드는 것을 볼 수 있습니다. 학습이 잘 되고 있다는 뜻입니다.

>>> dnn.fit(x_new, y, epochs=10)

Epoch 1/10
1/1 [==============================] - 0s 2ms/step - loss: 122.3979
Epoch 2/10
1/1 [==============================] - 0s 878us/step - loss: 14.1135
Epoch 3/10
1/1 [==============================] - 0s 2ms/step - loss: 2.3010
Epoch 4/10
1/1 [==============================] - 0s 1ms/step - loss: 0.9857
Epoch 5/10
1/1 [==============================] - 0s 1ms/step - loss: 0.8137
Epoch 6/10
1/1 [==============================] - 0s 1ms/step - loss: 0.7672
Epoch 7/10
1/1 [==============================] - 0s 2ms/step - loss: 0.7355
Epoch 8/10
1/1 [==============================] - 0s 2ms/step - loss: 0.7064
Epoch 9/10
1/1 [==============================] - 0s 1ms/step - loss: 0.6787
Epoch 10/10
1/1 [==============================] - 0s 1ms/step - loss: 0.6520
<tensorflow.python.keras.callbacks.History at 0x7f237c5d90b8>

새로운 x 데이터에 대한 y값 예측하기

x_test 변수에 저장되어 있는 데이터를 모델에 주입합니다. predict 메소드를 사용합니다. x 변수 값을 입력받아서 y값을 예측하게 됩니다. 예측값을 변수 y_hat_dnn에 저장합니다. 결과값은 21, 23, 25, 27, 29이고, 앞에서 다룬 사이킷런 LinearRegression 모델의 예측결과와 일치합니다.

>>> y_hat_dnn = dnn.predict(x_test)
>>> y_hat_dnn

array([21., 23., 25., 27., 29.])

이전 포스팅(https://pydata.tistory.com/29)에 정리한 x_new 데이터와 y 데이터를 가지고, 머신러닝 알고리즘에게 학습을 시키는 과정을 보겠습니다. 일차함수 관계식을 가지고 만들었기 때문에, (x_new, y) 좌표에 점을 찍으면 직선 형태로 나타납니다. 이와 같이 두 변수 사이의 관계가 직선 형태를 갖는 경우 선형 관계에 있다고 말합니다.

필요한 라이브러리 불러오기

통계학에서는 선형회귀분석이라고 부르는데, 사이킷런(sklearn) 라이브러리는 선형회귀분석을 포함한 다양한 통계 툴을 지원합니다. LinearRegression 클래스 함수는 통계학의 선형회귀분석을 처리합니다.

>>> from sklearn.linear_model import LinearRegression

머신러닝 모델 객체 정의하기

LinearRegression 클래스 객체를 생성하고, 변수 lr에 저장합니다. LinearRegression 클래스 함수의 인수에 다양한 파라미터를 설정할 수 있습니다. 예를 들어, LinearRegression(fit_intercept=False, n_jobs=-1) 이라고 정의하면, 일차함수 식의 y절편인 b값을 계산하지 않습니다. n_jobs는 모델학습에 사용할 CPU 개수를 지정할 때 사용하는데, -1은 모든 CPU를 할당하여 사용한다는 뜻입니다. 2개의 CPU가 있는 컴퓨터에서 1개의 CPU만 사용하고 싶을 때는, n_jobs=1이라고 지정할 수 있습니다.

>>> lr = LinearRegression()

주어진 데이터로 모델 학습시키기

머신러닝 모델 객체를 만든 뒤에, 학습 데이터 x_new와 목표 값(정답) y를 모델에 주입하고 학습을 시킵니다. 이때 fit 메소드를 사용하는데, 실행을 하면 예측값의 오차가 가장 작은 함수 관계식을 찾게 됩니다. 기울기(a)는 2, y절편(b)는 -1로 거의 정확하게 관계식을 찾는데 성공했습니다.

>>> lr.fit(x_new, y)
>>> print ("기울기: ", lr.coef_)
>>> print ("y절편: ", lr.intercept_)

기울기: [2.]
y절편: -0.9999999999999996

새로운 x 데이터에 대한 y값 예측하기

전 단계에서 훈련을 마친 선형회귀 모델을 이용하여 새로운 데이터에 대한 목표값을 예측하겠습니다. 예측을 위한 새로운 데이터셋을 준비하고 x_test 변수에 저장합니다. 11~15 범위의 정수를 모델의 x 변수 입력 형태에 맞게 입력합니다.

>>> x_test = np.arange(11, 16, 1).reshape(-1, 1)
>>> x_test

array([[11],
[12],
[13],
[14],
[15]])

모델을 가지고 예측하는데 predict 메소드를 사용합니다. x 변수 값을 입력받아서 y값을 예측하게 됩니다. 예측값을 변수 y_hat에 저장합니다. 결과값은 21, 23, 25, 27, 29입니다.

>>> y_hat = lr.predict(x_test)
>>> y_hat

array([21., 23., 25., 27., 29.])

중학교 수학 시간에 일차함수를 배운 기억이 있을 거에요. y = ax + b (a는 직선의 기울기) 형태로 나타내는 일차함수를 x, y축에 그래프로 나타내면 일차적인 선형 관계를 나타내는 직선으로 표시됩니다.

​

일차함수 관계식을 알고 있다면, x값에 어떤 수를 대입하여 y값이 얼마인지 계산할 수 있습니다. 다시 말하면, 우리가 x값과 관계식을 알고 있는 상태에서 y값을 예측하는 것이 가능하다는 뜻입니다.

​

그렇다면, 머신러닝은 무엇일까요? 머신러닝은 기계(machine)가 학습(learning)한다는 뜻입니다. 컴퓨터는 일차함수 관계식을 알지 못하는 상태에서, x값과 대응되는 y값을 학습해서 두 변수 x, y 사이의 관계식을 찾습니다. x 변수의 값과 일차함수 관계식의 계수 a, b 위치에 다양한 후보값들을 대입하여 y 변수의 예측값을 계산합니다. y 예측값과 원래 y값의 오차가 가장 작을 때의 a, b 값을 찾아서, 일차함수 관계식인 y = ax + b를 완성합니다.

​

이처럼, 설명변수(x)와 목표변수(y)에 해당하는 데이터셋이 주어졌을 때 두 변수 사이의 관계식을 찾는 과정을 머신러닝에서 훈련(training)이라고 말합니다. 머신러닝을 이용하여 관계식을 찾고 나면, 새로운 데이터(x)에 대해서 목표값(y)을 찾을 수 있는데, 이 과정을 예측(prediction)이라고 합니다.

​

한편, 딥러닝은 머신러닝에 속하는 하위개념입니다. 딥러닝은 인간의 신경망을 본뜬 알고리즘을 사용하여 관계식을 찾는 머신러닝 방법이라고 생각하면 됩니다. 따라서, 학습하고 예측하는 과정은 머신러닝과 차이가 없습니다.

​

일차함수 관계식을 찾는 간단한 실습 예제를 통해서 머신러닝 개념을 이해합니다. 먼저, 데이터셋을 준비하는 과정부터 살펴 봅니다.

1. 먼저, x값 데이터를 만들겠습니다. -10부터 9까지 20개의 정수 배열을 만들고, 변수 x에 저장합니다.

import 명령을 사용하여 nupmy 라이브러리를 불러옵니다. "as np"는 numpy를 np라는 약칭으로 사용한다는 뜻입니다. arange 함수는 (범위 시작, 범위 끝, 숫자 간격) 순으로 인수를 입력받는데, 예제에서는 -10부터 10 사이의 숫자를 1 간격으로 생성합니다. 범위의 끝인 10은 제외되는 점에 유의합니다.

>>> import numpy as np
>>> x = np.arange(-10, 10, 1)
>>> x

array([-10, -9, -8, -7, -6, -5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

2. x값과 일차함수 관계를 갖는 y값 데이터를 만듭니다. (일차함수 y = 2x - 1 사용)

​

x는 원소 20개를 갖는 배열입니다. 배열에 연산기호(* , -)를 적용하면, 20개 원소 각각에 대하여 연산이 적용됩니다. x 배열의 원소에 2를 곱하고 1을 뺀 결과값의 배열을 순서대로 변수 y에 저장합니다.

>>> y = 2*x - 1
>>> y

array([-21, -19, -17, -15, -13, -11, -9, -7, -5, -3, -1, 1, 3, 5, 7, 9, 11, 13, 15, 17])

3. x 배열, y 배열 값을 가지고 그래프를 그립니다.

​

matplotlib 라이브러리의 pyplot 모듈을 불러오는데, "as plt"는 plt라는 약칭을 사용한다는 뜻입니다. plot 메소드에 x, y 값을 순서대로 입력합니다.

>>> import matplotlib.pyplot as plt
>>> plt.plot(x, y)

4. 순서대로 정렬되어 있는 x 배열 원소값들의 순서를 무작위로 바꾸는 작업을 합니다.

​

x.shape[0]은 x 배열의 크기(원소의 개수)를 나타내는데, 원소 개수는 20개입니다. 대신, len 함수를 사용하여 len(x)로 입력해도 같은 결과를 보입니다.

​

numpy의 arange 함수에 자연수(양의 정수)를 입력하면, 숫자 0부터 입력된 자연수 갯수만큼의 숫자 배열이 만들어집니다. 예제에서 x.shape[0]은 20이므로, idx 변수에는 0, 1, 2, ..., 19까지 20개의 정수 배열이 저장됩니다.

​

numpy의 random 모듈은 무작위 추출 작업을 하는데 이용합니다. shuffle 함수를 이용하여 배열의 인덱스(주소)를 나타내는 idx 배열의 순서를 랜덤하게 섞어 줍니다. idx 배열 자체의 순서가 변동되는 점에 유의합니다.

>>> print("x 배열의 원소 개수: ", x.shape[0])
>>> idx = np.arange(x.shape[0])
>>> print("기존 인덱스:", idx)
>>> np.random.shuffle(idx)
>>> print("섞인 인덱스:", idx)

x 배열의 원소 개수: 20
기존 인덱스: [ 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19]
섞인 인덱스: [11 18 15 9 7 16 8 19 3 4 12 6 2 1 13 0 10 14 17 5]

x[idx]와 같이 x 배열에 새로운 인덱스 배열을 입력하면 x 배열의 순서가 변경됩니다. y 배열에도 같은 인덱스 배열을 입력하면 x 값에 매칭되는 y 값이 순서대로 위치를 찾게 됩니다.

>>> x = x[idx]
>>> print ("x: ", x)
>>> y = y[idx]
>>> print ("y: ", y)

x: [ -1 5 2 -9 -2 4 -6 9 3 -10 -3 -4 6 1 -5 7 8 -7 -8 0]
y: [ -3 9 3 -19 -5 7 -13 17 5 -21 -7 -9 11 1 -11 13 15 -15 -17 -1]

5. 1차원 형태의 x 배열을 2차원 형태로 변환합니다.

​

일반적으로, 머신러닝 알고리즘에서 x 변수의 데이터 값 배열은 가로 방향으로 긴 형태가 아니라 세로 방향으로 긴 형태로 만듭니다. 따라서, x 배열의 형태를 다음과 같이 세로 형태로 변환합니다. 2차원 배열에서 세로 방향의 각 열은 하나의 설명변수(x)에 속하는 데이터 값들의 모임이라고 볼 수 있습니다.

​

20개의 원소를 갖는 x 배열에 reshape 메소드를 적용하여 배열의 모양을 바꿀 수 있습니다. (-1, 1)에서 왼쪽의 숫자는 행의 개수를 나타내고, 오른쪽의 숫자는 열의 개수를 나타냅니다. 따라서, 열의 개수는 1개가 됩니다. 다만, -1은 정해진 개수를 나타내지 않고, 원래 배열의 개수인 20과 남은 차원(여기서는 열의 개수)인 1로 정해진다는 뜻입니다. 20개의 원소를 1개의 열에 넣으려면 행의 개수는 20개가 되어야 합니다. 결론적으로, 20개의 행과 1개의 열을 가진 2차원 구조로 변환됩니다.

>>> x_new = x.reshape(-1,1)
>>> x_new

array([[ -1],
[ 5],
[ 2],
[ -9],
[ -2],
[ 4],
[ -6],
[ 9],
[ 3],
[-10],
[ -3],
[ -4],
[ 6],
[ 1],
[ -5],
[ 7],
[ 8],
[ -7],
[ -8],
[ 0]])

이것으로 머신러닝(딥러닝) 알고리즘에 입력할 수 있는 데이터셋의 형태를 만들었습니다. 다음 게시글에서는 이 데이터셋을 이용하여 실제로 머신러닝 라이브러리를 통해 훈련-예측하는 과정을 살펴보겠습니다.

구글 코랩(Google Colaboratory)이란?

​

파이썬 딥러닝을 공부하려면 비싼 그래픽카드(GPU)가 탑재된 딥러닝 전용 PC와 여러가지 소프트웨어 등 높은 수준의 개발 환경이 필요합니다.

구글에서 제공하는 클라우드 환경에서 파이썬 프로그래밍을 하는 방법을 소개합니다. 파이썬을 데스크톱이나 노트북에 따로 설치하지 않아도 되고, 초보자들이 어려워하는 복잡한 소프트웨어 환경설정도 필요하지 않습니다.

​

구글 코랩(Google Colaboratory)는 웹브라우저에서 바로 실행 가능한 무료 코드 에디터입니다. 파이썬 사용자들에게 널리 알려진 Jupyter 노트북 환경을 기반으로 만들었고, 사용이 편리한 장점이 있습니다.

​

1. 구글 코랩은 설치가 필요 없습니다.

2. 인터넷이 접속되는 컴퓨터만 있으면 사용 가능합니다.

3. 무료입니다.

4. 파이썬, 머신러닝, 딥러닝에 필요한 툴이 지원됩니다. 

​

물론 단점(?)도 있습니다. 사용 시간이 12시간이 넘으면 세션이 종료됩니다. 그리고, 지원되는 메모리(RAM)과 저장 장치 디스크 용량에 제한이 있습니다. 하지만, 캐글이나 국내에서 진행되는 대부분의 데이터 분석 경진대회에서도 충분한 성능을 발휘하므로 걱정하실 필요는 없어요.

구글 코랩 실행 방법

​

1. 웹브라우저를 열고 구글 계정에 로그인합니다. 구글 검색창에 "Colab"이라고 검색어를 입력하면, 다음과 같이 Google Colab 페이지 링크가 보입니다.

2. Google Colab 링크를 클릭하면 코랩 사이트에 접속하고, 메인 페이지가 다음과 같이 나타납니다.

3. "Colabotory에 오신 것을 환영합니다" 링크를 클릭하면 코랩 소개 페이지가 실행됩니다. 대신에 오른쪽 아래 "새 노트"를 클릭하면 새로운 노트 파일이 만들어집니다.

이제 구글 코랩을 실행하는데 성공했습니다. 파이썬 주피터(Jupyter) 노트북 환경에 익숙한 분들은 따로 설명드리지 않아도 사용하는데 어려움이 없으실 거예요. 파이썬이 처음인 분들을 위한 설명은 다음 편에 계속 이어가겠습니다.