【初心者】コピペでできるXGBoost回帰 |

非エンジニアサラリーマンがお届けする、コピペでできる機械学習シリーズのXGBoost回帰編です。XGBoostは以前も分類問題で紹介しましたが、今回は回帰問題です。XGBoostは決定木を何個も作成して、それらを総合した予測を行うモデルという意味では、ランダムフォレストと同じです。しかし、XGBoostは１つの決定木作成後に間違いを少しずつ修正して次の決定木の学習に生かしていく。これをいくつも繰り返していくモデルです。

数学的に理解していくことは、難しいモデルですが、理解なくコードのコピーだけでXGBoost回帰を使ってみましょう。予測精度は非常に高くなることが多いモデルです。

Anacondaをインストールし、Jupyter Labを使って、データ解析、機械学習を行っていきましょう。

M1 mac でanacondaをインストールし、Pythonを動作確認

M1 mac miniを購入したので、anacondaのインストールし、Pythonの動作を確認しました。以前はWindowsでのanacondaのインストール方法を提示しました。 macでのイ...

問題解決にコードは最低限でいいと考えています。コードはコピーして、データ収集や結果の解釈に力を注いで下さい。だれでも、すぐに実践できるようにscikit-learnのデータセットを使います。また、自身のデータでもすぐにコピペできるように、scikit-learnのデータセットを一旦データフレームにしてから機械学習を実施していきます。それでは、やっていきましょう！

必要なライブラリ―をインポート
データセットを整える
機械学習がしやすいデータの形に整える
XGBoost回帰
モデルの評価（XGBoost回帰）
各説明変数の重要度

必要なライブラリ―をインポート

import pandas as pd
import numpy as np
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt
import japanize_matplotlib
%matplotlib inline
import seaborn as sns
import warnings
warnings.filterwarnings("ignore")

今回のデータセットはscikit-learnのデータセットにあるbostonを使用します。

データセットを整える

【超重要】はじめてのデータ収集方法

bostonデータセットは、住宅価格を目的変数（ターゲット）として、これを予測するためのデータセットです。

目的変数：住宅価格（の中央値）
説明変数：目的変数に関係しそうな、さまざまなデータ

boston = load_boston()
df = pd.DataFrame(data = boston.data, columns = boston.feature_names)
df['PRICE'] = boston.target
df

上のコードはデータフレームにするためのコードです。
bostonのデータセットで実践する場合は上のコードを実行して下さい。
自身のデータを使用する場合は、以下のコードから実行して下さい。

機械学習がしやすいデータの形に整える

X = df.iloc[:,:-1].values  # 説明変数（最後の列以外）
y = df.iloc[:,-1].values   # 目的変数（最後の列のみ）

訓練用のデータとテスト用のデータに分割する

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size = 0.25,
    random_state = 1)

XGBoost回帰

import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer
from sklearn.metrics import mean_squared_error

xgb_reg = xgb.XGBRegressor()

params=[{'max_depth':[3,4,5,6],
        'n_estimators':[100,300,500]
       }]

scorer=make_scorer(mean_squared_error, False)

grid_xgb_reg=GridSearchCV(xgb_reg,
                          param_grid=params,
                          scoring=scorer,
                          cv=5,
                          n_jobs=-1)

grid_xgb_reg.fit(X_train, y_train)

y_train_pred = grid_xgb_reg.predict(X_train)
y_test_pred = grid_xgb_reg.predict(X_test)

# 裁量スコアとなるパラメータ値を出力
print(grid_xgb_reg.best_params_)

出力：
{‘max_depth’: 4, ‘n_estimators’: 100}

XGBoostによる予測結果と実際の結果との関係を可視化してみる

plt.scatter(y_test, y_test_pred)
plt.xlabel('テストデータ')
plt.ylabel('予測データ')

出力：

各点が、右肩上がりの直線に近いほうが当てはまりが良いです。

過去の回帰モデルより、ばらつきが少なく直線に近いですね

【初心者】コピペでできる線形回帰

【初心者】コピペでできるRidge・Lasso回帰

【初心者】コピペでできる決定木回帰

【初心者】コピペでできるランダムフォレス回帰

plt.scatter(y_train_pred,  y_train_pred - y_train,
            c='steelblue', marker='o', edgecolor='white',
            label='訓練データ')
plt.scatter(y_test_pred,  y_test_pred - y_test,
            c='limegreen', marker='s', edgecolor='white',
            label='テストデータ')
plt.xlabel('予測値')
plt.ylabel('予測と正解との差')
plt.legend(loc='upper left')
plt.hlines(y=0, xmin=-10, xmax=50, color='r', lw=1.5, alpha=0.5)
plt.xlim([-10, 50])
plt.tight_layout()
plt.savefig('xgb_reg_graph.jpg')
plt.show()

出力：

各点が赤線に近いほうが当てはまりが良いです。というより、青い点（訓練データ）が赤線に近すぎますね。過学習傾向かと思います。しかし、緑点（テストデータ）は大きなばらつきはないとは思います。

モデルの評価（XGBoost回帰）

from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error

print('MSE   train: %.3f,  test: %.3f' % (
        mean_squared_error(y_train, y_train_pred),
        mean_squared_error(y_test, y_test_pred)))
print('RMSE  train: %.3f,  test: %.3f' %(
        np.sqrt(mean_squared_error(y_train, y_train_pred)),
        np.sqrt(mean_squared_error(y_test, y_test_pred))))
print('R^2   train: %.3f,  test: %.3f' % (
        r2_score(y_train, y_train_pred),
        r2_score(y_test, y_test_pred)))

出力：
MSE train: 0.052, test: 7.604
RMSE train: 0.229, test: 2.758
R^2 train: 0.999, test: 0.923

初心者のための回帰問題の評価指標

MSE：小さいほうが当てはまりがよい

RMSE：小さいほうが当てはまり良い

R²：１に近いほうが良い

訓練データ（train）と、テストデータ（test）で上の評価を実施しています。

下のコードで、予測とテストの差をヒストグラムで可視化してみます。一応、正規分布になっているほうが、いいとされています。

sns.distplot((y_test-y_test_pred),bins=50)

出力：

各説明変数の重要度

決定木系（ランダムフォレスやXGBoostなどの決定木を多数作り、総合的なモデルを作成するモデル）は説明変数の重要度を表すことができます。各説明変数が目的変数にあたえる影響度が分かります。

xgb_reg1=xgb.XGBRegressor(**grid_xgb_reg.best_params_)
xgb_reg1.fit(X_train,y_train)

# feature importance のプロット
import pandas as pd
import matplotlib.pyplot as plt
importances = pd.Series(xgb_reg1.feature_importances_, index = boston.feature_names)
importances = importances.sort_values()
importances.plot(kind = 'barh')
plt.title('XGBRegressorの重要度')
plt.show()

出力：

valiable	変数名
CRIM	犯罪発生率
ZN	25,000平方フィート以上の住宅区画の割合
INDUS	非小売業種の土地面積の割合
CHAS	チャールズ川沿いかを表すダミー変数
NOX	窒素酸化物の濃度
RM	平均部屋数
AGE	1940年より前に建てられた建物の割合
DIS	5つのボストンの雇用施設への重み付き距離
RAD	高速道路へのアクセスのしやすさ
TAX	10,000ドルあたりの不動産税率
PTRATIO	生徒と教師の割合
B	黒人の割合
LSTAT	低所得者の割合
MEDV	住宅価格の中央値（1,000単位）