非エンジニアサラリーマンがお届けする、コピペでできる機械学習シリーズのXGBoost回帰編です。XGBoostは以前も分類問題で紹介しましたが、今回は回帰問題です。XGBoostは決定木を何個も作成して、それらを総合した予測を行うモデルという意味では、ランダムフォレストと同じです。しかし、XGBoostは1つの決定木作成後に間違いを少しずつ修正して次の決定木の学習に生かしていく。これをいくつも繰り返していくモデルです。
数学的に理解していくことは、難しいモデルですが、理解なくコードのコピーだけでXGBoost回帰を使ってみましょう。予測精度は非常に高くなることが多いモデルです。
Anacondaをインストールし、Jupyter Labを使って、データ解析、機械学習を行っていきましょう。


問題解決にコードは最低限でいいと考えています。コードはコピーして、データ収集や結果の解釈に力を注いで下さい。だれでも、すぐに実践できるようにscikit-learnのデータセットを使います。また、自身のデータでもすぐにコピペできるように、scikit-learnのデータセットを一旦データフレームにしてから機械学習を実施していきます。それでは、やっていきましょう!
必要なライブラリ―をインポート
import pandas as pd import numpy as np from sklearn.datasets import load_boston import matplotlib.pyplot as plt import japanize_matplotlib %matplotlib inline import seaborn as sns import warnings warnings.filterwarnings("ignore")
今回のデータセットはscikit-learnのデータセットにあるbostonを使用します。
データセットを整える
bostonデータセットは、住宅価格を目的変数(ターゲット)として、これを予測するためのデータセットです。
目的変数:住宅価格(の中央値)
説明変数:目的変数に関係しそうな、さまざまなデータ
boston = load_boston() df = pd.DataFrame(data = boston.data, columns = boston.feature_names) df['PRICE'] = boston.target df
上のコードはデータフレームにするためのコードです。
bostonのデータセットで実践する場合は上のコードを実行して下さい。
自身のデータを使用する場合は、以下のコードから実行して下さい。
機械学習がしやすいデータの形に整える
X = df.iloc[:,:-1].values # 説明変数(最後の列以外) y = df.iloc[:,-1].values # 目的変数(最後の列のみ)
訓練用のデータとテスト用のデータに分割する
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size = 0.25, random_state = 1)
XGBoost回帰
import xgboost as xgb from sklearn.model_selection import GridSearchCV from sklearn.metrics import make_scorer from sklearn.metrics import mean_squared_error xgb_reg = xgb.XGBRegressor() params=[{'max_depth':[3,4,5,6], 'n_estimators':[100,300,500] }] scorer=make_scorer(mean_squared_error, False) grid_xgb_reg=GridSearchCV(xgb_reg, param_grid=params, scoring=scorer, cv=5, n_jobs=-1) grid_xgb_reg.fit(X_train, y_train) y_train_pred = grid_xgb_reg.predict(X_train) y_test_pred = grid_xgb_reg.predict(X_test) # 裁量スコアとなるパラメータ値を出力 print(grid_xgb_reg.best_params_)
出力:
{‘max_depth’: 4, ‘n_estimators’: 100}
XGBoostによる予測結果と実際の結果との関係を可視化してみる
plt.scatter(y_test, y_test_pred) plt.xlabel('テストデータ') plt.ylabel('予測データ')
出力:
各点が、右肩上がりの直線に近いほうが当てはまりが良いです。
過去の回帰モデルより、ばらつきが少なく直線に近いですね
plt.scatter(y_train_pred, y_train_pred - y_train, c='steelblue', marker='o', edgecolor='white', label='訓練データ') plt.scatter(y_test_pred, y_test_pred - y_test, c='limegreen', marker='s', edgecolor='white', label='テストデータ') plt.xlabel('予測値') plt.ylabel('予測と正解との差') plt.legend(loc='upper left') plt.hlines(y=0, xmin=-10, xmax=50, color='r', lw=1.5, alpha=0.5) plt.xlim([-10, 50]) plt.tight_layout() plt.savefig('xgb_reg_graph.jpg') plt.show()
出力:
各点が赤線に近いほうが当てはまりが良いです。というより、青い点(訓練データ)が赤線に近すぎますね。過学習傾向かと思います。しかし、緑点(テストデータ)は大きなばらつきはないとは思います。
モデルの評価(XGBoost回帰)
from sklearn.metrics import r2_score from sklearn.metrics import mean_squared_error print('MSE train: %.3f, test: %.3f' % ( mean_squared_error(y_train, y_train_pred), mean_squared_error(y_test, y_test_pred))) print('RMSE train: %.3f, test: %.3f' %( np.sqrt(mean_squared_error(y_train, y_train_pred)), np.sqrt(mean_squared_error(y_test, y_test_pred)))) print('R^2 train: %.3f, test: %.3f' % ( r2_score(y_train, y_train_pred), r2_score(y_test, y_test_pred)))
出力:
MSE train: 0.052, test: 7.604
RMSE train: 0.229, test: 2.758
R^2 train: 0.999, test: 0.923
MSE:小さいほうが当てはまりがよい
RMSE:小さいほうが当てはまり良い
R²:1に近いほうが良い
訓練データ(train)と、テストデータ(test)で上の評価を実施しています。
下のコードで、予測とテストの差をヒストグラムで可視化してみます。一応、正規分布になっているほうが、いいとされています。
sns.distplot((y_test-y_test_pred),bins=50)
各説明変数の重要度
決定木系(ランダムフォレスやXGBoostなどの決定木を多数作り、総合的なモデルを作成するモデル)は説明変数の重要度を表すことができます。各説明変数が目的変数にあたえる影響度が分かります。
xgb_reg1=xgb.XGBRegressor(**grid_xgb_reg.best_params_) xgb_reg1.fit(X_train,y_train) # feature importance のプロット import pandas as pd import matplotlib.pyplot as plt importances = pd.Series(xgb_reg1.feature_importances_, index = boston.feature_names) importances = importances.sort_values() importances.plot(kind = 'barh') plt.title('XGBRegressorの重要度') plt.show()
valiable | 変数名 |
---|---|
CRIM | 犯罪発生率 |
ZN | 25,000平方フィート以上の住宅区画の割合 |
INDUS | 非小売業種の土地面積の割合 |
CHAS | チャールズ川沿いかを表すダミー変数 |
NOX | 窒素酸化物の濃度 |
RM | 平均部屋数 |
AGE | 1940年より前に建てられた建物の割合 |
DIS | 5つのボストンの雇用施設への重み付き距離 |
RAD | 高速道路へのアクセスのしやすさ |
TAX | 10,000ドルあたりの不動産税率 |
PTRATIO | 生徒と教師の割合 |
B | 黒人の割合 |
LSTAT | 低所得者の割合 |
MEDV | 住宅価格の中央値(1,000単位) |
説明変数の意味は表の通りなので、「LSTAT(低所得者の割合)とRM(平均部屋数)が住宅価格への影響が大きい」ということですね。評価結果は悪くないですが、過学習でしたね。(訓練データのMSE:0.052、テストデータのMSE:7.607と、訓練データとテストデータで大きな差がある)
しかし、今まで見てきた回帰モデルのなかでは、テストデータへの汎化性能は一番良かったです。もう少し、ハイパーパラメータを調整して、過学習を抑えて学習したほうがいいかもしれませんね。
今回のコードをコピペして、自身のデータでも試してみて下さい。
コメント