【初心者】コピペでできるXGBoost回帰

スポンサーリンク
Python




非エンジニアサラリーマンがお届けする、コピペでできる機械学習シリーズのXGBoost回帰編です。XGBoostは以前も分類問題で紹介しましたが、今回は回帰問題です。XGBoostは決定木を何個も作成して、それらを総合した予測を行うモデルという意味では、ランダムフォレストと同じです。しかし、XGBoostは1つの決定木作成後に間違いを少しずつ修正して次の決定木の学習に生かしていく。これをいくつも繰り返していくモデルです。

数学的に理解していくことは、難しいモデルですが、理解なくコードのコピーだけでXGBoost回帰を使ってみましょう。予測精度は非常に高くなることが多いモデルです。

Anacondaをインストールし、Jupyter Labを使って、データ解析、機械学習を行っていきましょう。

【2021年最新】WindowsでAnacondaをインストールする方法、初心者がPythonの環境を構築する
Pythonの環境構築におすすめなのが、「anaconda」です。anacondaのなかにある、Jupyter Labはデータ解析や機械学習に非常に相性がいいです。理由は、コードを実行すると結果を返してくれます。その結果をみて、新たなコード
M1 mac でanacondaをインストールし、Pythonを動作確認
M1 mac miniを購入したので、anacondaのインストールし、Pythonの動作を確認しました。 以前はWindowsでのanacondaのインストール方法を提示しました。 macでのイ...

問題解決にコードは最低限でいいと考えています。コードはコピーして、データ収集や結果の解釈に力を注いで下さい。だれでも、すぐに実践できるようにscikit-learnのデータセットを使います。また、自身のデータでもすぐにコピペできるように、scikit-learnのデータセットを一旦データフレームにしてから機械学習を実施していきます。それでは、やっていきましょう!

必要なライブラリ―をインポート

import pandas as pd
import numpy as np
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt
import japanize_matplotlib
%matplotlib inline
import seaborn as sns
import warnings
warnings.filterwarnings("ignore")

今回のデータセットはscikit-learnのデータセットにあるbostonを使用します。

データセットを整える

【超重要】はじめてのデータ収集方法

bostonデータセットは、住宅価格を目的変数(ターゲット)として、これを予測するためのデータセットです。

目的変数:住宅価格(の中央値)
説明変数:目的変数に関係しそうな、さまざまなデータ

boston = load_boston()
df = pd.DataFrame(data = boston.data, columns = boston.feature_names)
df['PRICE'] = boston.target
df

上のコードはデータフレームにするためのコードです。
bostonのデータセットで実践する場合は上のコードを実行して下さい。
自身のデータを使用する場合は、以下のコードから実行して下さい。

機械学習がしやすいデータの形に整える

X = df.iloc[:,:-1].values  # 説明変数(最後の列以外)
y = df.iloc[:,-1].values   # 目的変数(最後の列のみ)

訓練用のデータとテスト用のデータに分割する

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size = 0.25,
    random_state = 1)

XGBoost回帰

import xgboost as xgb
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer
from sklearn.metrics import mean_squared_error

xgb_reg = xgb.XGBRegressor()

params=[{'max_depth':[3,4,5,6],
        'n_estimators':[100,300,500]
       }]

scorer=make_scorer(mean_squared_error, False)

grid_xgb_reg=GridSearchCV(xgb_reg,
                          param_grid=params,
                          scoring=scorer,
                          cv=5,
                          n_jobs=-1)

grid_xgb_reg.fit(X_train, y_train)

y_train_pred = grid_xgb_reg.predict(X_train)
y_test_pred = grid_xgb_reg.predict(X_test)

# 裁量スコアとなるパラメータ値を出力
print(grid_xgb_reg.best_params_)

出力:
{‘max_depth’: 4, ‘n_estimators’: 100}

XGBoostによる予測結果と実際の結果との関係を可視化してみる

plt.scatter(y_test, y_test_pred)
plt.xlabel('テストデータ')
plt.ylabel('予測データ')

出力:

各点が、右肩上がりの直線に近いほうが当てはまりが良いです。

過去の回帰モデルより、ばらつきが少なく直線に近いですね

【初心者】コピペでできる線形回帰

【初心者】コピペでできるRidge・Lasso回帰

【初心者】コピペでできる決定木回帰

【初心者】コピペでできるランダムフォレス回帰

plt.scatter(y_train_pred,  y_train_pred - y_train,
            c='steelblue', marker='o', edgecolor='white',
            label='訓練データ')
plt.scatter(y_test_pred,  y_test_pred - y_test,
            c='limegreen', marker='s', edgecolor='white',
            label='テストデータ')
plt.xlabel('予測値')
plt.ylabel('予測と正解との差')
plt.legend(loc='upper left')
plt.hlines(y=0, xmin=-10, xmax=50, color='r', lw=1.5, alpha=0.5)
plt.xlim([-10, 50])
plt.tight_layout()
plt.savefig('xgb_reg_graph.jpg')
plt.show()

出力:

各点が赤線に近いほうが当てはまりが良いです。というより、青い点(訓練データ)が赤線に近すぎますね。過学習傾向かと思います。しかし、緑点(テストデータ)は大きなばらつきはないとは思います。

モデルの評価(XGBoost回帰)

from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error

print('MSE   train: %.3f,  test: %.3f' % (
        mean_squared_error(y_train, y_train_pred),
        mean_squared_error(y_test, y_test_pred)))
print('RMSE  train: %.3f,  test: %.3f' %(
        np.sqrt(mean_squared_error(y_train, y_train_pred)),
        np.sqrt(mean_squared_error(y_test, y_test_pred))))
print('R^2   train: %.3f,  test: %.3f' % (
        r2_score(y_train, y_train_pred),
        r2_score(y_test, y_test_pred)))

出力:
MSE train: 0.052, test: 7.604
RMSE train: 0.229, test: 2.758
R^2 train: 0.999, test: 0.923

初心者のための回帰問題の評価指標

MSE:小さいほうが当てはまりがよい

RMSE:小さいほうが当てはまり良い

R²:1に近いほうが良い

訓練データ(train)と、テストデータ(test)で上の評価を実施しています。

下のコードで、予測とテストの差をヒストグラムで可視化してみます。一応、正規分布になっているほうが、いいとされています。

sns.distplot((y_test-y_test_pred),bins=50)

出力:

各説明変数の重要度

決定木系(ランダムフォレスやXGBoostなどの決定木を多数作り、総合的なモデルを作成するモデル)は説明変数の重要度を表すことができます。各説明変数が目的変数にあたえる影響度が分かります。

xgb_reg1=xgb.XGBRegressor(**grid_xgb_reg.best_params_)
xgb_reg1.fit(X_train,y_train)

# feature importance のプロット
import pandas as pd
import matplotlib.pyplot as plt
importances = pd.Series(xgb_reg1.feature_importances_, index = boston.feature_names)
importances = importances.sort_values()
importances.plot(kind = 'barh')
plt.title('XGBRegressorの重要度')
plt.show()

出力:

valiable 変数名
CRIM 犯罪発生率
ZN 25,000平方フィート以上の住宅区画の割合
INDUS 非小売業種の土地面積の割合
CHAS チャールズ川沿いかを表すダミー変数
NOX 窒素酸化物の濃度
RM 平均部屋数
AGE 1940年より前に建てられた建物の割合
DIS 5つのボストンの雇用施設への重み付き距離
RAD 高速道路へのアクセスのしやすさ
TAX 10,000ドルあたりの不動産税率
PTRATIO 生徒と教師の割合
B 黒人の割合
LSTAT 低所得者の割合
MEDV 住宅価格の中央値(1,000単位)

説明変数の意味は表の通りなので、「LSTAT(低所得者の割合)とRM(平均部屋数)が住宅価格への影響が大きい」ということですね。評価結果は悪くないですが、過学習でしたね。(訓練データのMSE:0.052、テストデータのMSE:7.607と、訓練データとテストデータで大きな差がある)

しかし、今まで見てきた回帰モデルのなかでは、テストデータへの汎化性能は一番良かったです。もう少し、ハイパーパラメータを調整して、過学習を抑えて学習したほうがいいかもしれませんね。

今回のコードをコピペして、自身のデータでも試してみて下さい。





コメント

タイトルとURLをコピーしました