【初心者】コピペでできるランダムフォレス回帰

非エンジニアサラリーマンがお届けする、コピペでできる機械学習シリーズのランダムフォレストの回帰編です。

ランダムフォレストは以前も分類問題で紹介しましたが、今回は回帰問題です。ランダムフォレストは決定木を何個も作成して、それらを総合した予測を行うモデルです。線形回帰や決定木回帰より高い予測が期待できます。

Anacondaをインストールし、Jupyter Labを使って、データ解析、機械学習を行っていきましょう。

【2020年最新】Anacondaのインストール方法

問題解決にコードは最低限でいいと考えています。コードはコピーして、データ収集や結果の解釈に力を注いで下さい。だれでも、すぐに実践できるようにscikit-learnのデータセットを使います。また、自身のデータでもすぐにコピペできるように、scikit-learnのデータセットを一旦データフレームにしてから機械学習を実施していきます。それでは、やっていきましょう！

必要なライブラリ―をインポート

import pandas as pd
import numpy as np
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt
import japanize_matplotlib
%matplotlib inline
import seaborn as sns
import warnings
warnings.filterwarnings("ignore")

今回のデータセットはscikit-learnのデータセットにあるbostonを使用します。

データセットを整える

【超重要】はじめてのデータ収集方法

目的変数：住宅価格（の中央値）
説明変数：目的変数に関係しそうな、さまざまなデータ

boston = load_boston()
df = pd.DataFrame(data = boston.data, columns = boston.feature_names)
df['PRICE'] = boston.target
df

上のコードはデータフレームにするためのコードです。
bostonのデータセットで実践する場合は上のコードを実行して下さい。
自身のデータを使用する場合は、以下のコードから実行して下さい。

機械学習がしやすいデータの形に整える

X = df.iloc[:,:-1].values  # 説明変数（最後の列以外）
y = df.iloc[:,-1].values   # 目的変数（最後の列のみ）

訓練用のデータとテスト用のデータに分割する

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size = 0.25,
    random_state = 1)

ランダムフォレスト回帰分析

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer

rfr = RandomForestRegressor(random_state = 0)

param = [{'n_estimators':[100,200,300,500]}]

scorer = make_scorer(mean_squared_error, False)

gs_rfr = GridSearchCV(estimator=rfr,
                      param_grid=param,
                      scoring = scorer,
                      cv=10,
                      n_jobs=-1)

gs_rfr.fit(X_train, y_train)

y_train_pred = gs_rfr.predict(X_train)
y_test_pred = gs_rfr.predict(X_test)

# 最良スコアとなるパラメータ値を出力
print(gs_rfr.best_params_)

出力：
{’n_estimators’: 300}

ランダムフォレストによる予測結果と実際の結果との関係を可視化してみる

plt.scatter(y_test, y_test_pred)
plt.xlabel('テストデータ')
plt.ylabel('予測データ')

出力：

各点が、右肩上がりの直線に近いほうが当てはまりが良い。

線形回帰や決定木より、ばらつきが少なく直線に近いですね。

【初心者】コピペでできる線形回帰

【初心者】コピペでできるRidge・Lasso回帰

【初心者】コピペでできる決定木回帰

plt.scatter(y_train_pred,  y_train_pred - y_train,
            c='steelblue', marker='o', edgecolor='white',
            label='訓練データ')
plt.scatter(y_test_pred,  y_test_pred - y_test,
            c='limegreen', marker='s', edgecolor='white',
            label='テストデータ')
plt.xlabel('予測値')
plt.ylabel('予測と正解との差')
plt.legend(loc='upper left')
plt.hlines(y=0, xmin=-10, xmax=50, color='r', lw=1.5, alpha=0.5)
plt.xlim([-10, 50])
plt.tight_layout()
plt.show()

出力：

各点が赤線に近いほうが当てはまりが良い。

線形回帰や決定木と同じようなグラフになっています。しかし、縦軸の「予測と正解との差」の数字に注目して下さい。線形回帰では -25 から 15 まで、決定木回帰でも -10 から 10 まででした。今回のランダムフォレストは -10 から 7.5 と数値が小さく、赤線に近くことが分かります。

モデルの評価（ランダムフォレスト回帰）

from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error

print('MSE   train: %.3f,  test: %.3f' % (
        mean_squared_error(y_train, y_train_pred),
        mean_squared_error(y_test, y_test_pred)))
print('RMSE  train: %.3f,  test: %.3f' %(
        np.sqrt(mean_squared_error(y_train, y_train_pred)),
        np.sqrt(mean_squared_error(y_test, y_test_pred))))
print('R^2   train: %.3f,  test: %.3f' % (
        r2_score(y_train, y_train_pred),
        r2_score(y_test, y_test_pred)))

出力：
MSE train    : 1.396,  test: 8.858
RMSE train : 1.182,  test: 2.976
R^2 train     : 0.982,  test: 0.911

初心者のための回帰問題の評価指標

MSE：小さいほうが当てはまりがよい

RMSE：小さいほうが当てはまり良い

R²：１に近いほうが良い

訓練データ（train）と、テストデータ（test）で上の評価を実施しています。

ここでも線形回帰や決定木回帰よりも、評価結果が良くなっています。さすが、ランダムフォレストですね。

下のコードで、予測とテストの差をヒストグラムで可視化してみます。一応、正規分布になっているほうが、いいとされています。

sns.distplot((y_test-y_test_pred),bins=50)

出力：

各説明変数の重要度

決定木系（ランダムフォレスやXGBoostなどの決定木を多数作り、総合的なモデルを作成するモデル）は説明変数の重要度を表すことができます。各説明変数が目的変数にあたえる影響度が分かります。

rfr1=RandomForestRegressor(**gs_rfr.best_params_)
rfr1.fit(X_train,y_train)

# feature importance のプロット
import pandas as pd
import matplotlib.pyplot as plt
importances = pd.Series(rfr1.feature_importances_, index = boston.feature_names)
importances = importances.sort_values()
importances.plot(kind = 'barh')
plt.title('ランダムフォレストの重要度')
plt.show()

出力：

説明変数の意味は表の通りなので、「LSTAT（低所得者の割合）とRM（平均部屋数）が住宅価格への影響が大きい」ということですね。評価結果は良かったですが、過学習ぎみだった印象ですね。（訓練データのMSE：1.296、テストデータのMSE:8.858と、訓練データとテストデータで大きな差がある）