ビジネス書を科学的に読み解く「AI分析でわかった トップ5%社員の習慣」編

スポンサーリンク
データ解析

ビジネス書やビジネスYouTuberではさまざまな主張をされています。その主張がどの程度信用できるのか、どの程度自分自身に参考になるのか、これらは非常に難しいです。

ちなみに私は、自己啓発系は全く参考にしていません。そんなことは哲学書にすべて書かれています。情報系は参考しています(あくまでも、うすーい参考程度)。

情報の信頼性を検討する場合に必要となる知識は、統計学の考えを基礎とした科学的根拠(エビデンス)と研究です。これらの言葉は難しそうですが、科学的根拠と研究の考えたかが分かれば、つまらない情報に惑わされることはありません。実際のビジネス書をモデルに、科学的根拠を解説していきます。

本記事では、モデルのビジネス書を批判している訳ではありません。読み方は人それぞれです。ですが、何にでも書かれてる内容に科学的根拠は必要で、それを確認するには批判的吟味を使います。批判的吟味は論文を読むときに使いますが、難しいので、身近なビジネス書で分かりやすく解説していくことで、批判的吟味を理解していきましょう。

ビジネス書を科学的に読み解くための概要編は以下の記事を参考にしてください。

ウソ情報にだまされない、研究と因果関係から読み解く情報の取捨選択
ビジネス書やビジネスYouTuberなどは、ビジネスに役立つ情報を発信しています。これらは、ビジネスパーソンにとって、自分を成長させるための有用なツールになっている。 たとえば、優秀な社員が行っている行動や考え方、ダメな社員が行ってい...

モデル書籍:「AI分析でわかった トップ5%社員の習慣」

この書籍を批判的吟味していきましょう。書籍の「はじめに」「序章」のみを対象にしました。文書が膨大になる為、この程度に留めました。

はじめに

メインアウトカム

上位5%と下位95%の分類問題

  • 定義   :会社の人事評価
  • 対象会社 :クロスリバーで、働き方改革の支援をした605社
  • サンプル数:1万8000名、上位5%とそれ以外の社員数9000名

上位5%と下位95%の分類問題にした根拠

二分類問題ではカテゴリーのに分類と数値の二分類がある。カテゴリーの二分類は、「犬か猫か」、「売れるか売れないか」などで、基準が明確な二値分類です。対して、数値の二分類は、「売れる可能性が50%以上か、50%以下か」、「トップ5%かそれ以外か」といった数値で二分類する場合です。数値でに分類した場合は、基準となる数値に根拠が必要になります。

トップ10%とそれ以外より、トップ5%とそれ以外の方が、なぜ良いかを説明できないと意味がありません。過去の研究を根拠としてもいいですが、自社で行う場合は興味のある結果を確認する、分布を見るなどがあります。

興味のある結果を確認するとは、重要ポストに昇格するのは、トップ5%であることが事実として存在している。

分布を見るとは、全体の生産性(営業成績や時間あたりの売り上げなど)は二極化しており、その割合は、トップ5%と下位95%で別れていることが確認できる。このような根拠が必要になります。

たとえば、上の図のような分布で、縦軸が人数、横軸が人事評価であれば、トップ5%で分類できそうですね。

なんとなくトップ5%とそれ以外で分けましたでは、恣意的、意図的に結果を誘導している可能性がります。そうなると客観的な科学的根拠とは言い難いです。

会社の人事評価にした根拠

会社での人事評価は自社での出世に大きく関わってきます。なので、人事評価がいい人は、出世しやすく、人事評価が悪い人は出世しにくいです。そうすると、トップ5%の基準を人事評価にした意味はありそうです。

しかし、最近の傾向として、終身雇用を目指している人がどの程度いるでしょうか?終身雇用を目指して、自社で出世競争に勝つと思っている人はごく少数ではないでしょうか?

それより、自身の市場価値を高めて、キャリアアップを目指す。または、大きく稼ぐより、効率的に短時間で稼いで、悠々自適に生活する。など目指すべき「トップ5%」はさまざまです。市場価値が高い人は当然人事評価が高い可能性がありますが、組織での評価と独立思考がある、別の業界での評価は全く違ってきる場合があります。
結論としては、今回の人事評価「トップ5%」とした結果が参考となるのは、自社での出世を目指している方となります。それ以外の方は、参考にならない可能性があります。(科学的根拠(エビデンス)として考えた場合です)

クロスリバーで、働き方改革の支援をした605社を対象にした根拠

※ クロスリバーはこの書籍の著者の会社で(おそらく)、「働き方界改革」などのコンサルを行っている会社でしょうか。

Cross River

科学的な証明を目指した研究の場合は、ランダムに選んだ605社の方がベターなのは明らかです。ではなぜか?働き方改革を推進している会社のみが対象となっているからです働き方改革と推進している会社とは、どういった会社か?社員のことを考えている会社、効率化を促進している会社、社員教育に積極的な会社などが考えられます。⇦これらは想像ですが、否定することはできません。ランダムに選んだ会社が対象なら、そうでない会社も対象にしているので否定することができます。
結論としては、働き方改革の支援を外部に要請するような会社が対象で、それ以外の会社には参考にならない可能性があります。(科学的根拠(エビデンス)として考えた場合です)

サンプル数の根拠

サンプル数とはデータ分析した人数です。上位5%の9000名と、下位95%の9000名です。に分類問題では、サンプル数が50対50は分析しやすいです(いろいろな理由で)。なので、本書では9000対9000なので問題ないです。

しかし、トップ5%が9000名いたとすれば、下位95%は18万名いるはずです。なのに、下位95%の対象者は9000名です。ではどんな基準で18万名から9000名を対象者に選んだのでしょうか?その基準は記載されていません。なので、下位95%の対象者が恣意的、意図的に選ばれた可能性が否定できません。対象者の恣意的、意図的な選択は結果の誘導に繋がりますので、結果の解釈に注意が必要です。

序章 AIで1万8000人分析してわかったずば抜けた結果を出す人五原則

原則1 「5%社員」の98%が「目的」のことだけを考える

  • アウトカム:「結果」、「目標」、「達成する」、「認められる」
  • 結果:上位5%の社員はそれ以外の社員より3倍以上使用されていた

この結果をもとに、上位5%社員は「過程よりも結果を重視する」と結論付けていました。その結果の解釈や結論は妥当な判断でしょうか?見ていきましょう。

アウトカムの妥当性

測定方法とした、アンケートやヒアリングを行い、その結果をAIサービスを使って分析したと書いてあります。あまりにも抽象的なので、妥当性の検討はできないのが本音ですが、ここではAIサービスに注目してみましょう。AIでは自然言語処理といって、言葉や音声も分析できます。ですが、AI分析と聞くと、イメージだけで「なんかすごい分析」と感じてしまいます。なので、実際どういった分析をしたのかは書かれていませが、信じてしまいそうになります。こういった、よく分からないが、なんかすごそうな言葉が出てきたら要注意です。

さらに、「結果」、「目標」、「達成する」、「認められる」の言葉を選んだ理由や基準が書かれていません。単純に、アンケートやヒアリングで出現した単語の上位4つではないと思います。出現単語の上位は「私」、「仕事」などあまり意味がない言葉になる場合が一般的です。なので、ここでも言いたい結論を説明するためだけの結果になっている可能性があります。

結果の妥当性

3倍使用されたとはどういったことでしょうか?アンケートやヒアリングで出現した単語の総数から上記の言葉が出た割合を比較した?4つの単語がすべて3倍?4つの単語を足した数が3倍?など、解釈がさまざまです。1つの解釈しかできないように記述することが、科学的な書き方です。

まとめ

当書籍の最初の17ページの時点で、このような検討事項があります。なので、ビジネス書などを見る場合は、言っていることの根拠がどの程度信頼できるものかを確認する必要があります。そして、自分にとって、本当に参考になる情報だけを抽出できるようになりましょう。それが、科学的でエビデンスのあるビジネス書との付き合い方です。

しかし、当書籍で書かれている内容は非常に真っ当なものです。私も納得できます。今回は、あくまでも科学的な見方、批判的吟味のビジネス書でしてみた場合の結果ですので、あしからず。

ビジネス書は科学的に書かれたものではありません。しかし、正確な情報を提供するなら情報の根拠が必要です。海外の書籍は引用論文が多く記載されています。しかし、日本のビジネス書では引用論文はほとんどありません。このことからも、日本では、根拠の提示が不十分だと言わざるを得ません。

データ分析に必要なことはこの記事をご覧下さい。

いまさらだけど、データ解析 ってなに?
わたしが考えるデータ解析とは、 データを用いて、新たな意思決定をするための方法 です。 【重要】データの扱い方(Amazonセールアプリ編) これだけだと、抽象的すぎてよく分からないですよね。一つ...

コメント

タイトルとURLをコピーしました