データマイニングを実施する方法とポイント
第2回、第3回では分析手法「CRISP-DM」に従った手法を紹介しました。データマイニングは、確立された手法があればそれに従うことで、遂行することはできます。しかし、実はこういった手法に従うこと以前に、データマイニングの大前提として必要な要素があります。 この大前提がしっかりしていれば、あとは「CRISP-DM」などの手法に従えば問題ありません。極論すれば「確立されたものであれば手法は問わない」と言えます。逆に大前提がしっかり整っていなければどんな優れた手法を採用してもデータマイニングは成功しません。 そしてこの大前提の要素はマイニング手法の中で逐次参照・利用されます。この要素は3つあり、ここでは「3つの掟」と称します。この掟を守る（準備して整える）ことにより、初めてデータマイニングが手法に従って遂行でき、その結果をビジネス・業務に展開、そして課題や目標のクリアという心地よい状態が実現できます。
図1：CRISP-DM概要
【掟1】 ビジネスの課題と目標 (カダイ)
第2回でも言及していますが、これは最も重要な要素です。「データはある。しかも何年も蓄積されたデータだ。だからこれをマイニングツールに読み込ませれば、きっと今まで気づかなかった『何か」をアウトプットしてくれるに違いない』という、「目標なき期待」は避けなければなりません。 確かに、長年研究されてきたアルゴリズムは、スーパーマーケットの購買データを分析した結果、「ビールを買う人は、同時に紙おむつを買う」という人間の感覚では気づかなかった、想像できなかった仮説を発見しました。その結果を踏まえ、おそらく「CRISP-DM」(図：1)の「フェーズ6：展開」においてこの仮説をビジネス・業務に展開する際、ビールの横に紙おむつを陳列し、これらを一緒に購入する顧客が増え、このスーパーマーケットは売上を伸ばすことができたのかもしれません。 しかしながら、売上はもちろん、利益、顧客満足度、CLTV(*1)などのビジネスおよび経営の課題や目標はクリアできたのでしょうか？ つまり、マイニングの結果は、課題解決または目標達成の実績を評価すべきで、そのためには解決すべき課題や達成目標をあらかじめ設定しなければなりません。データマイニングはマイニングを実施した時点で終わりではなく、むしろマイニングを行った後が重要なのです。すなわち、データマイニングは「魔法の箱」ではないのです。 *1：Customer Life Time Valueの略語、顧客生涯価値。1人（1社）の顧客が取引を始めてから終わりまでの期間（顧客ライフサイクル）を通じて、その顧客が企業やブランドにもたらす損益を累計して算出したマーケティングの成果指標のこと。【掟2】 社内推進体制 (ヒト)
マイニングプロジェクトをより効果的にするために、施策実行の担当者もしくはチームを設定することが重要です。市場や商品の変化と伴い課題や目標も変化します。その結果、データマイニングも変化するため、分析を繰り返し継続して実施することが必要です。「終わりなき戦い」のための社内体制が不可欠です。 米国の経営誌『ハーバード・ビジネス・レビュー』（2012年10月号）が、データサイエンティストは「今世紀でもっともセクシーな職業」だと評しました。アナリティクスを活用する企業が成功を収めているという事例から、また「ビッグデータ」という言葉の流行も加わって、データサイエンティストが注目され、日本においても大手企業を中心にデータサイエンティスト個人もしくはチームが脚光を浴びていました。 例えばAmazonは顧客の購買パターンをデータサイエンティストが分析し、顧客が他のサイトを訪れた際に、ターゲット広告をリアルタイムに選定し、表示して実績を上げています。ところが2014年には早くも「データサイエンティストは消滅する」と言われました。一般のビジネスマンもデータを扱い、分析する時代がすでに来ているということです。データサイエンティストに必要なスキルは以下（図2）と言われています。
図2：データサイエンティストに必要なスキル
もちろん、これらのスキルを1人の担当者で持つことは難しいでしょう。現実的にはデータサイエンティストチームとしてこのスキルを保有することになります。では、このようなスキルを一般のビジネスマンが持ち、分析を実施して業務に展開できることができるのでしょうか？ やはり、然るべき担当者やチームが必要です。 次に、こういったスキルを社内の人材だけで賄うことができるのか？という懸念もあります。少なくとも、ビジネススキルの部分、業務知識や課題・目標設定、評価を行うにあたってはそれらの経験や知見がある社内の人材が必須です。その担当者またはチームは社内の人材であるべきです。 なぜならば、前述のとおり、データマイニングの結果をビジネスや業務に展開し評価できなければ、データマイニングプロジェクトは成功できないからです。業務知識がなければ展開も評価もできません。一方で分析やITのスキルは、外部のコンサルティングサービスを利用したり、トレーニングサービスを受講したりし、スキルを身に付けることができます。 参考資料： データサイエンティスト講座（株式会社アイ･ラーニング） ただし、分析のアルゴリズムの詳細まで探求・習得する必要はなく、この部分はマイニングツールの機能に任せておけばよいでしょう。そして可能であればいつまでも外部任せにせずに、社内の人材がこれらのサービスや教育メニューからスキルを身に付け、社内のメンバーのみによるマイニングプロジェクトを遂行して行くことが理想です。 つまり、「データサイエンティスト」という名称に固執する必要は全くありません。こういったスキルを持つチーム・体制が社内に必要であるということがです。データサイエンティストは消滅するのではなく、業務に携わる現場のメンバーも含めたチームになるというのが現実的な姿と考えます。【掟3】 データの所在 (モノ)
第2回「CRISP-DM」の「フェーズ2.データの理解」と「フェーズ3．データの準備」で、データマイニング工数の70%～80%が費やされると説明しました。これに先立ち、対象となるデータの所在が明らかすることで、具体的な作業となるデータの欠損値の処理や加工などのクレンジングや統合を進めることができます。 データは、あるひとつのサーバーに保存されている場合もあるかもしれませんが、いくつかのサーバーに分散されて保存されているケースが多いでしょう。また、マイニングを進めて行くに従い、対象データの種類が増えて行く場合もあります。 これは特にフェーズ2.データの理解の作業でも必要になりますが、どのようなデータか？を理解するにあたり、まずは「どこに、何が」存在しているか？がわかる情報が必要です。テーブル関連図がアップデートされていない古いものだったり、一部が欠落していたり、部分的に担当者の記憶頼りだったりする状況を改善する必要があるでしょう。マイニング作業に入る前に、データの所在について整理し不足部分はドキュメント化しておく必要があります。 これを行っておけば、マイニング手法に従った作業からの手戻りや、手戻りした結果最初からやり直し、さまざまな輻輳や混乱も防ぐことができます。第4回のまとめとして、データマイニング3つの掟を図に表しています。語呂良く、「ヒト・モノ・カダイ」と覚えていただくとよいと思います。
図3：データマイニング3つの掟 (ヒト・モノ・カダイ)
次回は、「詳細まで探求・習得する必要はなく、この部分はマイニングツールの機能に任せておけばよい」と今回説明した「アルゴリズム」について、わかりやすく解説します。私も含め、理系頭でない方にもわかるように書く予定ですのでお楽しみに。
