顧客行動を理解するための機械学習 “Forecast Flow”ハンズオン・セミナー資料/Forecast Flow Seminar

Transcript

1. 株式会社GRI データで新たな事業を開発していくカンパニー。 GRI Forecast Flow ハンズオン・セミナー 2019/1/25
2. http://gri.jp/service/forecastflow Forecast FlowはGRI社の提供するセルフ予測分析基盤です 最新の情報は下記のリンク先へ 戦略的施策立案を実現することを目指しています 各種お問合せ info@gri.jp
3. ©GRI Inc. CONFIDENTIAL 近年のAI進展の源泉は機械学習 人々の関心や投資を呼び込む
4. ©GRI Inc. CONFIDENTIAL 身の回りのビジネスデータには遠い？ ビジネスマンが 普段使っているデータ 華やかな機械学習事例 トップラインとか、 CVRとかを追いかけているのだが 画像？動画？音声？
5. ©GRI Inc. CONFIDENTIAL 機械学習のためにプログラミングの学習？ 機械学習の結果をビジネスに活用したいのであって、 プログラミングをしたいわけではない
6. ©GRI Inc. CONFIDENTIAL 関係者を説得するのがツライ… KKD（勘と経験と度胸）だけ？ データに基づいた議論ができない…
7. ©GRI Inc. CONFIDENTIAL 関係者と優先順の合意が難しい Retrieved from https://nikkan-spa.jp/381355 組織階層の順位が施策立案の順位で良いのか？ 順位さえ分からないくらい複雑…
8. ©GRI Inc. CONFIDENTIAL 社内のエクセル達人が、すごすぎるけど 頼めば、なんでも表現できる達人 作った人しか分からない巨大エクセル 変更する時には、初回依頼と同じくらい時間が… エクセル達人を育てるのは時間がかかる
9. ©GRI Inc. CONFIDENTIAL 目移りしやすい人でも この前まで興味あるって言っていたが 真剣に取り組む前に、いつも新しいものへ目移り…
10. ©GRI Inc. CONFIDENTIAL 誰でも機械学習できるようにサービス化 • 戦略的に施策立案できるように、機械の予測結果を解釈できることが最優先
11. ©GRI Inc. CONFIDENTIAL 本セミナーでお伝えしたいこと • Forecast Flowは、どんな使い方ができそうなのか？ • 使い方のトリック： 時系列などの集約データから直接数値を予測せず、 個々人の行動変化のような個別データの予測を行う
12. ©GRI Inc. CONFIDENTIAL Forecast Flowでユーザが行うこと • 問題設定 • 何を予測？ • どんな知見を得たい？ • 入力データ • 訓練 • テスト • 予測推論 • 設定ファイル • 機械に解かせる問題 のデータ上の設定を 教える • 精度検証 • 良い精度？ • 解釈レポート • 効く特徴量？ • どんな風に？ • 施策の立案と実施 準備 解釈 Forecast Flow 機械学習 予測モデル
13. ©GRI Inc. CONFIDENTIAL 小売り事例 優良顧客の離反防止 グリーンスタンプ社と共同プロジェクト （小売り向けに、優良顧客の離反防止策を立案するためにFF活用）
14. ©GRI Inc. CONFIDENTIAL 小売り事例（小売りの顧客の典型例） スーパーと消費者の 買い回り スーパーの典型例 ロイヤルカスタマーのピラミッド （購買金額基準の顧客ランク） 顧客 20％ 売上 80% Aランク Bランク Cランク
15. ©GRI Inc. CONFIDENTIAL 小売り事例（行動変容する顧客の差を把握） 機械が予測する内容 • 個人レベルで行動変容を説明するデータを特徴量として準備 • 何が差なのかを把握
16. ©GRI Inc. CONFIDENTIAL 小売り事例（データから離反要因を解釈する） ここでの機械学習の使い方： 改善策を人が考えやすいような解釈レポートを取り出すため
17. ©GRI Inc. CONFIDENTIAL 小売り事例（予測結果を用いて施策活用） 店外販促 （エリア・マーケティング） 店内販促 （重要特徴量のカテゴリ＆競争力あり）
18. ©GRI Inc. CONFIDENTIAL 結局、FFって何がおいしいの？ 入力データの準備 特徴量とパラメタの 高速最適組み合わせ （簡単に数百万の組み合わせ） 解釈レポート 施策立案に集中 Kaggleランカーにお馴染みのアルゴリズムをベースに 最適化アルゴリズムと解釈レポートをGRI流にアレンジ 高速 分かりやすい 汎用的
19. ©GRI Inc. CONFIDENTIAL モニター育成事例（優良モニターの育成） リサーチ・アライアンス事業 リサーチ事業 アンケートモニター 謝礼
20. ©GRI Inc. CONFIDENTIAL モニター育成事例 （モニター会員育成） 調査会社／ 広告代理店 会員 メディア企業 回答者 モニター群 （791万） 謝礼 配信と回収 アンケート 会員提供（メディア会社内部での調査用） モニタス社
21. ©GRI Inc. CONFIDENTIAL モニター育成事例 （問題設定：良いリサーチ集計とは？） Aランク 12日~ Bランク 4~11日 Cランク 1~3日 良いリサーチ集計とは 一般的な回答者から均質的に収集 よく回答するモニターの規定 28日間の回答日数でランク作成 前期28日間ランクから当期の変動予測 Bランクを育成したい
22. ©GRI Inc. CONFIDENTIAL モニター育成事例（施策立案に使える入力データを準備） モニターID ランク変動 年齢 前期回答日数 前期トップメディア 001 UP 35 3 A社 002 STAY 42 2 A社 003 DOWN 25 1 B社 例： 前期Cランクモニターのデータセット 正解 ラベル IDラベル … 特徴量 予測対象 件数 … 行動 デモグラ ※ランクごとに予測モデルを分けているのは、解釈をしやすくするため ※入力データは２種類に分割（重複しないデータ） ・訓練用(Train)： 予測モデル作成に用いる ・テスト用(Test)： 精度検証用 デリバーズ マスタ ポイント 付与履歴 メディア マスタ デリバーズ スペシャル 属性１ デリバーズ スペシャル 属性１ デリバーズ スペシャル 属性１ デリバーズ スペシャル 属性１ デリバーズ スペシャル 属性５ J J J F 入力データ（データセットの作成手順）
23. ©GRI Inc. CONFIDENTIAL モニター育成事例（精度確認して解釈まで進めるか決める） ※単純に、正解率を使わない理由： 全体に1%しか陽性がないデータの場合、全て陰性と予測するアルゴリズムの 正解率は99%の精度となるため Precision（適合率）： 高ければ予測結果にゴミが少ない Recall（再現率）： 高ければ、正解データ数に対して補足できている Support: 該当件数 F1: 適合率と再現率 の調和平均 予測を実行したら予測モデルの精度をみて、予測モデルの解釈をすべきかを決定する
24. ©GRI Inc. CONFIDENTIAL モニター育成事例（精度確認の詳細から精度数値を理解する） 予測モデルの精度の構成比と実数を確認して、より具体的な数値として把握する
25. ©GRI Inc. CONFIDENTIAL モニター育成事例（どの特徴量がランク変動の説明に効くか？） モニターのランク変動（Cランクからの）を説明する特徴量のランキング 獲得ポイント（前期） 年齢 主要メディア（前期回答日数） 登録日からの経過日数（最新メディア） 獲得ポイント（前期主要メディア） 回答数（前期主要メディア） 登録日からの経過日数（初回メディア） 都道府県 回答数（前期） 回答日数（前期）
26. ©GRI Inc. CONFIDENTIAL モニター育成事例（各特徴量が、どのように効くか感度分析） モニターのランク変動（Cランクからの）を説明する特徴量の感度分析 年齢（数値型の特徴量） トップメディア（カテゴリ型の特徴量） このメディアにキャンペーンが効果的 ランク上昇の反応が良い年齢層
27. ©GRI Inc. CONFIDENTIAL 問題によって、色んな入力データの作り方があります • 入力データは３種類の列で構成 • 予測対象のID • 正解ラベル • 特徴量 入力データ 予測対象 ID 正解 ラベル 特徴量 Train（訓練用データ） • • • Test（精度検証用データ） • • • Pred（推論用データ） • • 給料トランザ クション 社員マスタ J 社員の転職予測の入力データの作成例 特徴量 データフロー （データ・パイプライン） 入力データ（訓練、精度検証用）
28. ©GRI Inc. CONFIDENTIAL いきなり上手く行くとは限らないので ◼何回も特徴量を作り直す作業を繰り返す（特徴量エンジニアリング） • 生データから機械学習用のデータセットを作る • 反応した特徴量が分かれば、打ち手に繋がりそうなものを選定する • 分からなければ、とりあえず入れてみて、ドメイン知識を持った人とデータセットを作り直す • Python/Excel/Alteryx/Tableau Prep/SQLなどで自由に作る 測定数値（メジャ） 時間（年月日） 人／組織／会社 商品／サービス／機能 地域 メジャに対する典型的な最小の切り口 （ディメンション） 210 その他のよくある最小ディメンション • デバイス • 流入経路 • 初回フラグ • 理由
29. ©GRI Inc. CONFIDENTIAL センサー事例（IoTとイベント検知） 特殊イベント • センサーデータから特殊イベントを事前に 検知したい（ラベル分類問題） • 生体データをセンサーから取得 • センサーデータの波形の特徴を予測に使う
30. ©GRI Inc. CONFIDENTIAL センサー事例（IoTとイベント検知） 特殊イベント ※時系列予測を使った方が良い場合も多いです スライディング・ウィンドーを用い て特徴量と正解ラベルのペアを作成 正解 ラベル 特徴量 予測対象 件数 正解ラベル IDラベル … 特徴量 スライディング・ウィンドー
31. ©GRI Inc. CONFIDENTIAL 売上予測事例 （ブライダル用カタログギフト） ブライダル用のカタログギフトの 売上金額（回帰問題）を予測 ・販売チャネル ・年月日 ・カタログ種別 ※当初はエクセル職人が予測
32. ©GRI Inc. CONFIDENTIAL 売上予測事例 （ブライダル用カタログギフト） 予測対象 件数 正解 ラベル ID ラベル 特徴量 訓練用、 精度検証用の入力データ … 推論用の入力データ 推論対象 件数 … 年月日 売上金額 前年同日売上金額 月フラグ 曜日フラグ 祝日フラグ 連休フラグ 六曜 2018/10/1 60000 30000 10 3 1 大安 2018/10/2 150000 12000 10 4 仏滅 2018/10/1 30000 30000 10 3 1 大安 販売チャネル、商品区分ごと にデータを作成 年月日 前年同日売上金額 月フラグ 曜日フラグ 祝日フラグ 連休フラグ 六曜 2019/10/1 60000 10 6 友引 2019/10/2 150000 10 7 大安 2019/10/1 30000 10 6 友引
33. ©GRI Inc. CONFIDENTIAL レコメンド事例（おすすめアニメAPI） 今期アニメ 次期アニメ アンケートデータからおすすめアニメのレコメンド（クラス分類） Aさん Bさん Cさん … 視聴意向 視聴実績 https://www.f-ism.net/ebix_news9/index.html 今見ているアニメを教えてくれたら、 AIがあなたにおすすめの次期アニメを レコメンドするシステム 視聴実績と視聴意向の関係性
34. ©GRI Inc. CONFIDENTIAL レコメンド事例（アンケートから入力データを作成） 趣味嗜好（今期視聴アニメ） … デモグラ モニターID 次期視聴意向アニメ 性別 年齢 あかねさす少女 ラディアン キャプテン翼 001けものフレンズ2 男性 17 1 0 1 001かぐや様は告らせたい 男性 17 1 0 1 002上野さんは不器用 女性 32 0 1 1 正解ラベル IDラベル … 特徴量 予測モデル アニメ おすすめAPI 好みの推論システム （パーソナライズ・レコメンド） 予測対象 件数 ※推論のAPI化については、個別相談（2019年4月以降、自動デプロイ機能を追加予定） 推論対象件数
35. ©GRI Inc. CONFIDENTIAL 出力結果と解釈テンプレート • 予測モデルの種類ごとに、Tableau/PowerBIなどのワークブックは転用できる • FFユーザ間で、解釈用のテンプレートを共有できると効率的にできる • 現段階ではCSV出力のみ（将来的にDB出力機能を開発予定） https://public.tableau.com/profile/griinc6648#!/vizhome/TrueFalse/sheet0 Tableau版のテンプレート
36. ©GRI Inc. CONFIDENTIAL Compute Engine ・・・ Container Registry train Cloud Storage pred result 学習データ 予測データ 出力データ 設定情報 model 学習済モデル Compute Engine Cloud SQL 位置情報 気象情報 商品コード ・・・ HTTP pred 検証データ ※開発中 入力画面 入出力データの格納 スケーラブルな 実行環境 共通 テーブル 各種アルゴリズムを 格納したコンテナ 解釈用 ダッシュボード ※都度追加 予測分析実行システム 予測分析解釈システム ※開発中 Forecast Flowのアーキテクチュア
37. ハンズオンへ
38. ©GRI Inc. CONFIDENTIAL Forecast Flow利用申し込み手順 https://form.run/@ForecastFlow 詳細は、サービスホームページへ http://gri.jp/service/forecastflow
39. ©GRI Inc. CONFIDENTIAL Forecast Flowの価格体系 データセットをForecast Flowへ投入し、機械学習による自動予測実行、 および解釈用レポートデータの出力までの範囲 • 予測対象件数ベースの月額従量課金（何回予測を実行してもOK） • 最小予測対象件数：10,000件 • 金額の算定式：Log10 (予測対象件数 / 1000)*10000 ※予測対象件数は、訓練データと精度検証データが含まれます （推論対象件数は従量課金の対象に含みません。APIサービス開始時に変更予定）
40. ©GRI Inc. CONFIDENTIAL サポート ◼運用保守サポート –予測精度向上のための特徴量エンジニアリングのアドバイス –データ・クレンジング方法のアドバイス –費用 ： 1万円/時間で最小契約単位は10時間/月 ◼予測モデル構築サポート –予測モデルの構築（戦略的に何を予測すべきかの選定） –利用可能データの初期分析（十分なデータ量か、データの整然さの確認） –データ・クレンジング（各種データを分析に使えるようにきれいにする） –データ整形（各種データを分析に使えるデータ構造に変換） –予測結果の解釈（どのような知見が得られたかのまとめ、および特徴量の再設 計） –費用： 都度見積もり
41. ©GRI Inc. CONFIDENTIAL 評価用に2月末まで無料で使えるアカウント ◼本セミナーに参加された方は、現在のお知らせいただいたGoogleアカウ ントで2019年2月末まで無償利用可能 ◼予測対象件数の上限： 10,000 –何度でも予測実行可能 –予測対象IDの使いまわしはNG ◼使い勝手のフィードバックをお願いします –Slack招待アドレス（運営からのレスは弱いですが） – https://join.slack.com/t/forecastflowusers/shared_invite/enQtNTMwMzMxMDY1NTUzLWUzNWVkNWRmMzM3ODNhYjk1ZGQzYTcxMzE5Y mNkZGQ2OGE5M2YwODY4MTdhNWI4MmZiZDMzYTgwNzBjYjVkYzI ◼2019年3月中旬ごろに事例共有会の予定 –共有したい方がいる場合
42. ©GRI Inc. CONFIDENTIAL 現在の制約と今後のロードマップ 入力データの 登録画面の作成 入力データの 整形プログラム 解釈用の テンプレート 追加 予測推論 API化 利用状況の確認 解釈用DB連携 Time 要望状況に応じて、優先順を決定
43. ©GRI Inc. CONFIDENTIAL Forecast Flowを使うと欲しくなるもの 利用可能なデータ 素敵なデータ基盤/可視化基盤 分析に関する社内教育 データに基づいた施策立案の定着 分析の分かりあえる人たち （外部でも） それ以外の便利システム （時系列予測、自然言語処理、グラフ 理論、最適化） この後の個別相談会へ 施策立案用アナリティクス コミュニティ まずはslackから 気軽に 今後の開発に期待 • スーパーのID-POS利用： グリーンスタンプ様 • エンタメに関する調査データ： Gzブレイン様 • その他のデータ販売社様も募集 投資（この後の個別相談会）
44. GRI株式会社の説明
45. ©GRI Inc. 事業コンセプト データで新たな事業を開発していくカンパニー。 挑戦することと企業の規模は無関係! テクノロジーの革新により、データを利活用した事業創造が可能になった時代だと考えています。それに応えるには 裏づけのある具体的な企画と事業を推進する圧倒的な意志が必要です。大企業の中で事業を創造するのも、ちいさな 会社を作り上げるのも、やることに大差はありません。だからこそ、我々は起業家精神（entrepreneurship）を失 うことを恐れる会社でありたいと思います。 当社の事業ドメインは、「解析（analysis）」を核とした事業開発です。 POSデータやWebログ、位置情報データ、センシングデータ、臨床実験データあるいは、環境測定データまで、あら ゆるデータを利活用して事業開発に役立てることに挑戦していきます。
46. ©GRI Inc. スローガン（目指すところ） ◼ 事業モデル： -「資本」に「企画と解析技術」を提供して「事業開発」を実現する - 事業開発支援として人材と技術の移転をする - 実践的な研究開発と人材の育成をする 資本 企画・解析技術 システム開発 事業開発 事業会社
47. ©GRI Inc. GRI WAY－事業企画から始めよう データ 食材 解析技術 料理法 企画！ メニュー ≒ ≒ ≒ BIG DATAもAI（人工知能）も企画によって活かされる + = リーズナブルで美味しい メニューを考える 調理器具とレシピを選ぶ 食材を集める 下ごしらえする
48. ©GRI Inc. CONFIDENTIAL 48 分析サービスの領域にこだわりはないです ・天候データ・地形や地質データなど ・レセプト（請求書）・診療情報など ・POSデータ・Web行動履歴など ・位置データ・電力消費データなど データに依存しない解析技術。
49. ©GRI Inc. 取引先のみなさま
50. ©GRI Inc. 会社概要 会社名 株式会社GRI （GRI Inc.） http://gri.jp 所在地 〒105-0011 東京都港区芝公園1-3-8 苔香園ビル5F 設立 2009年2月 資本金 4,600万円 代表者 代表取締役CEO 上野 勉 代表取締役COO 利齋 公晴 社員数 社員 18名、グループ会社含めて 計20名 事業内容 １．BIG DATAを利活用した事業開発に関わる支援 ２．BIG DATAの収集および、BIG DATAの解析 ３．BIG DATAの分析基盤（クラウド）の構築、見える化システムの提供 ４．セルフ型ネットリサーチサービスの提供 ５．AI型マッチングエンジンの開発 ６．自然言語処理エンジンの導入、AI型チャットサービスの開発 ７．Eコマースサイトの構築、パーソナライズエンジンの開発 ８．データサイエンスまたは、人口知能（AI）分野における研究・研修・情報発信など 関連会社 株式会社アートダイジェスト（出版・編集、コンテンツ制作） 事業提携先 カルチュア・コンビニエンス・クラブ株式会社 株式会社日本リサーチセンター
51. ©GRI Inc. 分析に関する取り組み 分析サービス ・データ解析 ・AIシステム開発 ・可視化ダッシュボード構築 ・Tableau/PowerBI/Grafana/JS ・データ整形／クレンジング ・Python/TableauPrep/Talend SPSS Modeler/Alteryx ・分析基盤構築 ・分析基盤アーキテクト ・分析業務コンサルテーション ・データドリブンカルチャ醸成 ・分析官教育 ・保守運用 適応手法 ・機械学習 ・クラスタリング ・コミュニティ特定 ・画像解析 ・時系列解析 ・逐次オンライン分析 ・自然言語処理 ・チャットボット ・最適化（混合整数計画法） ・クローリング ・スクレーピング 対象データ ・会員行動データ ・ID-POS ・Webログ ・広告関連データ ・TV視聴 ・Webログ ・会計データ ・財務/管理会計 ・生産物流データ ・人事管理データ ・生体信号データ ・IoTセンサー ・地理情報データ