BtoB分野のデータサイエンティストとして5年生きた四方山話をする / A message about a data scientist in the BtoB field for 5years

by 吉田勇太 / ysdyt

Slide 1

Slide 1 text

2019-09-26　 Data Gateway Talk Vol.3 BrainPad Inc. Yuta Yoshida BtoB分野のデータサイエンティストとして 5年生きた四方山話をする新卒一年目の新卒研修の様子です

Slide 2

Slide 2 text

- 吉田勇太 / ysdyt（@yutatatatata） - 株式会社ブレインパッド新卒5年目 - リードデータサイエンティスト - 画像分析・機械学習システムの導入など - 社外 - 東洋大学情報連携学部（INIAD）非常勤講師 - Data Analyst Meetup Tokyo 運営メンバー自己紹介

Slide 3

Slide 3 text

- 機械学習システムによる人間作業の自動化 - 熟練者の作業の機械模倣による技術の保存　などが好きです機械学習の社会実装に興味があります speakerdeck.com/ysdyt で資料公開しています

Slide 4

Slide 4 text

BtoB企業こそボトムアップ的な技術者ブランディングが超重要だと信じる宗教に入ってる者です白金鉱業 Meetup DSの勉強会・交流会イベント OpenBrainPad 社内の神資料のネット公開白金鉱業.FM DS社員と業界の小話Podcast #白金鉱業 #白金鉱業fm #OpenBP 弊社DS部門の外部ブランディング活動をやっています

Slide 5

Slide 5 text

受託分析サービスとは引用: 受託分析企業に約 8年勤めて思うこと

Slide 6

Slide 6 text

弊社の場合の分析チームと期間 - PM1名、DSの作業メンバー1~2名、営業1名、（+分析アドバイザー1名）がよくある分析チーム構成 - 1案件だいたい3ヶ月~ 受託案件のデリバーの流れここに「分析」が入ってだいたい3ヶ月~ ここの期間はクライアントによってまちまち

Slide 7

Slide 7 text

データならあるので何かわかりませんかぁぁぁー AIで何ができますかああぁぁぁ更に高精度なモデルを分析プロの方にいいぃぃぃ（byドメイン知識持ってるその道のプロ）これ自動化できますかあああ追加データの形式違いますが大丈夫でしょうかああああデータ提供1ヶ月遅れますがああああああいろんなタイプの魔球を投げるクライアント達

Slide 8

Slide 8 text

画像分析マン最適化マンマーケティング分析マンビジネス要件定義強いマン分析オールマイティーマン機械学習マンプロSQL クエラーでも、あらゆる業界でいろんなタイプの球を打ち返せるDSが弊社には（誰かしら）います

Slide 9

Slide 9 text

データサイエンティストがたくさんいる会社です https://ai.brainpad.co.jp/people/list/ 最新では100名！

Slide 10

Slide 10 text

受託分析サービスの特徴 - 受託分析の主な特徴 - クライアントによって扱うデータが異なる - 扱う議題も多種多様 - 取り得るアプローチも様々 - 短期の分析をたくさん回す - 幅広い知識・経験が求められることに加えて、短期で様々な案件を回すので受託分析特有の難しさが存在します

Slide 11

Slide 11 text

「事業会社の分析」と「受託分析」のイメージ引用: 受託分析企業に約 8年勤めて思うこと

Slide 12

Slide 12 text

受託分析現場で5年仕事をやってきて「分析」について感じていることこのあたりの話題を切り口に、いろいろ思ってることを話します ■ 分析の目的はビジネス課題の解決 ■ 顧客が欲しいのは「意思決定」？ ■ 分析の仕事と「コミュニケーション」

Slide 13

Slide 13 text

1.TV放送局業界・・・webサイトKPI設計とアクセス分析など、分析コンサル 2.食品加工工場・・・深層学習を用いた食品不良品検知の画像AIシステム構築 3.化粧品生産工場・・・深層学習を用いた不良製品検知の画像AIシステム構築 4.交通インフラ系企業・・・深層学習を用いた利用者数予想分析 5.伝統産業の現場・・・職人の判断を深層学習で再現するツールの作成その他内緒のやつなど... BPでは一般的かやや少ないくらい（？）の案件バラエティー自分の案件遍歴

Slide 14

Slide 14 text

分析の目的はビジネス課題の解決

Slide 15

Slide 15 text

分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない

Slide 16

Slide 16 text

例えば、すごく心配性の人に「明日雨降りそうって聞いたけど降水確率って何％？」と聞かれるとします。    「90%と10%だったらどう変わるの？」と聞き返したら、「どっちみち傘を持って行きます」みたいな。    これですと結局、意思決定は変わらないので、分析する必要はないですよね。   実は、こういうことって結構あるんですよ。     ですので、分析の依頼があった時にも場合によっては「分析の結果がAだった場合とBだった場合で、意思決定は変わりそうですか？」ということは聞きますね。     それで「うーん」みたいな感じだと、その分析はさほど必要ではないということになります。      引用:「大げさな分析資料はいらない。メルカリの「意思決定」を支えるデータアナリストの役割」

Slide 17

Slide 17 text

分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない意思決定を変えない、現場に使われない分析は不要（= 常に分析の出口を意識する）

Slide 18

Slide 18 text

分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない意思決定を変えない、現場に使われない分析は不要顧客が欲しいのは意思決定をするための判断材料

Slide 19

Slide 19 text

分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない意思決定を変えない、現場に使われない分析は不要顧客が欲しいのは意思決定をするための判断材料実際はもうちょっと違うような気がしている

Slide 20

Slide 20 text

ビジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PM DS 開発者 PJ責任者ざっくり受託分析の流れ

Slide 21

Slide 21 text

ビジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PM DS 開発者 PJ責任者一般的な”受託分析サービス”の領域

Slide 22

Slide 22 text

ビジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PM DS 開発者 PJ責任者最近ニーズが多いのは「アルゴリズムのシステム化」までやるタイプ

Slide 23

Slide 23 text

ビジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PM DS 開発者 PJ責任者あるいは全部

Slide 24

Slide 24 text

ビジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PM DS 開発者 PJ責任者実は顧客が一番喜んでくれるところ...？

Slide 25

Slide 25 text

顧客が欲しいのは「意思決定」？

Slide 26

Slide 26 text

顧客が欲しいのは意思決定をするための判断材料？ - いや、もっというと「意思決定そのもの」かも？ - 「判断すること」が難しくなる社会 - 人間関係やテクノロジーが複雑になるにつれて社会の解像度が下がっている - 複雑で緻密な「データサイエンス」分野ではなおさら - プロに最終決定（≒意思決定）を出してほしいという声があってもおかしくない

Slide 27

Slide 27 text

ビジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PM DS 開発者 PJ責任者しかしこれはデータサイエンティストの仕事範疇か？ビジネスコンサルの領域？

Slide 28

Slide 28 text

どこまでを「自分の仕事」と捉えるか - どこまでを「自分の仕事」と捉えるかで「どの方向へのプロを目指すか」が変わってくるかも - ① PJ達成をゴールにするならやはり全部。そして全部やり始めると「ビジネスがわかるアナリスト」の価値が重宝されるのでビジネス側にキャリアが傾く傾向 - ② アルゴリズムの成功までをスコープにするのももちろんあり。ただ、技術者（研究者含む）の中のtop of topと一生戦う茨の道を覚悟をする必要がある

Slide 29

Slide 29 text

一般的なプロジェクトの役割をざっくり3つに分けると - エグゼキューター　・・・ DS, エンジニアなど実際にビルドしていく人 - ディレクター　・・・　用意された舞台の中で最高のものを作る人。監督。 - プロデューサー　・・・　お金や人材を含め魅力的な舞台を用意する人引用: Takram Cast 『イノベーション・スキルセット』対談シリーズ 1

Slide 30

Slide 30 text

日本は”エグゼキューター”に過剰に価値を置いている（ように見える） PM DS 開発者ディレクターエグゼキュータープロデューサーエグゼキュータービジネス課題特定分析設計分析作業意思決定自動化課題問題設定アルゴリズム判断材料 PJ責任者やりがいや楽しさもイメージしやすいでもここも楽しいぞ

Slide 31

Slide 31 text

DSが上流工程系の仕事にジョブチェンジしてるのは...？プロデューサー PM DS 開発者ディレクターエグゼキューターエグゼキューター例: 上流コンサルソリューション系 UIUXデザイン系新規事業開発ベンチャー系用意された舞台ではなく、自身で舞台自体から設計する楽しさ ※単純に、不確実性の高い内容を扱える人の方がお賃金が高いという大人の事情も a（ごにょごにょ）

Slide 32

Slide 32 text

分析の仕事と「コミュニケーション」

Slide 33

Slide 33 text

事業会社のDSによく聞かれる質問 - 「お客さんの期待する精度までいかなかったらどうなるの？炎上？」 - 「技術的に難しくて解けない問題だったらどうする？」実際あまり問題ではない

Slide 34

Slide 34 text

事業会社のDSによく聞かれる質問 - 「お客さんの期待する精度までいかなかったらどうなるの？炎上？」 - 「技術的に難しくて解けない問題だったらどうする？」実際あまり問題ではない - → 事前に期待値調整をして、精度が出なかった場合の代案を出しておく - → 問題を整理し、他のアプローチで解く「分析が失敗して燃える」ということは（絶対とは言えないが）まぁほぼ無い

Slide 35

Slide 35 text

燃えるとすれば何が原因か？ - 「お客さんの期待する精度までいかなかったらどうなるの？炎上？」 - 「技術的に難しくて解けない問題だったらどうする？」実際あまり問題ではない - → 事前に期待値調整をして、精度が出なかった場合の代案を出しておく - → 問題を整理し、他のアプローチで解く「分析が失敗して燃える」ということは（絶対とは言えないが）まぁほぼ無いここのコミュニケーションが上手くいってなかった場合

Slide 36

Slide 36 text

コウカイサキ二タタズ - 「ここのデータ持ってる人と話を付けておけば...」 - 「あそこのエンジニアを早めにmtgに巻き込んでおけば...」 - 「あの偉い人に早めにインプットしておけば...」 - 「この質問を先に聞けていれば...」 - 「Aさんの前にBさんと先に握っておけば...」 - 「先方担当者のレポートラインを知っておけば...」 - 「クライアント企業の予算取り時期を先に知っていれば...」だんだん察知能力が高くなっていくが、基本的にはコミュニケーションを重ねるしか無い

Slide 37

Slide 37 text

特に「期待値調整」が大切分析は何がアウトプットになるかわかりにくい - 有形商材 = 見たまんまのもの = 期待値ズレない - 無形商材 = アウトプットわからない = 期待値ズレやすいコミュニケーションとラピッドプロトタイピングが鍵

Slide 38

Slide 38 text

ラピッドプロトタイピングで具体物を早く出してイメージを具体化する実際、人間は具体物がないと正しくディスカッションできない分析設計たくさんの技術検証初期モデル俺の考えた最強のモデル図引用: イノベーションスキルセット（田川欣哉著）

Slide 39

Slide 39 text

ラピッドプロトタイピングで具体物を早く出してイメージを具体化する - 具体物があることでコミュニケーションの質が上がる - 「画像認識するAIを作りたい！」→ 「あ、簡易センサーの組み合わせとif文でいけそうですね」 - 期待値を素早く修正し、お客さんと正しく成果物についてコミュニケーションしていくためにもプロトタイピングを素早く（Kagglerはプロトタイプのスピードと分析の引き出しが多いのでツヨイ）スピード・イズ・ゴッドと深津さんも言っている https://note.mu/fladdict/n/n6a96cd4abeeb

Slide 40

Slide 40 text

おそらくデータ分析・機械学習社会実装のハードルは「人間の感情」「無理解」 - 各家庭に繋がる古い水道管で汚染水問題が発生→掘り出して交換が必要 - 機械学習で交換必要性が高い水道管を予想。交換優先度をつける。 - 優先度が低い住民がクレーム。「なぜ自分は後回しなんだ！」 - 機械学習の内容や結果を住民にわかりやすく説明できない実施側 - 機械学習の結果を無視し、 ”平等に”パイプを調べて交換するようになる - 結果、交換対応が遅れて被害が拡大 https://note.mu/datascience/n/nde5bd9d68afe 「期待値調整」はポエムか？

Slide 41

Slide 41 text

- 例えば、「AIプロジェクトをやるぞ！」というクライアントに「では業務フローの洗い出しから…」「アノテーションから...」とお願いするとプロジェクト全体の士気が下がる - PoCで良い結果を出したり、試作機など動くものを作ってチームの熱量が高まったところでお願いをするというコミュニケーションもやり方の一つ「正しいやり方」と「人間のモチベーション」は別物

Slide 42

Slide 42 text

まとめ

Slide 43

Slide 43 text

BtoB分野で五年生きた四方山話 ■ 分析の目的はビジネス課題の解決 - 「分析をすること」が目的ではない - 常に分析の出口を意識する ■ 顧客が欲しいのは「意思決定」？ - 「100%正しい答え」ではなく「プロの判断」を期待されている - 意思決定するための情報と共に、「意思決定自体の叩き台」も期待しているかも ■ 分析の仕事と「コミュニケーション」 - 素早いプロトタイピングでコミュニケーションを具体化し期待値を調整し続ける - 「正しいやり方」に固執せず、PJメンバー全体の「理解」と「モチベーション」を得る

Slide 44

Slide 44 text

ではデータ分析や、機械学習の社会実装を通じて社会を良くしていく仲間を大募集中です！分析のことでも会社のことでも、気軽に話しかけてください！ Twitter: @yutatatatata