BtoB分野のデータサイエンティストとして5年生きた四方山話をする / A message about a data scientist in the BtoB field for 5years

2019.9.26 Data Gateway Talk Vol.3の「先輩枠」で話した内容です。
https://data-gateway-talk.connpass.com/event/140541/

Transcript

1. 2019-09-26　 Data Gateway Talk Vol.3 BrainPad Inc. Yuta Yoshida BtoB分野の データサイエンティストとして 5年生きた四方山話をする 新卒一年目の新卒研修の様子です
2. - 吉田勇太 / ysdyt（@yutatatatata） - 株式会社ブレインパッド新卒5年目 - リードデータサイエンティスト - 画像分析・機械学習システムの導入など - 社外 - 東洋大学 情報連携学部（INIAD） 非常勤講師 - Data Analyst Meetup Tokyo 運営メンバー 自己紹介
3. - 機械学習システムによる人間作業の自動化 - 熟練者の作業の機械模倣による技術の保存 　などが好きです 機械学習の社会実装に興味があります speakerdeck.com/ysdyt で資料公開しています
4. BtoB企業こそボトムアップ的な技術者ブランディングが超重要だと信じる宗教に入ってる者です 白金鉱業 Meetup DSの勉強会・交流会イベント OpenBrainPad 社内の神資料のネット公開 白金鉱業.FM DS社員と業界の小話Podcast #白金鉱業 #白金鉱業fm #OpenBP 弊社DS部門の外部ブランディング活動をやっています
5. 受託分析サービスとは 引用: 受託分析企業に約 8年勤めて思うこと
6. 弊社の場合の分析チームと期間 - PM1名、DSの作業メンバー1~2名、営業1名、（+分析アドバイザー1名）がよくあ る分析チーム構成 - 1案件だいたい3ヶ月~ 受託案件のデリバーの流れ ここに「分析」が入って だいたい3ヶ月~ ここの期間はクライアントによってまちまち
7. データならあるので 何かわかりませんかぁぁぁー AIで何ができますかあ あぁぁぁ 更に高精度なモデルを 分析プロの方にいいぃぃぃ （byドメイン知識 持ってるその道のプロ） これ自動化できますかあああ 追加データの形 式違いますが大 丈夫でしょうか ああああ データ提供1ヶ月遅れますがあ あああああ いろんなタイプの魔球を投げるクライアント達
8. 画像分析マン 最適化マン マーケティング 分析マン ビジネス要件 定義強いマン 分析オールマ イティーマン 機械学習マン プロSQL クエラー でも、あらゆる業界でいろんなタイプの球を打ち返せるDSが弊社には （誰かしら）います
9. データサイエンティストがたくさんいる会社です https://ai.brainpad.co.jp/people/list/ 最新では100名！
10. 受託分析サービスの特徴 - 受託分析の主な特徴 - クライアントによって扱うデータが異なる - 扱う議題も多種多様 - 取り得るアプローチも様々 - 短期の分析をたくさん回す - 幅広い知識・経験が求められることに加えて、短期で様々な案件を回すので受託 分析特有の難しさが存在します
11. 「事業会社の分析」と「受託分析」のイメージ 引用: 受託分析企業に約 8年勤めて思うこと
12. 受託分析現場で5年仕事をやってきて「分析」について感じていること このあたりの話題を切り口に、いろいろ思ってることを話します ▪ 分析の目的はビジネス課題の解決 ▪ 顧客が欲しいのは「意思決定」？ ▪ 分析の仕事と「コミュニケーション」
13. 1.TV放送局業界・・・webサイトKPI設計とアクセス分析など、分析コンサル 2.食品加工工場・・・深層学習を用いた食品不良品検知の画像AIシステム構築 3.化粧品生産工場・・・深層学習を用いた不良製品検知の画像AIシステム構築 4.交通インフラ系企業・・・深層学習を用いた利用者数予想分析 5.伝統産業の現場・・・職人の判断を深層学習で再現するツールの作成 その他 内緒のやつなど... BPでは一般的か やや少ないくらい（？）の案件バラエティー 自分の案件遍歴
14. 分析の目的はビジネス課題の解決
15. 分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない
16. 例えば、すごく心配性の人に「明日雨降りそうって聞いたけど降水確率って何％？」と聞か れるとします。
 
 「90%と10%だったらどう変わるの？」と聞き返したら、「どっちみち傘を持って行きます」 みたいな。
 
 これですと結局、意思決定は変わらないので、分析する必要はないですよね。 
 実は、こういうことって結構あるんですよ。 
 
 ですので、分析の依頼があった時にも場合によっては「分析の結果がAだった場合とBだった 場合で、意思決定は変わりそうですか？」ということは聞きますね。 
 
 それで「うーん」みたいな感じだと、その分析はさほど必要ではないということになりま す。
 
 
 引用:「大げさな分析資料はいらない。メルカリの「意思決定」を支えるデータアナリストの役割」
17. 分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない 意思決定を変えない、現場に使われない分析は不要 （= 常に分析の出口を意識する）
18. 分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない 意思決定を変えない、現場に使われない分析は不要 顧客が欲しいのは意思決定をするための判断材料
19. 分析の目的はビジネス課題の解決 - なので、決して分析をすることが目的ではない - 課題を解決できるなら簡単な分析に越したことはない - 顧客に対する「説明可能性」は常に考える - なので大体の場合、深層学習はお呼びでない 意思決定を変えない、現場に使われない分析は不要 顧客が欲しいのは意思決定をするための判断材料 実際はもうちょっと違うような気がしている
20. ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PM DS 開発者 PJ責任者 ざっくり受託分析の流れ
21. ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PM DS 開発者 PJ責任者 一般的な”受託分析サービス”の領域
22. ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PM DS 開発者 PJ責任者 最近ニーズが多いのは「アルゴリズムのシステム化」までやるタイプ
23. ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PM DS 開発者 PJ責任者 あるいは全部
24. ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PM DS 開発者 PJ責任者 実は顧客が一番喜んでくれるところ...？
25. 顧客が欲しいのは「意思決定」？
26. 顧客が欲しいのは意思決定をするための判断材料？ - いや、もっというと「意思決定そのもの」かも？ - 「判断すること」が難しくなる社会 - 人間関係やテクノロジーが複雑になるにつれて社会の解像度が下がっている - 複雑で緻密な「データサイエンス」分野ではなおさら - プロに最終決定（≒意思決定）を出してほしいという声があってもおかしくない
27. ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PM DS 開発者 PJ責任者 しかしこれはデータサイエンティストの仕事範疇か？ ビジネスコンサルの領域？
28. どこまでを「自分の仕事」と捉えるか - どこまでを「自分の仕事」と捉えるかで「どの方向へのプロを目指すか」が変わっ てくるかも - ① PJ達成をゴールにするならやはり全部。そして全部やり始めると「ビジネ スがわかるアナリスト」の価値が重宝されるのでビジネス側にキャリアが傾く 傾向 - ② アルゴリズムの成功までをスコープにするのももちろんあり。ただ、技術 者（研究者含む）の中のtop of topと一生戦う茨の道を覚悟をする必要があ る
29. 一般的なプロジェクトの役割をざっくり3つに分けると - エグゼキューター　・・・ DS, エンジニアなど実際にビルドしていく人 - ディレクター　・・・　用意された舞台の中で最高のものを作る人。監督。 - プロデューサー　・・・　お金や人材を含め魅力的な舞台を用意する人 引用: Takram Cast 『イノベーション・スキルセット』対談シリーズ 1
30. 日本は”エグゼキューター”に過剰に価値を置いている（ように見える） PM DS 開発者 ディレクター エグゼキューター プロデューサー エグゼキューター ビジネス課題特定 分析設計 分析作業 意思決定 自動化 課題 問題設定 アルゴリズム 判断材料 PJ責任者 やりがいや楽しさもイメージしやすい でもここも楽しいぞ
31. DSが上流工程系の仕事にジョブチェンジしてるのは...？ プロデューサー PM DS 開発者 ディレクター エグゼキューター エグゼキューター 例: 上流コンサル ソリューション系 UIUXデザイン系 新規事業開発 ベンチャー系 用意された舞台ではなく、自 身で舞台自体から設計 する楽しさ ※単純に、不確実性の高い内容を扱える人の方が お賃金が高いという大人の事情も a（ごにょごにょ）
32. 分析の仕事と「コミュニケーション」
33. 事業会社のDSによく聞かれる質問 - 「お客さんの期待する精度までいかなかったらどうなるの？炎上？」 - 「技術的に難しくて解けない問題だったらどうする？」 実際あまり問題ではない
34. 事業会社のDSによく聞かれる質問 - 「お客さんの期待する精度までいかなかったらどうなるの？炎上？」 - 「技術的に難しくて解けない問題だったらどうする？」 実際あまり問題ではない - → 事前に期待値調整をして、精度が出なかった場合の代案を出しておく - → 問題を整理し、他のアプローチで解く 「分析が失敗して燃える」ということは（絶対とは言えないが）まぁほぼ無い
35. 燃えるとすれば何が原因か？ - 「お客さんの期待する精度までいかなかったらどうなるの？炎上？」 - 「技術的に難しくて解けない問題だったらどうする？」 実際あまり問題ではない - → 事前に期待値調整をして、精度が出なかった場合の代案を出しておく - → 問題を整理し、他のアプローチで解く 「分析が失敗して燃える」ということは（絶対とは言えないが）まぁほぼ無い ここのコミュニケーションが上手くいってなかった場合
36. コウカイ サキ二 タタズ - 「ここのデータ持ってる人と話を付けておけば...」 - 「あそこのエンジニアを早めにmtgに巻き込んでおけば...」 - 「あの偉い人に早めにインプットしておけば...」 - 「この質問を先に聞けていれば...」 - 「Aさんの前にBさんと先に握っておけば...」 - 「先方担当者のレポートラインを知っておけば...」 - 「クライアント企業の予算取り時期を先に知っていれば...」 だんだん察知能力が高くなっていくが、 基本的にはコミュニケーションを重ねるしか無い
37. 特に「期待値調整」が大切 分析は何がアウトプットになるかわかりにくい - 有形商材 = 見たまんまのもの = 期待値ズレない - 無形商材 = アウトプットわからない = 期待値ズレやすい コミュニケーションとラピッドプロトタイピングが鍵
38. ラピッドプロトタイピングで具体物を早く出してイメージを具体化する 実際、人間は具体物がないと正しくディスカッションできない 分析設計 たくさんの技術検証 初期モデル 俺の考えた 最強のモデル 図引用: イノベーションスキルセット（ 田川 欣哉 著）
39. ラピッドプロトタイピングで具体物を早く出してイメージを具体化する - 具体物があることでコミュニケーションの質が上がる - 「画像認識するAIを作りたい！」→ 「あ、簡易センサーの組み合わせとif文で いけそうですね」 - 期待値を素早く修正し、お客さんと正しく成果物についてコミュニケーションしてい くためにもプロトタイピングを素早く （Kagglerはプロトタイプのスピードと分析の引き出しが多いのでツヨイ） スピード・イズ・ゴッドと深津さんも言っている https://note.mu/fladdict/n/n6a96cd4abeeb
40. おそらく データ分析・機械学習社会実装のハードルは「人間の感情」「無理解」 - 各家庭に繋がる古い水道管で汚染水問題 が発生→掘り出して交換が必要 - 機械学習で交換必要性が高い水道管を予 想。交換優先度をつける。 - 優先度が低い住民がクレーム。「なぜ自分 は後回しなんだ！」 - 機械学習の内容や結果を住民にわかりや すく説明できない実施側 - 機械学習の結果を無視し、 ”平等に”パイプ を調べて交換するようになる - 結果、交換対応が遅れて被害が拡大 https://note.mu/datascience/n/nde5bd9d68afe 「期待値調整」はポエムか？
41. - 例えば、「AIプロジェクトをやるぞ！」というクライアントに「では業務フローの洗 い出しから…」「アノテーションから...」とお願いするとプロジェクト全体の士気が 下がる - PoCで良い結果を出したり、試作機など動くものを作ってチームの熱量が高 まったところでお願いをするというコミュニケーションもやり方の一つ 「正しいやり方」と「人間のモチベーション」は別物
42. まとめ
43. BtoB分野で五年生きた四方山話 ▪ 分析の目的はビジネス課題の解決 - 「分析をすること」が目的ではない - 常に分析の出口を意識する ▪ 顧客が欲しいのは「意思決定」？ - 「100%正しい答え」ではなく「プロの判断」を期待されている - 意思決定するための情報と共に、「意思決定自体の叩き台」も期待しているかも ▪ 分析の仕事と「コミュニケーション」 - 素早いプロトタイピングでコミュニケーションを具体化し期待値を調整し続ける - 「正しいやり方」に固執せず、PJメンバー全体の「理解」と「モチベーション」を得る
44. では データ分析や、機械学習の社会実装を通じて 社会を良くしていく仲間を大募集中です！ 分析のことでも会社のことでも、気軽に話しかけてください！ Twitter: @yutatatatata