データ分析プロジェクトマネジメントで気を付けること

Transcript

1. データ分析プロジェクトを進める際に 気を付けたいこと 1
2. 今日おはなしする内容 機械学習の細かい話とかは今回はしません！ （というよりできません！すいません！） ・データ分析プロジェクトの面倒を見ろ！と言われたとき －まずどう進めていけばよいのか －進めていく上での留意点 などをお話しできればと思います。 2
3. 自己紹介 ・名前：Twitter：hk_1933 ・職種：製造業で研究開発部門 ・現在の主な業務：工場設備のデータ分析（設備予防保全、品質不良） －各工場設備のデータ分析（Python） －Webアプリケーション開発（Django, Flask, フロントエンド言語） －データ蓄積・分析基盤の構築 －データ分析プロジェクトのマネジメント業務（現在、二人の面倒みてます） ※プログラミングは会社入ってから本格的に学び始めた（学生時代はノータッチ） 元々の専攻は電気電子工学（強電系→光、半導体→プラズマ） 3
4. さて、データ分析プロジェクトを進めていきたいのですが、 そもそもどう進めるのか？ ・専門書やコンペ（kaggleなど）ではtrain(val)/testデータ分けて、両方でよい精度出せればよい。 ・ただし、業務となると期間や結果報告、分析結果の実装が避けて通れない。 ・報告する相手にデータ分析知識が全くない専門用語が伝わらない （feature_importance, precision, recall etc.） ・分析したいデータもkaggleやiris, MNISTみたく手元にキレイな状態であるわけでもない。 データ分析を進めていく上で、何か参考になりそうなものないかな・・・ 4
5. 天下のO‘Reilly 5 scikit-learnとTensorFlowによる実践機械学習 ・上記２つのライブラリで機械学習ざっくり学ぶのによい ・GitHub上でnotebook形式で公開されてるので最悪買わなくても コード追ってお勉強はできる。 （https://github.com/ageron/handson-ml） ・本題：データ分析プロジェクトの進め方の参考→付録にあった！ 「機械学習プロジェクトチェックリスト」
6. 機械学習プロジェクトチェックリストの中身 6 １．問題の枠組みを明らかにし、全体の構図をつかむ ２．データを手に入れる ３．データを探る ４．データを準備する ５．有望なモデルを絞り込む ６．システムを微調整する ７．ソリューションをプレゼンテーションする ８．本番稼働！
7. 機械学習プロジェクトチェックリストの中身 7 １．問題の枠組みを明らかにし、全体の構図をつかむ：課題設定→機械学習で解ける問題に落とし込む。 ２．データを手に入れる：データかき集める、ざっくり要/不要分類、train/testデータ作成。 ３．データを探る：統計量見る、相関見る、グラフにプロットする、欠損値チェック。 ４．データを準備する：データ補完、前処理、特徴量作成（平均値/var/std計算、カテゴリ化など）。 ５．有望なモデルを絞り込む：scikit-learnでざっくり分析してみる、説明変数のランク付け、交差検証。 ６．システムを微調整する：ハイパーパラメータ調整、アンサンブルメソッド（精度どれだけあげるか）。 ７．ソリューションをプレゼンテーションする：資料にまとめて報告しよう。 ８．本番稼働！：分析結果をシステムに落とし込む。
8. 機械学習プロジェクトチェックリストの中身 8 ２．データを手に入れる： ３．データを探る： ４．データを準備する： ５．有望なモデルを絞り込む： ６．システムを微調整する： なんとなくやるべきことわかる
9. 機械学習プロジェクトチェックリストの中身 9 １．問題の枠組みを明らかにし、全体の構図をつかむ ２．データを手に入れる： ３．データを探る： ４．データを準備する： ５．有望なモデルを絞り込む： ６．システムを微調整する： ７．ソリューションをプレゼンテーションする ８．本番稼働！ なんとなくやるべきことわかる 機械学習プログラミング以外の内容 １．具体的に何をすればよいか ７．プレゼンの構成 ８．システム用のコーディング
10. 問題の枠組みを明らかにし、全体の構図をつかむ 10 ・相手の困りごとをヒアリングする －AI使ったらなんかうまいことやってくれるという幻想をお持ちの方も多いので、現状把握して数値で 困りごとを炙りだしてあげる。 ・困りごとがif-thenやグラフにするだけで解決できる問題なのかまず検討する。 ・課題解決を機械学習のカテゴリにあてはめる（回帰問題？分類問題？単なる分析？） ・最終的なシステム実装イメージざっくり決める（グラフにする、メール発報、既存設備への結果反映） ・機械学習モデルの評価指標の設定（回帰：RMSEなど、分類：再現・適合率、ROC） ・モデル精度の妥当性検討（改善効果あるか、判定ミスによるロス算定などを計算、検討） ・協力者の設定（ドメイン知識の共有、実証実験時の協力者） ・前につくったソースコード再利用できないか 課題設定→機械学習で解ける問題に落とし込む。
11. ソリューションをプレゼンテーションする 11 分析の流れをまじめに最後まで報告する→伝わらないのである程度間引いてください ・まずは結論 ・データ分析の結果で得られる効果（波及効果も提示できれば直良し） ・問題と設定課題の説明 ・使用したデータの概要（必要であれば詳細説明まで） ・データ分析の流れ（データの結合、前処理、train/testの分け方、outputをブロックと線で） ・使用したモデルの説明（no数式、must挿絵） ・分析結果（no数式、mustグラフwith吹出で説明） ・結論で締める 報告する相手（幹部、グループ内共有）で構成の強弱を変える 資料にまとめて報告しよう。
12. 問題の枠組みを明らかにし、全体の構図をつかむ 12 ・データ分析で使う言語：だいたいpython→python一気通貫でシステム書きたい！ ・python用のウェブアプリフレームワーク －Flask：シングルウェブページ向け。簡易に作りたい（分析結果をブラウザで見たい） －Django：中～大規模開発向け（認証機能、DBかまえたい） ・データ分析用のコードをどうシステム用のコードにスムーズに移行するか －Cookiecutter：機械学習プロジェクト用のフォルダテンプレート作ってくれる pip install cookiecutter cookiecutter https://github.com/drivendata/cookiecutter-data-science cmd上で質問（プロジェクト名、製作者名、プロジェクトの説明など）に答えるとフォルダ構成を自動で作成 本番稼働！
13. 最近の所感など（閑話休題） 13 １．データ分析業務＝コンサル×データサイエンス×SIer 一人で課題設定～本番運用までやるとこうなる（チーム分担できると楽） 例）DeNAの事例（うまく役割分担できている） －AI研究開発エンジニア：研究部門 －データサイエンティスト：事業課題を分析課題まで落とし込む、モデル精度のブラッシュアップ －MLエンジニア：AI技術のサービス実装、運用 －インフラエンジニア：分析基盤構築、上記エンジニアサポート ２．分析業務、ドメイン知識、サイクルのスピード感 課題解決のための分析手法の熟考＜分析サイクルのスピード感 例）松尾先生（東京大学） データ分析と相性がいいのは「高専生」 －電気、機械の素養がある（教育システム、ロボコン） －手を動かすのがはやく、すぐ結果持ってくる 上記の事例を自分がいる組織にどう落とし込んでいくかが、次のステップアップのカギ。
14. まとめ 14 データ分析プロジェクトを進めていく上にあたっての進め方、留意点に関して述べさせていただいた。 ・機械学習/深層学習の教科書やサイトで学べることだけで分析業務は進められない ・課題設定→機械学習の問題に落とし込むところでは、 －問題、課題設定は数字を必ず織り交ぜて －相手の協力者は必ず設定してドメイン知識を聞き出そう ・資料にまとめて報告するところでは、 －データ分析で得られる効果をまず説明したい －分析の一部始終を報告する必要はない ・本番稼働のところでは －pythonでもwebアプリケーションは書ける（処理速度はおいといて） －テンプレート等をうまく活用し、分析→実装までの時間を短くできれば