Share
Embed
ビッグデータと機械学習の狭間で -データエンジニアに求められる役割-
July Tech Festa 2018 @産業技術大学院大学[D10]
で発表した際の登壇資料です。
参考文献や細かい記述などを今後修正する場合があります。
onunu
July 29, 2018
Transcript
41 slides
-
Agenda ◎ 最近の機械学習を取り巻くあれこれ ◎ データサイエンティストが抱える辛さ ◎ データエンジニアとは ◎ リブセンスでの機械学習周りの取り組み ◎
データエンジニアとして価値を届けていくために -
最近の機械学習を取り巻くあれこれ じゃあ機械学習やめるの? ◎ 一連の変化は不可逆 ◎ 機械学習はビジネスにおいて必須な状況になった ◦ 機械学習の90%はExcelで十分とかとは別の話 もちろん NO!
だからこそデータサイエンティストや 機械学習エンジニアといった専門家が必要不可欠 -
データサイエンティストが抱える辛さ ◎ Expectation does not match reality ◦ (同僚・上司からの期待感が現実とマッチしない) ◎
Politics reigns supreme ◦ (社内政治が最優先される) ◎ You’re the go to person about anything data ◦ (データに関わるもの全てを扱う何でも屋扱いされる) ◎ Working in an isolated team ◦ (他の事業から孤立したチームで働かされる) データサイエンティストが会社を去ってしまう理由 データサイエンティスト含むデータ分析職の仕事がつらい4つの理由: 洋の東西を問わずつらみは同じらしい - 六本木で働くデータサイエンティストのブログ -
データサイエンティストが抱える辛さ 1. Data is never clean. 2. You will spend
most of your time cleaning and preparing data. 3. 95% of tasks do not require deep learning. 4. In 90% of cases generalized linear regression will do the trick. 5. Big Data is just a tool. 6. You should embrace the Bayesian approach. 7. No one cares how you did it. 8. Academia and business are two different worlds. 9. Presentation is key - be a master of Power Point. 10. All models are false, but some are useful. データを取り扱う上での辛さもある The Inconvenient Truth About Data Science -
データサイエンティストが抱える辛さ Indeed, arguably the most important reason for using a
machine learning system is precisely that the desired behavior cannot be effectively implemented in software logic without dependency on external data https://ai.google/research/pubs/pub43146 複雑かつ高度なデータへの依存 機械学習プロダクトが技術的負債になりやすい理由 -
データサイエンティストが抱える辛さ 機械学習プロダクトが技術的負債になりやすい理由 機械学習で用いられるアルゴリズムを利用したコードは プロダクトスイートなものにはならない 機械学習プロダクト ◎ 数学的な理論に基づいた アルゴリズム ◎ 数学的・統計的背景の
理解が必要な マジックナンバー ◎ 確率的にしか 説明できない出力 アプリケーション(not 機械学習) ◎ 整理・体系づけるための シンプルさの追求 ◎ 人為的に決定される/与えら れる定数 ◎ ビジネスロジックにより 決定される出力 -
データエンジニアとは データサイエンティストとデータエンジニアは料理人と八百屋(魚屋肉屋)みた いな関係じゃないかと思います。 優れた料理人というのはわかりやすいです よね。美味しい料理(=優れた分析)を作れるシェフです。 (中略) さて、料理人 は材料が用意されなければ、料理はできないわけです。 そこでデータエンジ ニアの出番というわけです。
魚屋に例えると、 データを集めてきて(魚を集め てきて)、生簀(データレイク)や倉庫(データウエアハウス)に貯めて、きちんと 魚の種別ごとに分類して、 在庫管理(決まった時間間隔できちんと取りに行 けているか)をして、品質管理(取得元で不具合が発生していないか)をして、 不良品の魚を取り除いて(クレンジング)、時には料理人が料理しやすいよう に2枚や3枚に開いておろしたり(Transform)して、 料理人に出荷します。 データサイエンティスト(料理人)と データエンジニア(問屋/卸業者) データエンジニアとは - データエンジニア日記 -
データエンジニアとは データ サイエンティストは、Internet of Things(IoT)アプリケーション界のロック ス ターに例えられます。世間の注目と脚光の大半は、彼らに向けられます。ビッ グデータから重要な情報を抜き出して、企業がその場で情報に基づいて意思 決定できるようにします。 しかし、データサイエンティストは単独で作業してい
るのではありません。裏方、すなわちデータ エンジニアがいなければ、IoT 分 野で活躍できません。 この陰の協力者のおかげで、ビッグデータの供給を続けられるのです。 デー タエンジニアは、ネットワークとソフトウェアを設計して保守し、ビッグデータの パイプラインの運用を維持します。ロックバンドのスタッフのように、データエン ジニアはステージを設置して舞台音響を手がけます。 あるいはロックスターと裏方 データ サイエンティストとデータ エンジニア:ロック スターと裏方の関係 -
データエンジニアとは 役割の分担 Data engineers vs. data scientists [抄訳] Data engineers
vs. data scientists データサイエンティスト ◎ ビジネスサイドを理解し、他者にわ かりやすく可視化と言語化できる 職能 ◎ 高度な数学的知識に基づいたモ デリングやアルゴリズム提案スキ ル ◎ 高度なProgramming skillは必ず しも必須ではない データエンジニア ◎ 分散プログラミングを意識して構 築できる職能 ◎ 卓越したプログラミングスキルとシ ステム構成力 ◎ クラスタ設計までがData Engineerの役割であり運用(Ops) はやらない 引用元のData engineers vs. data scientists ではこのような定義になっている。 是非についてはこの後の議論で詳しく扱う -
リブセンスにおけるデータ領域の取り組み 全社横断的な取り組み 専門の横断部署によるデータ活用 機械学習プロダクトの実用 ◎ 多腕バンディットによるABテスト効率化 ◦ https://japan.zdnet.com/article/35099445/ ◎ 求人レコメンドエンジンによる応募率改善
◦ https://analytics.livesense.co.jp/entry/2017/12/05/105618 ◎ etc.. -
リブセンスにおけるデータ領域の取り組み IESHILとしての取り組み ビッグデータをビジネスに活かす ためのデータパイプライン設計 ◎ embulkを利用した様々なデータソースへの対応 ◎ digdagを利用した各タスクの統合管理 ◦ スケールもしやすい/分散処理もできる
◎ DWHは自前で運用するのではなく、TreasureDataを利用する ◦ Embulk, digdagがTreasureData発のOSSなこともあり 相性がよい -
リブセンスにおけるデータ領域の取り組み IESHILとしての取り組み 結構うまくやっていると思う それでも悩ましい問題はまだまだ山積み ◎ 本番系/開発系を分けられないデータは必ず発生してしまう ◎ アプリケーション側に存在する複雑なタスクをどうワークフロー エンジンで巻き取るか ◎
データ処理を汎用言語(python, R, …)で やるかDSL(SQL, …)でやるか ◦ 全てを熟知して切り替えられるのがベストだが... 今回これらの問題のアプローチとかの話はしません、いつかどこかでします -
IESHILのデータエンジニアとしてがんばっているこ と データエンジニアとは(再考)役割の分担 Data engineers vs. data scientists [抄訳] Data
engineers vs. data scientists データサイエンティスト ◎ ビジネスサイドを理解し、他者にわ かりやすく可視化と言語化できる 職能 ◎ 高度な数学的知識に基づいたモ デリングやアルゴリズム提案スキ ル ◎ 高度なProgramming skillは必ず しも必須ではない データエンジニア ◎ 分散プログラミングを意識して構 築できる職能 ◎ 卓越したプログラミングスキルとシ ステム構成力 ◎ クラスタ設計までがData Engineerの役割であり運用(Ops) はやらない -
データの運用をインフラエンジニアやSREにまかせて、 「環境できました。はいどうぞ」 では結局またデータサイエンティストと同じ辛みを 彼らが抱えることになる (引用元ではそこを解決するために機械学習エンジニアが存在するのだが、機械学習エンジニア を銀の弾丸としてとらえるのもよくないと思う ) クラスタ設計までがData Engineerの役割であり 運用(Ops)はやらない
IESHILのデータエンジニアとしてがんばっているこ と データエンジニアとは(再考)役割の分担 -
運用を行うデータエンジニアがいないとどうなるか データエンジニアとして 価値を届けていくために ◎ 前処理に忙殺されるデータサイエンティスト ◎ 運用に乗るはずの無かった長大なアドホックSQL ◎ 謎なSQLを実行するだけのrakeタスク ◎
「6時間くらいかかるから6時間30分後にcronしこんで おくか」 -
運用とはなにか? 今まで、そこ(=データそのものの運用 )に名前はなく、誰 かがやっていた データエンジニアとして 価値を届けていくために ◎ データサイエンティストがやるのか? ◎ サーバーサイドエンジニアがやるのか?
◎ インフラに面倒を見てもらうのか? 運用は宙に浮き、責任の所在も曖昧になる 責任の所在が曖昧になればメンテナンスもされない -
まとめ ◎ データの取り扱いについて苦労している データサイエンティストは多い ◎ でもそういう問題をデータエンジニアが解決していく ◎ データエンジニアも運用に携わり、 一緒に開発していく必要性がある ◎
データエンジニアの理解について、 もっと広める必要がある -
参考文献 • Machine Learning: The High Interest Credit Card of
Technical Debt (https://ai.google/research/pubs/pub43146) • データサイエンティスト含むデータ分析職の仕事がつらい4つの理由: 洋の東西を問わずつらみは同じらしい - 六本木で働くデータサイエンティストのブログ (https://tjo.hatenablog.com/entry/2018/04/02/190000) • The Inconvenient Truth About Data Science (https://www.kdnuggets.com/2015/05/data-science-inconvenient-truth.html) • データエンジニアとは - データエンジニア日記 (http://data-soldier.hatenablog.com/entry/2017/12/08/114731) • データ サイエンティストとデータ エンジニア:ロック スターと裏方の関係 • (https://learningnetwork.cisco.com/docs/DOC-31728) • Data engineers vs. data scientists (https://www.oreilly.com/ideas/data-engineers-vs-data-scientists) • [抄訳] Data engineers vs. data scientists (https://medium.com/moonshot/ataengineers-vs-data-scientist-13fce30812a7) • 営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1のポイント | リブセンス (https://www.slideshare.net/livesense/150225-sql-foreveryone-45695818) • 営業がSQLを理解--データ活用を組織文化として定着させたリブセンス - ZDNet Japan (https://japan.zdnet.com/article/35099445/) • BPMF(Bayesian Probabilistic Matrix Factorization)によるレコメンド - LIVESENSE Data Analytics Blog (https://analytics.livesense.co.jp/entry/2017/12/05/105618)