ビッグデータと機械学習の狭間で　-データエンジニアに求められる役割-

In July Tech Festa 2018
D10 @onunu
ビッグデータと
機械学習の狭間で　
-データエンジニアに求められる役割-

View Slide

Hello!
おぬまりく@onunu
IESHILという不動産の情報格差
をなんとかしていくサービスを
作っています
データエンジニアです
Twitter: @onunu_
Github: onunu

View Slide

Agenda
◎ 最近の機械学習を取り巻くあれこれ
◎ データサイエンティストが抱える辛さ
◎ データエンジニアとは
◎ リブセンスでの機械学習周りの取り組み
◎ データエンジニアとして価値を届けていくために

View Slide

最近の機械学習を取り巻くあれこれ
機械学習導入へのハードルは確実に下がった

View Slide

機械学習導入へのハードルは確実に下がった
◎ 様々な機械学習ライブラリの登場
◎ 計算機リソース調達の簡便化
◎ ビッグデータ処理の基盤整備
どんな事業者でも機械学習を活用したい時代

View Slide

この論文は「機械学習辛い」という趣旨ではなく
いかに負債化を防ぐかについて書かれた論文なので注意
一方で、機械学習の扱いは難しい
https://ai.google/research/pubs/pub43146

View Slide

じゃあ機械学習やめるの?
◎ 一連の変化は不可逆
◎ 機械学習はビジネスにおいて必須な状況になった
○ 機械学習の90%はExcelで十分とかとは別の話
もちろん NO!
だからこそデータサイエンティストや
機械学習エンジニアといった専門家が必要不可欠

View Slide

データサイエンティストが抱える辛さ
◎ Expectation does not match reality
○ （同僚・上司からの期待感が現実とマッチしない）
◎ Politics reigns supreme
○ （社内政治が最優先される）
◎ You’re the go to person about anything data
○ （データに関わるもの全てを扱う何でも屋扱いされる）
◎ Working in an isolated team
○ （他の事業から孤立したチームで働かされる）
データサイエンティストが会社を去ってしまう理由
データサイエンティスト含むデータ分析職の仕事がつらい4つの理由：
洋の東西を問わずつらみは同じらしい - 六本木で働くデータサイエンティストのブログ

View Slide

1. Data is never clean.
2. You will spend most of your time cleaning and preparing data.
3. 95% of tasks do not require deep learning.
4. In 90% of cases generalized linear regression will do the trick.
5. Big Data is just a tool.
6. You should embrace the Bayesian approach.
7. No one cares how you did it.
8. Academia and business are two different worlds.
9. Presentation is key - be a master of Power Point.
10. All models are false, but some are useful.
データを取り扱う上での辛さもある
The Inconvenient Truth About Data Science

View Slide

データサイエンティストの本分
データサイエンティストの本分は
◎ ビジネスに活きるデータの傾向やパターンを見つけること
◎ 見つけた傾向やパターンを用いてプロダクトへ
価値をフィードバックすること

View Slide

Indeed, arguably the most important reason for using a machine
learning system is precisely that the desired behavior cannot be
effectively implemented in software logic without dependency on
external data
https://ai.google/research/pubs/pub43146
複雑かつ高度なデータへの依存
機械学習プロダクトが技術的負債になりやすい理由

View Slide

機械学習プロダクトが技術的負債になりやすい理由
機械学習で用いられるアルゴリズムを利用したコードは
プロダクトスイートなものにはならない
機械学習プロダクト
◎ 数学的な理論に基づいた
アルゴリズム
◎ 数学的・統計的背景の
理解が必要な
マジックナンバー
◎ 確率的にしか
説明できない出力
アプリケーション(not 機械学習)
◎ 整理・体系づけるための
シンプルさの追求
◎ 人為的に決定される/与えら
れる定数
◎ ビジネスロジックにより
決定される出力

View Slide

データエンジニアの役割とは
データサイエンティストの辛さを一部引き取り、
専門家として
◎ より良い方法の提供
◎ 課題の解決
を行う

View Slide

データエンジニアとは
データサイエンティストとデータエンジニアは料理人と八百屋（魚屋肉屋）みた
いな関係じゃないかと思います。優れた料理人というのはわかりやすいです
よね。美味しい料理（＝優れた分析）を作れるシェフです。 (中略) さて、料理人
は材料が用意されなければ、料理はできないわけです。そこでデータエンジ
ニアの出番というわけです。魚屋に例えると、データを集めてきて（魚を集め
てきて）、生簀（データレイク）や倉庫（データウエアハウス）に貯めて、きちんと
魚の種別ごとに分類して、在庫管理（決まった時間間隔できちんと取りに行
けているか）をして、品質管理（取得元で不具合が発生していないか）をして、
不良品の魚を取り除いて（クレンジング）、時には料理人が料理しやすいよう
に２枚や３枚に開いておろしたり（Transform）して、料理人に出荷します。
データサイエンティスト(料理人)と
データエンジニア(問屋/卸業者)
データエンジニアとは - データエンジニア日記

View Slide

データサイエンティストは、Internet of Things（IoT）アプリケーション界のロックス
ターに例えられます。世間の注目と脚光の大半は、彼らに向けられます。ビッ
グデータから重要な情報を抜き出して、企業がその場で情報に基づいて意思
決定できるようにします。しかし、データサイエンティストは単独で作業してい
るのではありません。裏方、すなわちデータエンジニアがいなければ、IoT 分
野で活躍できません。
この陰の協力者のおかげで、ビッグデータの供給を続けられるのです。デー
タエンジニアは、ネットワークとソフトウェアを設計して保守し、ビッグデータの
パイプラインの運用を維持します。ロックバンドのスタッフのように、データエン
ジニアはステージを設置して舞台音響を手がけます。
あるいはロックスターと裏方
データサイエンティストとデータエンジニア：ロックスターと裏方の関係

View Slide

役割の分担
Data engineers vs. data scientists

View Slide

役割の分担
[抄訳] Data engineers vs. data scientists
データサイエンティスト
◎ ビジネスサイドを理解し、他者にわ
かりやすく可視化と言語化できる
職能
◎ 高度な数学的知識に基づいたモ
デリングやアルゴリズム提案スキ
ル
◎ 高度なProgramming skillは必ず
しも必須ではない
データエンジニア
◎ 分散プログラミングを意識して構
築できる職能
◎ 卓越したプログラミングスキルとシ
ステム構成力
◎ クラスタ設計までがData
Engineerの役割であり運用(Ops)
はやらない
引用元のData engineers vs. data scientists ではこのような定義になっている。
是非についてはこの後の議論で詳しく扱う

View Slide

リブセンスにおけるデータ領域の取り組み
全社横断的な取り組み
AWS Redshiftを活用した分析環境の提供
アプリケーションDBの個人情報等マスキング済分析用データ
/ アクセスログ/ 広告の運用データ etc...

View Slide

誰もがそれぞれのアプリケーションのDB
分析環境のRedshift (Livesense Analytics)
に接続し、分析できる環境・文化
https://www.slideshare.net/livesense/150225-sql-foreveryone-45695818

View Slide

専門の横断部署によるデータ活用
機械学習プロダクトの実用
◎ 多腕バンディットによるABテスト効率化
○ https://japan.zdnet.com/article/35099445/
◎ 求人レコメンドエンジンによる応募率改善
○ https://analytics.livesense.co.jp/entry/2017/12/05/105618
◎ etc..

View Slide

各メディア
アプリケーションエンジニア
Livesense Analyticsの運用・分析支援
データ活用/機械学習プロダクト
各メディア組織
全社横断組織

View Slide

IESHILとしての取り組み（IESHILとは？）
不動産業界に蔓延る「情報の非対称性」を目指すメディア
人生の大きな買い物である住まいの購入のUXを最高にする

View Slide

IESHILとしての取り組み（IESHILとは？）
物件(部屋ごと)の相場価格、
物件の災害耐性、
学区情報
などのデータを掲載し、
不動産購入を支援する

View Slide

IESHILとしての取り組み
IESHILは大きな機械学習プロダクトを抱えるが、
全社横断組織からは独立して運用している
◎ 「データそのもの」がコアコンピタンスとなるメディア
◎ 新規事業ゆえの状況変化の速さ
◎ 様々なデータソースを抱えるデータ関連処理の多さ

View Slide

ビッグデータをビジネスに活かす
ためのデータパイプライン設計

View Slide

ビッグデータをビジネスに活かす
ためのデータパイプライン設計
◎ embulkを利用した様々なデータソースへの対応
◎ digdagを利用した各タスクの統合管理
○ スケールもしやすい/分散処理もできる
◎ DWHは自前で運用するのではなく、TreasureDataを利用する
○ Embulk, digdagがTreasureData発のOSSなこともあり
相性がよい

View Slide

結構うまくやっていると思う
それでも悩ましい問題はまだまだ山積み
◎ 本番系/開発系を分けられないデータは必ず発生してしまう
◎ アプリケーション側に存在する複雑なタスクをどうワークフロー
エンジンで巻き取るか
◎ データ処理を汎用言語(python, R, …)で
やるかDSL(SQL, …)でやるか
○ 全てを熟知して切り替えられるのがベストだが...
今回これらの問題のアプローチとかの話はしません、いつかどこかでします

View Slide

IESHILのデータエンジニアとしてがんばっているこ
と
データエンジニアとは(再考)役割の分担
[抄訳] Data engineers vs. data scientists
◎ ビジネスサイドを理解し、他者にわ
かりやすく可視化と言語化できる
職能
◎ 高度な数学的知識に基づいたモ
デリングやアルゴリズム提案スキ
ル
◎ 高度なProgramming skillは必ず
しも必須ではない
◎ 分散プログラミングを意識して構
築できる職能
◎ 卓越したプログラミングスキルとシ
ステム構成力
◎ クラスタ設計までがData
Engineerの役割であり運用(Ops)
はやらない

View Slide

データの運用をインフラエンジニアやSREにまかせて、
「環境できました。はいどうぞ」
では結局またデータサイエンティストと同じ辛みを
彼らが抱えることになる
(引用元ではそこを解決するために機械学習エンジニアが存在するのだが、機械学習エンジニア
を銀の弾丸としてとらえるのもよくないと思う )
クラスタ設計までがData Engineerの役割であり
運用(Ops)はやらない
と

View Slide

と
実際には、運用もやらないといけない
ビジネス上の不断の状況変化に対応するためには
データエンジニアが継続的にシステムをみる(=運用)
する必要がある

View Slide

ただし、組織に依存する。
実際にデータエンジニアの多くの求人票は、
分散環境の構築経験やビッグデータの取り扱いなどが要件になっている場
合などが多い(内情までは残念ながら読み取れない)
と

View Slide

運用を行うデータエンジニアがいないとどうなるか
データエンジニアとして
価値を届けていくために
◎ 前処理に忙殺されるデータサイエンティスト
◎ 運用に乗るはずの無かった長大なアドホックSQL
◎ 謎なSQLを実行するだけのrakeタスク
◎ 「6時間くらいかかるから6時間30分後にcronしこんで
おくか」

View Slide

運用とはなにか?
今まで、そこ(=データそのものの運用 )に名前はなく、誰
かがやっていた
◎ データサイエンティストがやるのか?
◎ サーバーサイドエンジニアがやるのか?
◎ インフラに面倒を見てもらうのか?
運用は宙に浮き、責任の所在も曖昧になる
責任の所在が曖昧になればメンテナンスもされない

View Slide

「そこ」に運用と名前をつけて責任をもつこと
◎ データエンジニアと名乗ることで、「そこ」に責任を背
負い、宙に浮いた運用をなくす
◎ データの運用について責任をおう人材がいることで、
それ専用のアーキテクチャの必要性について理解を
得る

View Slide

データエンジニアというワードはまだまだバスワード
自分たちで自らを定義し、価値を届けて行くべき
分散環境の構築やデータパイプラインの設計者としてだけ
ではなく、
データの取り扱いの専門家として
データについて責任をおう
エンジニアになろう

View Slide

データエンジニアとは(再考の再考)
データの、
◎ 構造/内容/変更について責任を持ち
◎ 誰もが使いやすい形に整形し
◎ 誰もが取り出しやすい環境を構築していく
役割である

View Slide

まとめ
◎ データの取り扱いについて苦労している
データサイエンティストは多い
◎ でもそういう問題をデータエンジニアが解決していく
◎ データエンジニアも運用に携わり、
一緒に開発していく必要性がある
◎ データエンジニアの理解について、
もっと広める必要がある

View Slide

リブセンスでは一緒に働く仲間を募集中です！
いろんなサービスを作ってるので、
興味ある方は話しかけてください :)
We are hiring!

View Slide

特にIESHILでは
機械学習エンジニア
を大募集中です！
一緒に不動産業界に風穴あけましょう！
We are hiring!

View Slide

参考文献
● Machine Learning: The High Interest Credit Card of Technical Debt
(https://ai.google/research/pubs/pub43146)
● データサイエンティスト含むデータ分析職の仕事がつらい4つの理由：
洋の東西を問わずつらみは同じらしい - 六本木で働くデータサイエンティストのブログ
(https://tjo.hatenablog.com/entry/2018/04/02/190000)
● The Inconvenient Truth About Data Science
(https://www.kdnuggets.com/2015/05/data-science-inconvenient-truth.html)
● データエンジニアとは - データエンジニア日記
(http://data-soldier.hatenablog.com/entry/2017/12/08/114731)
● データサイエンティストとデータエンジニア：ロックスターと裏方の関係
● (https://learningnetwork.cisco.com/docs/DOC-31728)
● Data engineers vs. data scientists
(https://www.oreilly.com/ideas/data-engineers-vs-data-scientists)
● [抄訳] Data engineers vs. data scientists
(https://medium.com/moonshot/ataengineers-vs-data-scientist-13fce30812a7)
● 営業さんまで、社員全員がSQLを使う「越境型組織」ができるまでの3+1のポイント | リブセンス
(https://www.slideshare.net/livesense/150225-sql-foreveryone-45695818)
● 営業がSQLを理解--データ活用を組織文化として定着させたリブセンス - ZDNet Japan
(https://japan.zdnet.com/article/35099445/)
● BPMF(Bayesian Probabilistic Matrix Factorization)によるレコメンド - LIVESENSE Data Analytics Blog
(https://analytics.livesense.co.jp/entry/2017/12/05/105618)

View Slide

ご静聴ありがとうございました！

View Slide

ビッグデータと機械学習の狭間で　-データエンジニアに求められる役割-

ビッグデータと機械学習の狭間で　-データエンジニアに求められる役割-

onunu

More Decks by onunu

Featured

Transcript

ビッグデータと機械学習の狭間で -データエンジニアに求められる役割-

ビッグデータと機械学習の狭間で -データエンジニアに求められる役割-

onunu

More Decks by onunu

Featured

Transcript

ビッグデータと機械学習の狭間で　-データエンジニアに求められる役割-

ビッグデータと機械学習の狭間で　-データエンジニアに求められる役割-