MLOpsはデータエンジニアリングなのか？ MLプロジェクトでデータエンジニアが担う役割への自分なりの答え

2022年11月29日開催
「Cloud Native DataEngineer Community」第2回イベント
第1部　クラウドエース株式会社 システム開発部　データ/MLディビジョン シニアマネージャー　高鳥智正
--------------------------------------------

【イベント概要】

昨今、データを利活用した結果を基に意思決定を実施し成果を出している企業が増加しています。一方、その成果を支えるデータ利活用の基盤を構築・運用するスキルを持ったプロフェッショナルであるデータエンジニアが不足しているのも事実です。

本イベントでは、第一線で活躍するデータエンジニアを招き、データエンジニアの魅力やその実態をお伝えいたします。

--------------------------------------------

【第1部紹介】
『MLOpsはデータエンジニアリングなのか？　MLプロジェクトでデータエンジニアが担う役割への自分なりの答え』

MLOps（Machine Learning Operations（機械学習の運用））という概念が世に出て来て数年。最近は日本でもこの概念をよく聞くようになりました。この概念等をふまえMLシステム構築をするのは、おそらく現状だとデータエンジニアになることが多いと思います。 私自身は、「機械学習に関わりたいが、モデル作成のプロフェッショナルには経歴上なれない。ならば、データエンジニアとしてMLシステムの構築に関わろう」という思いからこの業界に入り、本番運用するためのMLシステム構築にいくつか携わりました。そして、実際に経験してみると、データ利用の延長線上にあるはずの機械学習は、思っていた以上に簡単なものではありませんでした。 本公演では、自分なりのMLOpsという概念の捉え方とMLプロジェクトにおけるデータエンジニアの役割をお話します。

＜登壇者＞
クラウドエース株式会社
システム開発部　
データ/MLディビジョン シニアマネージャー　
高鳥智正

・略歴
略歴 東京工業大学卒業後、機械学習システム構築に関わりたくクラウドエースに入社。以降、「技術本部 システム開発部 データ/ML」 ディビジョンの一員として設計・開発に携わる。主な業務は、データウェアハウスやデータパイプラインの構築、そして機械学習プラットフォームの構築。 2022年度から同ディビジョンのマネージャーを務める。 『GCPの教科書III【Cloud AIプロダクト編】 機械学習API、AutoML、BigQuery ML、AI Platformを詳解』著者。

--------------------------------------------

【Cloud Native DataEngineer Communityについて】

本コミュニティは、IT エンジニアや学生に対し、データエンジニアの仕事の理解や魅力の浸透、専門職としての地位向上を図ると共に、新卒採用・中途採用への啓蒙活動とデータエンジニアに必要なスキルを習得できる機会を提供し、DX推進に不可欠なデータエンジニアおよびその潜在者の増加に貢献していきます。

■「Cloud Native DataEngineer Community」発足の背景
昨今、データを根拠に予測や意思決定を行うことが、多くの企業にビジネス成果をもたらしています。
DX の目的の一つである新しいビジネスの創出や、デジタルを活用した新たな顧客体験の実現には、データに対する探索的アプローチが有効であると考えられますが、それらを高いアジリティを持って推進するためには、データエンジニアリングが必要不可欠です。
一方、データ利活用の基盤を構築・運用する技能を持ったプロフェッショナルであるデータエンジニアはデータ活用をする上で欠かせない存在ですが、IT 人材の不足が社会全体で課題となる中でも特に不足している専門職の一つです。

■「Cloud Native DataEngineer Community」今後の活動内容
定期的にITエンジニアや学生向けのイベントを開催し、データエンジニアの仕事や魅力をお伝えします。
第1回目は、各社で活躍するデータエンジニアを招いてトークセッションイベントを開催します。

■「Cloud Native DataEngineer Community」を発足の5社
・クラウドエース株式会社（https://cloud-ace.jp/）
・クラスメソッド株式会社（https://classmethod.jp/）
・株式会社ジール（https://www.zdh.co.jp/）
・株式会社ナレッジコミュニケーション（https://www.knowledgecommunication.jp/）
・株式会社メソドロジック（https://www.methodologic.co.jp/）

Transcript

1. © 2022 Cloud Ace, Inc MLOpsはデータエンジニアリングなのか MLプロジェクトでデータエンジニアが担う役割への自分なりの答え クラウドエース株式会社　髙鳥 智正　Takatori Tomomasa
2. 2 Copyright © 2022 Cloud Ace, Inc. All rights reserved アジェンダ MLOpsを考慮した機械学習プロジェクトの理想 MLOpsプロジェクトでのデータエンジニアの役割 MLOpsプロジェクトでのデータエンジニアの意識 MLOpsを考慮した機械学習プロジェクトの現実 MLOpsとはそもそも何だったのか？ 自己紹介 1 3 4 5 6 2 最後に... 7
3. 3 Copyright © 2022 Cloud Ace, Inc. All rights reserved 1. 自己紹介 クラウドエース株式会社　技術本部システム開発部　シニアマネージャ 髙鳥 智正　Takatori Tomomasa 経歴 クラウドエース　5年目（インターン含む） 本年度から、システム開発部 Data/ML ディビジョンのマネージャー 仕事内容 データエンジニア、Google Cloud 公式トレーナー、 エンジニアリングマネージャー 日々の業務 機械学習プラットフォームの構築、データパイプライン構築、トレーニング 趣味 外食・友人との会話 最近気になっていること データファブリックとDataplex
4. 4 Copyright © 2022 Cloud Ace, Inc. All rights reserved 2. MLOpsとはそもそも何だったのか 「MLOps は、ML システム開発（Dev）と ML システム オペレーション（Ops）の統合を目的とする ML エンジニアリングの文化と手法」 by Google 参照元[2] “Practitioners Guide to Machine Learning Operations (MLOps)”[1] 引用。
5. 5 Copyright © 2022 Cloud Ace, Inc. All rights reserved 2. MLOpsとはそもそも何だったのか 「MLOps は、ML システム開発（Dev）と ML システム オペレーション（Ops）の統合を目的とする ML エンジニアリングの文化と手法」 by Google 参照元[2] • 文化 ◦ データエンジニアとデータサイエンティストが同じチームで作業 ◦ 継続的訓練 CT • 手法 ◦ End to End のML Workflowを支えるパイプライン ◦ ML Metadata ◦ Feature Store ◦ Model Monitoring ◦ etc
6. 6 Copyright © 2022 Cloud Ace, Inc. All rights reserved 3. MLOpsを考慮した機械学習プロジェクトの理想 理想のプロジェクトの移行 （[2] MLOps: 機械学習における継続的デリバリーと自動化のパイプライン）： • MLOps レベル 0: 手動プロセス • MLOps レベル 1: ML パイプラインの自動化 • MLOps レベル 2: CI / CD パイプラインの自動化
7. 7 Copyright © 2022 Cloud Ace, Inc. All rights reserved 3. MLOpsを考慮した機械学習プロジェクトの理想 理想のプロジェクトの移行 （[2] MLOps: 機械学習における継続的デリバリーと自動化のパイプライン）： • MLOps レベル 0: 手動プロセス • MLOps レベル 1: ML パイプラインの自動化 • MLOps レベル 2: CI / CD パイプラインの自動化
8. 8 Copyright © 2022 Cloud Ace, Inc. All rights reserved 3. MLOpsを考慮した機械学習プロジェクトの理想 理想のプロジェクトの移行 （[2] MLOps: 機械学習における継続的デリバリーと自動化のパイプライン）： • MLOps レベル 0: 手動プロセス • MLOps レベル 1: ML パイプラインの自動化 • MLOps レベル 2: CI / CD パイプラインの自動化
9. 9 Copyright © 2022 Cloud Ace, Inc. All rights reserved 4. MLOpsを考慮した機械学習プロジェクトの現実 理想のプロジェクトの移行 （[2] MLOps: 機械学習における継続的デリバリーと自動化のパイプライン）： • MLOps レベル 0: 手動プロセス • MLOps レベル 1: ML パイプラインの自動化 • MLOps レベル 2: CI / CD パイプラインの自動化 そもそもシステムを作るのに必要な前提が揃っていない（性能を 測る指標や、モデルに使うデータ） 「MLOps レベル 1」を最初のプロジェクトゴールにしがち 既存コードは再設計や、移植が必要
10. 10 Copyright © 2022 Cloud Ace, Inc. All rights reserved 5. MLOpsプロジェクトでのデータエンジニアの役割 MLに関係ないデータエンジニアリングと MLOpsを考慮したデータエンジニアリングを使いながら 課題部分を解消し、理想に近づけていくこと。 そもそもシステムを作るのに必要な前提が揃っていない（性能を 測る指標や、モデルに使うデータ） 既存コードは再設計や、移植が必要 「MLOps レベル 1」を最初のプロジェクトゴールにしがち
11. 11 Copyright © 2022 Cloud Ace, Inc. All rights reserved 5. MLOpsプロジェクトでのデータエンジニアの役割 MLに関係ないデータエンジニアリングと MLOpsを考慮したデータエンジニアリングを使いながら 課題部分を解消し、理想に近づけていくこと。 そもそもシステムを作るのに必要な前提が揃っていない（性能を 測る指標や、モデルに使うデータ） 既存コードは再設計や、移植が必要 • MLに関係ないデータエンジニアの知識 • MLに関係するデータエンジニアの知識 • MLOpsの理想像についての知見 • MLOpsツールの知識 「MLOps レベル 1」を最初のプロジェクトゴールにしがち は必要になる。
12. 12 Copyright © 2022 Cloud Ace, Inc. All rights reserved 6. MLOpsプロジェクトでのデータエンジニアの意識 • MLOpsという意識を持ち過ぎない ◦ MLOpsツールが全て活用できているシステムは最終形 ◦ MLの運用体制は多段階で作っていく。ツールを使えば解決するというわけではない ◦ 必要に応じて機能追加 （下図の MLOps の利用を開始: ユースケースに適した機能の選択 [3] ）
13. 13 Copyright © 2022 Cloud Ace, Inc. All rights reserved 6. MLOpsプロジェクトでのデータエンジニアの意識 • プロジェクトを進める上で、以下はいつもより意識する ◦ データ自体の意味（どの様に生じたか、各値の意味は？） ◦ システムロジックが運用として必ず作り変わる（継続的訓練） ◦ チームメンバーに以下メンバーを含むか ▪ データサイエンティスト ▪ ドメインナレッジ持った人たち ▪ etc • 返しきれない技術的負債が発生しやすい [4]
14. 14 Copyright © 2022 Cloud Ace, Inc. All rights reserved 7. 最後に... 企業のデータ意思決定のためにエンジニアリングする ことが、 データエンジニアの役割であることは変わらない。 ただ、以下より、今後も対応するスコープは増えていく。 • 利用が多様化 ◦ MLもその1つ • データ形式が多種多様に • データ量が更に増加 • データ配置場所やユーザも多様化 増加する新規ソリューションについて出来ることと理想像をキャッチアップして、 説明可能であることがまずは大事。
15. 15 Copyright © 2022 Cloud Ace, Inc. All rights reserved 参考URI • [1] Practitioners Guide to Machine Learning Operations (MLOps) • [2] MLOps: 機械学習における継続的デリバリーと自動化のパイプライン • [3] MLOps の利用を開始: ユースケースに適した機能の選択 • [4] Machine Learning: The High Interest Credit Card of Technical Debt