データを開発するためのDataOps

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2013 - 2022 Finatext Ltd. 2 まずはナウキャストの事業紹介共通データ基盤マクロ指数サービス投資支援サービスマーケティングサービス機関投資家政府/官公庁事業会社全国のスーパーのPOSデータ JCBカードの購買データ Tポイントカードの購買データ全国のスーパーやドラッグストアのPOSデータ家電量販店の POSデータ多種多様な顧客層国内外の様々な機関にビッグデータサービスを提供しています。この幅広い顧客層がビッグデータのマネタイズを可能にします。分析プラットフォーム Nowcastの分析プラットフォームでは種類の異なるデータソースをワンストップで分析し、投資支援、マクロ指数、マーケティングなど、様々なサービスを展開します。様々なデータソース Nowcastはサードパーティーという立場を活用し、様々な企業からデータの提供を受けています。データの多様性は Nowcastの競合優位性を産み出します。

Slide 3

Slide 3 text

© 2013 - 2022 Finatext Ltd. 3 データを"開発"するって? 高速に高品質なデータを整備するために, ソフトウェア開発のベストプラクティスを応用したいデータベース - 例) 外交特権(SQLアンチパターン14章) - DBスキーマ等に対してバージョン管理 /テストしましょう機械学習モデル - 例) Continuous Machine Learning - 機械学習モデルにも CIを応用ゲーム開発用のマスタデータ - 例) akashic(カヤック), Oyakata(DeNA) - ゲーム開発に用いるマスタデータにバージョン管理や CIを応用 https://techblog.kayac.com/akashic-a-new-master-data-management-system 他にも事例ある?🤔 https://cml.dev/

Slide 4

Slide 4 text

© 2013 - 2022 Finatext Ltd. 4 未開拓な領域だし, まだまだ探求の途上なので, 本発表が最終形とは思っていません - まだまだ詰めるべきポイントは多い, 議論のスタートポイントにしたい - うちはこうやってるよ!など是非教えてほしい! datatech-jp - データエンジニア/データマネジメント/データに興味がある人のためのコミュニティ - 是非一緒に知見交換したり議論しましょう! 技術書の輪読会などもやってます!

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2013 - 2022 Finatext Ltd. 9 ①: 依存関係を洗い出しバージョン管理を行う出力データver 3-5 3-6 3-7 … 入力データver 1-1 1-1 1-1 … アノテーションver 5-7 5-8 5-8 … マスタデータver 3-0 3-1 3-1 … ETLver 2-4-3 2-4-3 3-1-2 … 出力に影響を与えうるリソースを洗い出し, それぞれをバージョン管理する

Slide 10

Slide 10 text

© 2013 - 2022 Finatext Ltd. 10 ②: 履歴データを整備する変更され得るデータについて, 任意の時点の状態を復元出来るようにするバージョン管理とは、一つのファイルやファイルの集合に対して時間とともに加えられていく変更を記録するシステムで、後で特定バージョンを呼び出すことができるようにするためのものです。 1.1 Getting Started - About Version Control バージョン管理のためには変更前後のデータを履歴として管理する必要があるナウキャストの場合: アノテーションやマスタデータは日々改善され変更されている

Slide 11

Slide 11 text

© 2013 - 2022 Finatext Ltd. 11 ②: 履歴データを整備する - 現状の実装方式: Slowly Changing Dimension Type 2 - 欠点: - クエリが複雑化する - データの整合性を保証しにくい store name industry from_date to_date 隅田酒屋酒屋 2010-01-01 2020-08-20 隅田酒屋日本酒屋 2020-08-21 2022-02-16 隅田酒屋日本酒バー 2022-02-17 NULL - 今後の展望: 履歴データの管理はなるべく自前実装ではなく製品に頼りたい - SQL Server 2016やMariaDB10.3.4などでサポートされたTemporal Database - SnowFlakeやDeltaLakeのTime Traveling - ここらへん使ってる人いたら意見を聞きたい - 今後使ってみて良さそうならDataOpsNight#2で紹介するかも有効期限を表すカラムを追加する

Slide 12

Slide 12 text

© 2013 - 2022 Finatext Ltd. 12 ③: バージョンの内容を説明するメタデータを整備する利用者がバージョン差分の内容を理解し適切に使い分けるためにメタデータが必要ナウキャストで整備しているメタデータ - Release Note - 変更のおおまかな概要を自然言語で説明 - Dependency - データを生成するために使用されるデータやコードのバージョン(スライド9で紹介) - Quality Report - 変更による品質への影響を評価したレポートへのリンク - CI/CD編でもう少し詳しく紹介します

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

© 2013 - 2022 Finatext Ltd. 15 ①: 品質を定義するデータの品質はユースケースに依存して決まる Data is of high quality to the degree that it meets the expectations and needs of data consumers … Data quality is thus dependent on context and on the needs of the data consumer. (DMBOK2 450p) Dimensions include some characteristics that can be measured objectively (completeness, validity, format, conformity) and others that depend on heavily context or on subjective interpretation (usability, reliability, reputation). (DMBOK2 458p) - 一般的なデータ品質 - 重複/欠損/フォーマットの妥当性/参照整合性など - 基本的には自動チェックが可能 - ライブラリも充実している(dbt, great expectations, etc) - ユースケース依存のデータ品質 - 自動的/客観的に計測可能なものもあれば, 主観的/人手による評価が必要なケースもある - 例: 機械学習モデルの評価指標(自動/客観) vs 推論結果の解釈性(主観/人手)

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© 2013 - 2022 Finatext Ltd. 21 バージョン管理の目的/対象を明確にする "データのバージョン管理"という言葉は曖昧性が高い → まずはコンテキスト毎にバージョン管理の目的/対象を明確化すべき. 参考: https://www.rd-alliance.org/group/data-versioning-wg/outcomes/versioning-data-about-more-revisions-conceptual-framework-and 例えば... - バージョンが同じとは: ファイルがバイトストリームとして同じ - 目的: 機械学習モデルの評価指標を再現出来るようにしたい - 対象: train/validation/testデータ - バージョンが同じとは: データを生成したデータパイプラインのバージョンが同じ - 目的: 日々生成されるデータに依存しているアプリケーションにデータの互換性を担保したい - 対象: データパイプラインその他, ブランチやマージの機能(コラボレーション)とかを念頭に置いているかもしれない

Slide 22

Slide 22 text

© 2013 - 2022 Finatext Ltd. 22 参考: Off-the-shelf tools データのバージョン管理用のツールは色々出ている個人的にはeasyよりsimple派なので今は使っていないが, メリットが大きそうなら将来的には使うかも? - Data Version Control - データのハッシュをプレースホルダーとしてgitにコミットする方式 - git管理下のファイルシステムで完結することが前提となる - 機械学習向け - Dolt - データベースに対してadd, commit, diff, branch, mergeなどgit感覚でデータ管理が可能 - 今後アノテーションデータの管理などに使うかも? - 参考資料 - Doltのサーベイブログ - データベースをgit感覚で扱えるのはDoltだけ - Neptuneのブログ - MLOps回りでDVCと似た機能を提供するツールはたくさんある

Slide 23

Slide 23 text

© 2013 - 2022 Finatext Ltd. 23 参考: 履歴データまわりの資料履歴を持ったテーブルの設計 - Qiita https://yizhiyue.me/2019/09/17/design-a-table-to-keep-historical-changes-in-database https://davenathanaeld.medium.com/database-design-revisions-c91d63400bc1 https://stackoverflow.com/questions/3874199/how-to-store-historical-data https://softwareengineering.stackexchange.com/questions/156220/ways-to-have-a-history-of-changes-of-databa se-entries https://dba.stackexchange.com/questions/114580/best-way-to-design-a-database-and-table-to-keep-records-of- changes https://stackoverflow.com/questions/201527/best-design-for-a-changelog-auditing-database-table

Slide 24

Slide 24 text

© 2013 - 2022 Finatext Ltd. 24 余談: 科学における"再現性の危機"とデータのバージョン管理データのバージョン管理について標準化に向け色々と取り組みが行われているらしい Data versioning - ANDS Dataset Exchange Working Group (DXWG) DataCite Metadata Schema 未だ標準的なベストプラクティスは確立されていない模様 .