データ利用者が最速で価値を評価できるDataOpsを目指して / Towards DataOps that Enables Analysts to Deliver Value Rapidly

『データ利活用のミソ DataOps実現のための取り組みとは？ Lunch LT』の登壇資料
https://findy.connpass.com/event/323727/

カジュアル面談はこちら
https://jobs.layerx.co.jp/000e07c574f74e868b44ec9a795545ce

Transcript

1. © LayerX Inc. データ利用者が最速で価値を評価できる DataOpsを目指して データ利活用のミソ DataOps実現のための取り組みとは？ Lunch LT 2024/07/30 @civitaspo
2. © LayerX Inc. 2 バクラク事業部 機械学習・データ部 DataOps チーム 兼 Platform Engineering部 DevOps チーム DataOps/DevSecOps/MLOps が大好きなエンジニア 福岡在住 OSS大好き！ SNS 𝕏 civitaspo 　 civitaspo その他 画像を入れてね 自己紹介 civitaspo （ｷﾋﾞﾀｽﾎﾟ、きびちゃん）
3. 3 © LayerX Inc. 「すべての経済活動を、デジタル化する。」をミッションに掲げ、 法人支出管理サービス「バクラク」や企業内業務のデジタル化を支援するサービスを提供しています。 事業紹介 バクラク事業 企業活動のインフラとなる法人支出 管理（BSM）SaaSを開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメ ント・証券事業を合弁会社にて展開 AI・LLM事業 文書処理を中心とした、LLMの活用による プロセスのリデザイン
4. 4 © 2024 LayerX Inc. 「バクラク」シリーズラインナップ 稟議・支払申請 経費精算 仕訳・支払処理効率化 AIが請求書を５秒でデータ化 仕訳・振込データを自動作成　　 電帳法・インボイス制度にも対応 法人カードの発行・管理 年会費無料、手続きはWebで完 結 カード利用制限で統制を実現 すべての決済で1%以上の還元 帳票保存・ストレージ 帳票発行 スキャナ保存データも直接取込　 AI-OCRが自動読取＆データ化 「取引先」「取引日」「取引金額」での検 索　 帳票作成・稟議・送付・保存を一本化 一括作成も個別作成も自由自在 レイアウトや項目カスタマイズも可能 AIが領収書を５秒でデータ化 スマホからも申請・承認OK　 領収書の重複申請チェック機能 AIが見積書・請求書を５秒でデータ スマホからも申請・承認OK 柔軟な通知設定・承認の催促機能 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・
5. 5 © 2024 LayerX Inc. バクラク、人事領域に進出。勤怠管理サービスを今秋に提供開始 事前登録はこちらのURLから（https://bakuraku.jp/resources/how-to/attendance-release/）
6. 今日話す内容
7. © LayerX Inc. 7 特に、分析・レポーティングのためのデータデリバリーの高速化・信頼性担保にフォーカスします。 データアナリティクスのためのDevOps 今日話す内容 出典: 実践DataOps p.169
8. © LayerX Inc. 8 本番環境へのデプロイまでのフェーズにおける各施策を紹介します。 データアナリティクスのためのDevOps 今日話す内容 出典: 実践DataOps p.16２
9. © LayerX Inc. 9 • 今回紹介するDataOps施策は、弊社でデータ分析する人をターゲットにした施策です。 • 弊社では、事業企画やPdMといった非エンジニアがデータ分析を積極的に行います。 • 一方で、データサイエンティストのようにPython × Jupyter Notebookでゴリゴリ分析することは あまりありません。 前提: データアナリティクスを実践するのは誰？ 今日話す内容
10. © LayerX Inc. 10 • dbt + BigQuery / dbt + Snowflake な構成を前提にして書いています。 • DataOpsは、ソースシステムからのデータ収集やデータデリバリー後の活用まで幅広くカバーする概 念だと考えていますが、あえてスコープを小さくして、DataOpsの具体例の理解を深められるように 工夫したつもりです。そのため、データアーキテクチャや設計思想といった話は省略しています。 • 全てのフェーズでの全ての施策を紹介できるわけではないので、「ここどうなってるんだろう？」と疑問 に思ったらドシドシ質問をお願いします。 おことわり 今日話す内容
11. 目次 Agenda • コミットステージ • 統合テスト・受け入れステージ • 本番環境へのデプロイ
12. コミットステージ
13. © LayerX Inc. 13 何も作らず、過去の分析・仮説検証・データモデルを参照するだけで解決する課題もある。 過去の分析・仮説検証・データモデルの情報を蓄積しておく コミットステージ
14. © LayerX Inc. 14 データウェアハウス上のデータだけでなく、「取得可能」なデータソースも一覧できるようにしておくことで 必要なデータの探索やデータ取得のためのコミュニケーションをスムーズに行えるようになる 扱えるすべてのデータのメタデータを確認できるようにしておく コミットステージ
15. © LayerX Inc. 15 データプロファイリングの結果も確認できるようにしておくことで、データの事前調査フェーズを省略。 扱えるすべてのデータのメタデータを確認できるようにしておく コミットステージ
16. © LayerX Inc. 16 運用ルールに沿ってdbt modelを自動生成。SQL・テスト・ドキュメントだけを考えれば良い。 dbt modelの自動生成 コミットステージ
17. 統合テスト・受け入れステージ
18. © LayerX Inc. 18 本番データをクローンし、Pull Request時のCIで確認。 本番環境と同等のデータでテスト 統合テスト・受け入れステージ 出典: 本番同様のデータを扱えるdbtテスト環境をBigQueryで構築する方法 #ベッテク月間 - LayerX エンジニアブログ
19. © LayerX Inc. 19 CI/CDの時間を高速化するため、変更したdbt modelのみを対象に。 影響するデータのみデプロイ 本番環境へのデプロイ
20. 本番環境へのデプロイ
21. © LayerX Inc. 21 変更したdbt modelの影響範囲を瞬時に把握できる状態にしてデプロイの心理的負荷を軽減する。 ダッシュボードへの影響を確認 統合テスト・受け入れステージ 出典: データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ
22. © LayerX Inc. 22 Revert一発でロールバックできるようにしておく。 または、dbt modelのバージョニングによって、過去のdbt modelを残しつつデプロイし、影響を無くす。 ロールバックを容易にする・不要にする 本番環境へのデプロイ
23. おわりに
24. © LayerX Inc. 24 もっと簡単に高速に安全にデータを作れる仕組みを。 そして、息を吸うように、文化としてデータを使う組織へ。 おわりに 出典: LayerXの企業文化をデータがもっと強くする - Speaker Deck
25. © LayerX Inc. 25 今回話した「変更リードタイム」は使えそうだが、他の指標はどうか？ 問い: DataOps版 『Four Keys』？ おわりに • デプロイ頻度 • 変更リードタイム • デプロイ失敗率 • 平均復旧時間（MTTR） DevOps ???? DataOps
26. © LayerX Inc. 26 データ職種全方位積極採用中です！データプラットフォーム開発もDataOpsも全然これからなのと、今年度 入ってから急激に事業部でデータ活用が進んでいます！データエンジニアリングで事業を加速させるために、 技術選定においても積極的にチャレンジ・試行錯誤していくフェーズなので、少しでも興味持った方がいらっ しゃったらぜひお話ししましょう！「Opendoor civitaspo」で検索！ • データエンジニア • アナリティクスエンジニア • データアナリスト • データサイエンティスト これからのこと おわりに
27. おわり