ニアリアルタイムのデータ基盤を構築して 適時性を向上させた話

Transcript

1. 2024/05/08　chikushi ニアリアルタイムのデータ基盤を構築して 適時性を向上させた話
2. 自己紹介 ❏ chikushi ❏ 略歴 ❏ 10年くらいフリーランス、前職AIベンチャー、 ❏ その後2023/4にタイミーにジョイン。 ❏ 現在、タイミーのDRE グループでエンジニアをしてます。 ❏ 福岡在住。趣味は、お酒🍺とゲーム🎮と少し自転車󰣤な ど
3. タイミーの実績 スキマ バイト No.1 ※2024年2月時点　※1 [調査方法]デスクリサーチ及びヒアリング調査 [調査期間]2021年2月8日~22日 [調査概要]スキマバイトアプリ サービスの実態調査 [調査対象]2020年12月までにサービスを開始しているスキマバイトアプリ10サービス [調査実施]株式会社ショッ パーズアイ　※2 [出典]AppStoreライフスタイルカテゴリーランキング（2021年5月時点） 3 累計求人案件数 ・ダウンロード数 ※1 ※2 導入事業者数 98,000企業 ワーカー数 700万人
5. 目次 1. 旧データ基盤と課題 2. ソリューション 3. 実際のアーキテクチャ 4. 実際に運用してみて
6. 1 旧データ基盤と課題
7. データ基盤を適時性高く運用できてますか？
8. データ基盤全体像
9. タイミーアプリのデータベースの連携プロセス
10. データの適時性の定義 ここまでの期間（データが生成されデータが 利用可能になるまで） を最短にしたい
11. データ基盤の課題：データの適時性 適時性が低い原因となっている バッチ 処理 バッチ 処理 バッチ 処理
12. 適時性が上がることによるメリット 連携がニアリアルタイムになることにより、業務適用できるケースが増える ❏ ユーザの投稿データの監視 ❏ 条件を満たさないマッチングのチェック・キャンセル業務 ❏ 機械学習に適用することにより精度向上 などなど
13. 他にもこんな課題が...
14. データ基盤の課題：データの正確性
15. データ基盤の課題：データの正確性 0:00時点の データが 連携される 3:50時点の データが 連携される 3時間50分の間に更新されたデータは整合性がとれなくなる
16. embulkの運用保守作業 ❏ embulkのインフラの監視 ❏ embulkのインフラのspec調整・メンテナンス ❏ embulkのコードの保守 ❏ 起動間隔の調整 など データ基盤の課題：運用保守面 地味に大変...可能なら減らしていきたい...
17. 2 ソリューション
18. ソリューション 初期案 決定案
19. DatastreamとCDCについて 出典：https://cloud.google.com/datastream?hl=ja
20. ❏ 基本的なDDL・DMLを追跡して、ニアリアルタイムで連 携してくれる ❏ truncateなど一部追跡してくれないものもあり ❏ at least onceを保証 ❏ DataSourceへのConnectionエラーが発生しても、自動修 復し、連携が途切れたところから再開してくれる ❏ バックフィルを実施することで、全データを連携しなおす ことができる Datastreamの機能説明
21. 3 実際のアーキテクチャ
22. 実際のアーキテクチャ
23. 実際のアーキテクチャ extractionの ツールを embulkから Datastreamへ
24. 実際のアーキテクチャ dbtの実テーブ ルをviewに 変更
25. 4 実際に運用してみて
26. 運用してみて:適時性 数時間~1日 15分前後
27. 運用してみて:正確性 最大4~1日のデータのずれ 数時間単位の 大きなずれはなくなった
28. 運用してみて：運用保守面 ❏ embulkのインフラの監視 ❏ embulkのインフラのspec調整 ・メンテナンス ❏ embulkのコードの保守 ❏ 起動間隔の調整 など ❏ Datastreamのインフラの監視 など
29. ❏ Datastream自体がブラックボックス ❏ 何かトラブルが発生してもGoogleが対応してくれる のを待つしかない 運用してみて：課題 コンソールからもバックフィル以外にできることがない...
30. ❏ 完全性を確認することが難しくなった 運用してみて：課題 旧データ基盤では、DataLakeのデータとDataSourceのデータを比較することで完全性を確認できた
31. 積極採用中です！ https://hrmos.co/pages/timee/jobs/1682251404118319115 DREもアナリティクスエンジニアも募集中です！ ぜひお力をお貸しください！