Slide 6
Slide 6 text
© GO Inc.
データパイプラインごとの役割の概要
6
データソース データパイプライン
(データ鮮度) BigQuery
データマート
データ活用
AIサービス1
バッチ処理
ストリーミング処
理
加工パイプライン
生データ
ユーザーアプリログ
タクシー動態ログ
地図
天気・電車遅延
(数時間〜数ヶ月おきの反映 )
(5分以内の反映 )
API処理
マイクロサービス
(リアルタイム反映 )
Feature Store
タクシー供給量
ユーザー需要量
AIサービス2
AIサービス3
サービスDB
一般的なBigQuery基盤の
ストリーミング処理では、最
大5分程度の遅延が発生
するため、リアルタイムの
データ処理は難しい課題
があった
リアルタイムデータを扱う
Feature Store基盤を構築
することで、AIサービスの
精度向上に寄与できる