Upgrade to Pro — share decks privately, control downloads, hide ads and more …

タクシーアプリ『GO』の実践的データ活用〜位置情報データの収集とStreamlitでの可視化〜

 タクシーアプリ『GO』の実践的データ活用〜位置情報データの収集とStreamlitでの可視化〜

『GO』のデータ基盤には、ユーザアプリと乗務員アプリのデータが入ってくる
乗務員アプリの位置情報データは膨大なので、多層パイプラインで処理
位置情報データの可視化はstreamlit
streamlitと生成AIの相性が最高

Avatar for GO Inc. dev

GO Inc. dev

July 29, 2026

More Decks by GO Inc. dev

Other Decks in Technology

Transcript

  1. 自己紹介 @fetarodc • • • 渡部徹太郎(わたなべてつたろう) 職歴: ◦ 野村総合研究所→リクルートテクノロジーズ→GO株式会社 仕事

    ◦ ◦ ◦ • データ活用部隊の組織長 データ基盤管理グループのマネージャ 技術勉強会メディア「GO TechTalk」の主催 本3冊書いています 趣味 ◦ ◦ ◦ ◦ ギター(会社の軽音部) ゲーム(最近はストリートファイター6) 麻雀 自宅サーバ Confidential © GO Inc. 2
  2. タクシーアプリ『 GO』のデータ基盤 バ ッ ク エ ン ド ユーザアプリ 乗務員

    アプリ データ基盤 1.意思決定で利用 ・KPIモニタリング 3500万ダウンロードの アプリデータ ・効果検証 ・仮説検証 1日23億レコードの車両データ 2. データプロダクト ・ETA予測 地図 外部データ ・需要・供給予測 天気・ 電車遅延 ・マッチング ... データ量:8PB(ペタバイト) テーブル数:78万 ※非圧縮 Confidential © GO Inc. 5
  3. データ基盤の構成 フロント エンド バックエンド キュー (Cloud Pub/Sub) 収集 収集 生データ

    (Dataflow) (BigQuery) (k8s) データ ウェア ハウス (BigQuery) 車載 デバイス 意思決定で利用 Looker 位置状態 ログ バック エンド データ基盤 外部 外部 データ データ 収集 データ マート (BigQuery) (Dataform, Python + GKE) RDB ジョブコントローラ (Cloud SQL) (Managed Service for Apache Airflow) (RDS Aurora) ユーザー アプリ バックエンドエンジニア + SRE アナリスト 受益者 Streamlit (on GKE) データ加工処理 (自作) RDB コネクテッド シート 品質/リネージ/メタデータ管理 (Dataform Assertion,Knowledge Catalog) データエンジニア アナリティクスエンジニア データプロダクト サイエンティ スト 特徴量・ 推論値 ストア (Feast) ML / アルゴ リズム バック エンド コンテナ AKE(k8s) Confidential © GO Inc. 6
  4. 位置情報データのパイプライン 1日23億レコード 参考:車両位置情報データの圧縮による Cloud Pub/Subのコスト削減 Redis Pub/Sub gRPC client streaming

    逆ジオ コーディング gRPC server streaming 配車で 利用 マッチング エンジン 近傍検索 システム オンメモリで 直近数十秒分を保持 protobuf +ZSTD圧縮 Cloud Pub/Sub Streaming insert Cloud Dataflow BigQuery データ分析 で利用 参考:タクシー車両の位置状態情報を支えるシステムのインフラ構成 データ分析で利用する位置情報は、ミッションクリティカルなパイプラインから分離 Confidential © GO Inc. 8
  5. ローカルで本番データを使って Streamlitを開発する基盤を用意 本番環境 認証・認可・監査の 要件を満たした環境 開発・プレビュー環境 ローカルで、本番データを用いた開 発ができる localhostにア クセスすれば

    プレビューが見 れる Web App ソースコード 本番 BigQuery ソースコード プレビューGKE Port SKAFFOLD forward sync http://localhost:8501 Web App 認可・監査 (nginx) IAP 監査 ログ 全社 認証 本番GKE 手元の変更を 即時反映 ブラウザ IDE 生成AI使える デプロイ ソースコード 開発 ローカルPC CI/CD (GitHub) 参考:Streamlit ホスティング基盤をどのように作ったか 30人の開発者 250+の画面 Confidential © GO Inc. 10
  6. Streamlitは生成AIと相性が抜群 • Streamlitの開発は「SQLの開発」と「可視化部品」の開発2つ • 可視化部品の開発 ◦ 生成AIだけで完結できる。理由は、 Streamlitの可視化はJupyter Notebookの可視化の仕組みとほぼ 同じであり、世の中に多くのサンプルコードがあり、生成

    AIが事前に十分の知識を持っている • SQLの開発 ◦ 信頼できるSQLを検索できるMCPサーバを立て、 SQLの生成精度を高めている 信頼できる SQL実行履歴 BigQuery レポジトリ上のSQL資産 Dataform の SQLX クロール RAG DB 検索 MCP サーバ VSCode + GitHub Copilot でstreamlitの開発 接続 Streamlit のSQL アナリストの ワークスペース のSQL メタデータ Confidential © GO Inc. 12