Upgrade to Pro — share decks privately, control downloads, hide ads and more …

タクシーアプリ『GO』の実践的データ活用〜位置情報データの収集とStreamlitでの可視化〜

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on.

 タクシーアプリ『GO』の実践的データ活用〜位置情報データの収集とStreamlitでの可視化〜

『GO』のデータ基盤には、ユーザアプリと乗務員アプリのデータが入ってくる
乗務員アプリの位置情報データは膨大なので、多層パイプラインで処理
位置情報データの可視化はstreamlit
streamlitと生成AIの相性が最高

Avatar for GO Inc. dev

GO Inc. dev

July 29, 2026

More Decks by GO Inc. dev

Other Decks in Technology

Transcript

  1. 自己紹介 @fetarodc • • • 渡部徹太郎(わたなべてつたろう) 職歴: ◦ 野村総合研究所→リクルートテクノロジーズ→GO株式会社 仕事

    ◦ ◦ ◦ • データ活用部隊の組織長 データ基盤管理グループのマネージャ 技術勉強会メディア「GO TechTalk」の主催 本3冊書いています 趣味 ◦ ◦ ◦ ◦ ギター(会社の軽音部) ゲーム(最近はストリートファイター6) 麻雀 自宅サーバ Confidential © GO Inc. 2
  2. タクシーアプリ『 GO』のデータ基盤 バ ッ ク エ ン ド ユーザアプリ 乗務員

    アプリ データ基盤 1.意思決定で利用 ・KPIモニタリング 3500万ダウンロードの アプリデータ ・効果検証 ・仮説検証 1日23億レコードの車両データ 2. データプロダクト ・ETA予測 地図 外部データ ・需要・供給予測 天気・ 電車遅延 ・マッチング ... データ量:8PB(ペタバイト) テーブル数:78万 ※非圧縮 Confidential © GO Inc. 5
  3. データ基盤の構成 フロント エンド バックエンド キュー (Cloud Pub/Sub) 収集 収集 生データ

    (Dataflow) (BigQuery) (k8s) データ ウェア ハウス (BigQuery) 車載 デバイス 意思決定で利用 Looker 位置状態 ログ バック エンド データ基盤 外部 外部 データ データ 収集 データ マート (BigQuery) (Dataform, Python + GKE) RDB ジョブコントローラ (Cloud SQL) (Managed Service for Apache Airflow) (RDS Aurora) ユーザー アプリ バックエンドエンジニア + SRE アナリスト 受益者 Streamlit (on GKE) データ加工処理 (自作) RDB コネクテッド シート 品質/リネージ/メタデータ管理 (Dataform Assertion,Knowledge Catalog) データエンジニア アナリティクスエンジニア データプロダクト サイエンティ スト 特徴量・ 推論値 ストア (Feast) ML / アルゴ リズム バック エンド コンテナ AKE(k8s) Confidential © GO Inc. 6
  4. 位置情報データのパイプライン 1日23億レコード 参考:車両位置情報データの圧縮による Cloud Pub/Subのコスト削減 Redis Pub/Sub gRPC client streaming

    逆ジオ コーディング gRPC server streaming 配車で 利用 マッチング エンジン 近傍検索 システム オンメモリで 直近数十秒分を保持 protobuf +ZSTD圧縮 Cloud Pub/Sub Streaming insert Cloud Dataflow BigQuery データ分析 で利用 参考:タクシー車両の位置状態情報を支えるシステムのインフラ構成 データ分析で利用する位置情報は、ミッションクリティカルなパイプラインから分離 Confidential © GO Inc. 8
  5. ローカルで本番データを使って Streamlitを開発する基盤を用意 本番環境 認証・認可・監査の 要件を満たした環境 開発・プレビュー環境 ローカルで、本番データを用いた開 発ができる localhostにア クセスすれば

    プレビューが見 れる Web App ソースコード 本番 BigQuery ソースコード プレビューGKE Port SKAFFOLD forward sync http://localhost:8501 Web App 認可・監査 (nginx) IAP 監査 ログ 全社 認証 本番GKE 手元の変更を 即時反映 ブラウザ IDE 生成AI使える デプロイ ソースコード 開発 ローカルPC CI/CD (GitHub) 参考:Streamlit ホスティング基盤をどのように作ったか 30人の開発者 250+の画面 Confidential © GO Inc. 10
  6. Streamlitは生成AIと相性が抜群 • Streamlitの開発は「SQLの開発」と「可視化部品」の開発2つ • 可視化部品の開発 ◦ 生成AIだけで完結できる。理由は、 Streamlitの可視化はJupyter Notebookの可視化の仕組みとほぼ 同じであり、世の中に多くのサンプルコードがあり、生成

    AIが事前に十分の知識を持っている • SQLの開発 ◦ 信頼できるSQLを検索できるMCPサーバを立て、 SQLの生成精度を高めている 信頼できる SQL実行履歴 BigQuery レポジトリ上のSQL資産 Dataform の SQLX クロール RAG DB 検索 MCP サーバ VSCode + GitHub Copilot でstreamlitの開発 接続 Streamlit のSQL アナリストの ワークスペース のSQL メタデータ Confidential © GO Inc. 12