Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

クリエイターツール「QUANT」の開発の話 & クライアントに寄り添ったデータ分析基盤の構築

gree_tech
October 25, 2022

クリエイターツール「QUANT」の開発の話 & クライアントに寄り添ったデータ分析基盤の構築

GREE Tech Conference 2022で発表された資料です。
https://techcon.gree.jp/2022/session/TrackA-1

gree_tech

October 25, 2022
Tweet

More Decks by gree_tech

Other Decks in Technology

Transcript

  1. 機能項目 - インフルエンサー向け画面 - マイページ - 案件管理 - 収益管理 -

    ショップ管理 - 社内管理向け画面 - キャンペーン管理 - ユーザー管理 - クリエイティブ審査 - インフルエンサーデータ計測機能 - 発信したコンテンツのクリック計測機能 - 商品購入などの成果計測機能 クリエイターツール「QUANT」の紹介 7

  2. リダイレクタ 成果計測 集計 レポート クリック 成果地点 URL発行 インフルエンサー発信 Cloud Run

    ログ収集/蓄積 BigQuery BigTable Data Studio 「QUANT」のコンポーネント構成 設定 分析 Mysql
  3. view_component実装例の紹介 「QUANT」のRails 採用したGemを紹介 17
 # search_component.rb class Campaigns::SearchComponent < ApplicationComponent

    attribute :form end # search_component.html.haml = simple_form_for form, url: campaigns_path do |f| = f.input :hogehoge # search_component_spec.rb # RSpec.configure で type: :componentを追加する必要があります RSpec.describe Campaigns::SearchComponent, type: :component do describe …… end
  4. Glossomが展開するデジタル化推進支援の流れ 24
 コンテンツに接触したユーザ ページを閲覧したユーザ 申込ユーザ 利用ユーザ 分析DB 認知・興味 申込転換 アクティブ化

    ロイヤル化 BIの構築 分析による施策仮説の立案、施策の展開、施策の効果検証 購買データ 顧客データ トラッキングデータ 分析DBへデータの取り込み、データ更新
  5. データ分析基盤の構成 25
 Big Query データ分析基盤はGCP環境を使用 Cloud Composerを活用することで、分析DBを構築 各種データ 各種データ 各種データ

    クエリ実行 データ取り込み実行 データ書き出し データ書き出し データ書き出し Kubernetes Engine Cloud Composer (Airflow) Dataflow Looker Studio
  6. クライアントに寄り添ったデータ取り込みの実現 28
 データ保管先:kintone ファイル文字コード:UTF-8 1ファイルの最大容量:50MB 1回の連携ファイル数:3 クライアントA データ保管先:S3 ファイル文字コード:Shift-JIS 1ファイルの最大容量:200MB

    1回の連携ファイル数:10 クライアントB データ保管先:GCS ファイル文字コード:UTF-8 1ファイルの最大容量:1GB 1回の連携ファイル数:20 クライアントC データの取り込み方法はクライアントのIT活用状況によって左右される Airflow Custom Operator Google Kubernetes Engine Pod (GKE Pod) Dataflow
  7. データ取り込み-Airflow Custom Operator- 29
 Airflowの標準Operatorでは対応できないクラウドツールからのデータ取り込みが可能 クライアントA - メリット - 開発が比較的容易に行える

    - Airflowのライブラリを利用できる - apiなどの認証情報を統合できる - デメリット - 環境構築が難しい場合がある - Airflowのライブラリが競合する可能性がある - 他のタスクの実行に影響を与える可能性がある データ保管先:kintone ファイル文字コード:UTF-8 1ファイルの最大容量:50MB 1回の連携ファイル数:3
  8. メリット デメリット 使い分け Airflow Custom Operator - 開発が比較的容易に 行える -

    環境構築が難しい 場合がある - 他タスク実行に影響 を与える - Airflowのライブラリも活 用して取り込みをしたい GKE Pod - リソースを切り離せる - 文字コードの変換に対 応できる - Airflowのライブラリ は利用できない - リソースを分けたい - 文字コードを変換したい Dataflow - リソースを切り離せる - 大規模データの取り込 みに対応 - Airflowのライブラリ は利用できない - 自由度が低い - リソースを分けたい - UTF-8で連携 - GCSに存在している データ取り込み手法の使い分けまとめ 32

  9. - メリット - Airflowを操作する必要がないため、基盤担当者 以外でも活用できる - クライアントから連携されてきたデータにアジャスト した取り込みが可能 - 細かな仕様の変化にも柔軟に対応できる

    - デメリット - 都度ファイル形式が変わる場合、自動化されてい ないコード修正作業が増えるため、データ欠損な どのインシデントの危険性が高まる データ取り込み-おまけ- 33
 より柔軟な対応が求められる場合にGoogle Colaboratoryでスポット取り込みを行う クライアントD エクセルでのデータ連携 連携頻度は不定期 カラム数やカラム名はその都度変 わる