zozo-bigquery-policy-tag-usage

by case-k-git

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© ZOZO, Inc. https://zozo.jp/  ● ファッションEC  ● 1,500以上のショップ、8,400以上のブランドの取り扱い  ● 常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着商品を掲載（2022年9月末時点）  ● ブランド古着のファッションゾーン「ZOZOUSED」や  コスメ専門モール「ZOZOCOSME」、靴の専門モール  「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン  「ZOZOVILLA」を展開  ● 即日配送サービス  ● ギフトラッピングサービス  ● ツケ払いなど  3

Slide 4

Slide 4 text

© ZOZO, Inc. https://wear.jp/  4 ● ファッションコーディネートアプリ  ● 1,600万ダウンロード突破、コーディネート投稿総数は1,300万件以上（2022年9月末時点）  ● ピックアップタグから最新のトレンドをチェック  ● コーディネート着用アイテムを公式サイトで購入可能  ● WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザイナー・インフルエンサーといった各界著名人も参加 

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© ZOZO, Inc. 6 https://zozo.jp/zozoglass/  ● 自宅で簡単・高精度にご自身の顔の肌の色を計測できるフェイスカラー計測ツール  ● ECにおけるコスメ購入時の課題であった「色選び」に関する不安や悩みを解消  ● 肌の色を構成する成分、ヘモグロビン量とメラニン量を画像から推定  ● コスメ専門モール「ZOZOCOSME」で取り扱うベースメイクの一部に対応  ● 計測者数125万人を突破（2022年9月末時点） 

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© ZOZO, Inc. 秘密情報管理で抱えていた課題  10   ● 秘密情報はマスクしてBigQueryへ連携  ○ マスク処理を変更した場合は過去データを捨てるしかなかった  ○ 秘密情報の元データがないため、分析者がマスク処理を作りにくい  ○ メルマガ配信など秘密情報が必要なシステムで利用できない    ● セキュリティ面での課題  ○ BigQueryへ連携する際に秘密情報の有無を利用者が申請する運用をとっていた  ○ 秘密情報ではないのにマスク化されて使えないデータがあった       

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© ZOZO, Inc. ポリシータグとは  ● ポリシータグとは  ○ BigQueryでカラム単位のアクセス制御が可能なリソース  ○ 性別や年齢など秘密情報を掛け合わせると個人の特定に繋がる  ○ テーブル全体ではなくカラム単位でアクセス制御することで、個人の特定を防ぐ    12 引用：https://cloud.google.com/bigquery/docs/best-practices-policy-tags 

Slide 13

Slide 13 text

© ZOZO, Inc. ポリシータグを採用した理由①  ● 匿名化による機密性の高さ  ○ ポリシータグはカラム単位で参照権限を付与できる  ■ 承認済みビューでは秘密情報が複数ある場合、必要以上の権限を与えてしまう  ■ カラム単位でのアクセス制御では個人の特定はできない  ■ プロジェクトのオーナーでも権限がなければ見られないため、  誤って参照することを防止できる      13 Authorized views  https://cloud.google.com/bigquery/docs/authorized-views 

Slide 14

Slide 14 text

© ZOZO, Inc. ポリシータグを採用した理由②  ● 機密性と利便性の両立  ○ 承認済みビューは利用者が使いにくい  ■ プレビューでデータを確認できない  ■ 秘密情報が含まれていないカラムも、データを確認するには全てのカラムをSELECTする必要がある    ○ ポリシータグは利用者が使いやすい  ■ スキーマからどのカラムが秘密情報か確認できる  ■ プレビューでデータの中身を確認できる    14

Slide 15

Slide 15 text

© ZOZO, Inc. ポリシータグを採用した理由③  ● データ基盤の保守運用  ○ 既存のテーブルに秘密情報を追加しやすい  ■ 秘密情報のなかったテーブルを承認済みビューにするのは大変  ■ 利用状況を調べ利用者にクエリを書き換えてもらう必要がある    ○ 秘密情報の権限管理がしやすい  ■ GCPプロジェクトを横断して共通のポリシータグを付与できる  ■ どのアカウントに権限を付与しているかTerraformで管理できる    15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© ZOZO, Inc. ポリシータグを用いたリアルタイムデータ連携  27       Dataflow Pub/Sub BigQuery リアルタイム差分 SQL Server Fluentd on GKE (Change Tracking) Dataflow Pub/Sub Kinesis ● Fluentdでマスクカラムを追加 ○ 秘密情報の分類マスタに基づいてFluentd でマスクカラムを追加 ○ Cloud Pub/SubへPublishする際にattribute 属性に秘密情報カラムを追加  マスクカラム追加

Slide 28

Slide 28 text

© ZOZO, Inc. ポリシータグを用いたリアルタイムデータ連携  28       Dataflow Pub/Sub BigQuery リアルタイム差分 SQL Server Fluentd on GKE (Change Tracking) Dataflow Pub/Sub Kinesis ● 秘密情報をDROPしたCloud Pub/Sub ○ Dataflowを用いてattribute属性に含まれる秘密情報をDROPする  ○ 秘密情報を必要としない場合は秘密情報が含まれていないTopicを参照してもらう 

Slide 29

Slide 29 text

© ZOZO, Inc. ポリシータグを用いたリアルタイムデータ連携  29       Dataflow Pub/Sub BigQuery リアルタイム差分 SQL Server Fluentd on GKE (Change Tracking) Dataflow Pub/Sub Kinesis ● BigQueryにストリーミングインサート ○ Terraformで事前にポリシータグを付与したテーブルを作成  ○ BigQueryからはマスクカラムと秘密情報を参照できる 

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© ZOZO, Inc. ポリシータグ運用注意①  32 ● スキーマの変更や削除が大変  ○ 日次バッチで連携する場合は全量上書くため簡単  ○ リアルタイム連携はスキーマの変更、削除が大変です  ■ ポリシータグを付与したテーブルは  カラムの削除に「ALTER TABLE」が使えない          テーブル連携を止め、クエリを用いた上書きが必要  ■ デプロイ時の運用負荷が高い    Alpha category references are no longer a supported type, please use policy tags instead: ''  BigQuery(Table) リアルタイム差分 BigQuery(table) 日次全量 BigQuery(view) リアルタイム全量

Slide 33

Slide 33 text

© ZOZO, Inc. ポリシータグ運用注意②  33 引用：https://cloud.google.com/bigquery/docs/column-level-security-intro#views  ● テーブルにマスクカラムが必要  ○ 承認済みビューとポリシータグを組み合わせたマスクカラムの生成はできない  ○ ポリシータグを使う場合はマスクしたカラムも必要  ○ 今だと動的マスキングを使う方法もある  ■ ただし、利用者が秘密情報だと思い意図せず利用する場合もあるのでトレードオフ  dynamic data masking  https://cloud.google.com/bigquery/docs/column-data-ma sking-intro   

Slide 34

Slide 34 text

© ZOZO, Inc. ポリシータグ運用注意③  34 ● ジョブに失敗した際ポリシータグが外れないよう注意  ○ bq query実行時にスキーマが壊れていた  ○ ワークフロージョブの失敗は検知できるが、BigQueryのクエリジョブは実行され  ポリシータグが付与されていないテーブルが作られてしまった          bqコマンドに渡しているスキーマのJSONが間違っていてもクエリが実行されてしまう問題  https://qiita.com/shiozaki/items/689610ca4cdf7954b3ea 

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

© ZOZO, Inc. まとめ  37   ● オンプレのSQL ServerからBigQueryへデータを連携している  ● ポリシータグを選定したのはセキュリティ、利用者の利便性、データ基盤の保守運用の点で優れていたから  ● 日次とリアルタイムデータ連携でポリシータグを用いた連携方法が異なる  ● ポリシータグ導入の際は運用の注意点を考慮する必要がある  ● 導入するには秘密情報の分類マスタや運用整備も必要   