データ初心者がAWS Glue DataBrewでPII対策やってみた

Transcript

1. データ初⼼者が AWS Glue DataBrew でPII対策やってみた 2024/7/25 Akira Sato
2. ⾃⼰紹介
3. アジェンダ いきなり結論 やってみた まとめ What’s PII︖Why PII ?
4. What’s PII︖ • Personally Identifiable Information（PII）の略称 • 簡単に⾔ってしまえば個⼈情報 • 名前、⽣年⽉⽇、⾃宅住所、社会保障番号、運転免許番号、クレジットカード番号など • 情報の内容に応じて分類されたりもする（直接/間接 など） PII とは︖
5. Why PII︖ あなたは機械学習エンジニアです。現在利⽤しているデータには個⼈を特定できる情報（PII）が含 まれています。社内ルールで学習にPIIを使⽤してはなりません。あなたは、MLモデルで使⽤する保 険データを提供するために適切なAWSサービスを選択しなければなりません。 最も費⽤対効果の⾼い⽅法で要件を満たすにはどの⼿段をとりますか。 a. 真⼼を込めて⼿作業 b. 伝統のscript c. 先輩秘伝のLambda d. AWS Glue DataBrew 問題 認定試験だと選べるけど、 “本当に︖” が気になる
6. アジェンダ いきなり結論 やってみた まとめ What’s PII︖Why PII ?
7. いきなり結論 • ⽇本語のデータはうまく処理できない 結論
8. アジェンダ いきなり結論 やってみた まとめ What’s PII︖Why PII ?
9. Glue DataBrewとは︖ • AWS Glue DataBrew は、データのクリーニング、正規化、変換を⾏う ためのフルマネージドのビジュアルデータ準備サービスです。 AWS Glue ETL とは異なり、使⽤するコードを作成する必要がありません。 • 詳細は AWS BLACK BELT ONLINE SEMINAR をご参照ください 参考︓AWS Glue DataBrew 今回はDataBrewのPII マスキング機能を使ってみる
10. 今回のデータ • サンプルデータは架空の個⼈情報を100⼈分⽤意 → ⽒名（⽇⽶）、メールアドレス、住所（⽇⽶）、電話番号、クレジットカード番号
11. Glue DataBrew（1/3） • データをS3に格納後、取り込むだけで簡単に利⽤できる
12. Glue DataBrew（2/3） • オプションを選択するだけでPIIのマスキングができる
13. Glue DataBrew（3/3） • ⽇本語はマスクされない事がわかる
14. なぜマスクされないのか︖ • アメリカにおけるPIIをマスキングする機能なので⽇本語は適応外 （形式が合致すれば適応される） 参考︓Building a profile job configuration programmatically in AWS Glue DataBrew
15. アジェンダ いきなり結論 やってみた まとめ What’s PII︖Why PII ?
16. まとめ • (認定試験の様にサービスを選択しても)⽇本語のデータはうま く処理できない • ⽇本語のPIIを含むデータ処理を⾏う際には内容に応じた対策が必須 • 列を指定してのマスキングであればDataBrewで実施可能だが、 要件に応じて他のサービスとの組み合わせの検討が必須