Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Prescriptions_for_a_Practical_Data_Infrastructu...
Search
shumpei3
February 18, 2022
Technology
2
410
Prescriptions_for_a_Practical_Data_Infrastructure_Circle_Reading_Materials_3-5to3-11
#datatechjp の「実践的データ基盤への処方箋」輪読会3回目にて使用した資料です。
shumpei3
February 18, 2022
Tweet
Share
More Decks by shumpei3
See All by shumpei3
Design and build about DataOps hands-on
shumpei3
3
1.1k
Shall we start data catalog with IBM Knowledge Catalog ?
shumpei3
4
340
Pre-Hardening-Deck_Team4_JST.Onion_h2017fes
shumpei3
0
62
I_know_gaishi_IT_a_little_returns_20230217_CROSS2022
shumpei3
0
110
I_know_gaishi_IT_a_little_20230117 #外資ITチョットワカル
shumpei3
0
360
I-was-the-chairman-of-two-committee.
shumpei3
0
720
How_organizations_disseminates_info_on_SNS
shumpei3
1
58
how_team1_competed_with_328hardening
shumpei3
0
72
THINK_about_Data_Maintenance_People_in_terms_of_DataOps
shumpei3
2
2.8k
Other Decks in Technology
See All in Technology
podman_update_2024-12
orimanabu
1
260
オプトインカメラ:UWB測位を応用したオプトイン型のカメラ計測
matthewlujp
0
170
.NET 9 のパフォーマンス改善
nenonaninu
0
580
Amazon VPC Lattice 最新アップデート紹介 - PrivateLink も似たようなアップデートあったけど違いとは
bigmuramura
0
190
NW-JAWS #14 re:Invent 2024(予選落ち含)で 発表された推しアップデートについて
nagisa53
0
250
Amazon SageMaker Unified Studio(Preview)、Lakehouse と Amazon S3 Tables
ishikawa_satoru
0
150
OpenShift Virtualizationのネットワーク構成を真剣に考えてみた/OpenShift Virtualization's Network Configuration
tnk4on
0
130
OpenAIの蒸留機能(Model Distillation)を使用して運用中のLLMのコストを削減する取り組み
pharma_x_tech
4
540
re:Invent をおうちで楽しんでみた ~CloudWatch のオブザーバビリティ機能がスゴい!/ Enjoyed AWS re:Invent from Home and CloudWatch Observability Feature is Amazing!
yuj1osm
0
120
20241214_WACATE2024冬_テスト設計技法をチョット俯瞰してみよう
kzsuzuki
3
440
組織に自動テストを書く文化を根付かせる戦略(2024冬版) / Building Automated Test Culture 2024 Winter Edition
twada
PRO
12
3.4k
[Ruby] Develop a Morse Code Learning Gem & Beep from Strings
oguressive
1
150
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
5
440
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Navigating Team Friction
lara
183
15k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
28
4.4k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
BBQ
matthewcrist
85
9.4k
How GitHub (no longer) Works
holman
311
140k
A Philosophy of Restraint
colly
203
16k
For a Future-Friendly Web
brad_frost
175
9.4k
StorybookのUI Testing Handbookを読んだ
zakiyama
27
5.3k
How to Ace a Technical Interview
jacobian
276
23k
Transcript
実践的データ基盤への処方箋/輪読会資料 3-5から3-11まで 使用フォント:IBM Plex Mono ※個人の意見です。 1
自己紹介 ぼうさん / 久保 俊平 (くぼ しゅんぺい) Twitter:@_bou_3 ( 少し前は
@MC_SEC_KB というID ) 現職:日本IBMで技術営業(2020/02-) 前職:某銀行系SIerのSE(2002-2015),セキュリティ技術営業(2015-2020) データ関連の活動: 前向きデータ整備人 in CROSS Party 2021 / 2020 ブログ:DataOpsで実現される、データが整備された世界(vol97-0020-ai) ブログ:正しい言葉のモノサシ、使っていますか? 前向きデータ整備人:DataOpsという観点からデータ整備人を考える 2
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 3
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 4
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ ・データ取り扱いにおける優先すべき4つのポイント ・セキュリティには求められる要求が多い ・活用の価値は見えやすいがセキュリティは見えにくい 5
背景 ⇒ GDPR・CCPA等の個人情報保護に関する規制の施行 / 個人情報取り扱い不備の事案 データ活用を重視しすぎるとセキュリティがおろそかになりがち。 セキュリティを重視しすぎるとデータ活用が進みづらい。 シーソーゲームあるいは綱引きのようなジレンマな関係 ⇨そのバランスを見極めてポリシー(やルールやツール)を策定することが大事 3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ 6
p264より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ取り扱いにおける優先すべき4つのポイント(どういった切り口?) 7 (関係者?) (セキュリティの制約?) (データ活用?) (データ資産?) p267より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い データ活用のニーズ ⇨ 具体的な要件になりやすい。(同時にセキュリティの見落としも発生しがち) セキュリティ側で意識すべきこと ⇒ 施策を法規制やポリシーと照らし合わせ 何か起きたら即応できる体制を作っておく 8 p268より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い 情報セキュリティ管理基準(平成 28年度版) https://www.meti.go.jp/policy/netsecurity/downloadfiles/IS_Management_Standard_H28.pdf 9
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・活用の価値は見えやすいが、セキュリティは見えにくい ・セキュリティの努力は認識されにくい。(保険のような感じ?) ・データ活用部署とセキュリティ部署は異なる部署である事が多い。(利害の対立がありそう) ・データ活用への柔軟な対応の中で、 様々な例外パターンが生まれ管理が煩雑になり、 セキュリティ基準を守れなくなる。 10
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 11
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ・データセキュリティ基準の定義 ・データの機密性(Confidentiality) ・データの完全性(Integrity) ・データの可用性(Availability) 12
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ポリシー:一連の目標を達成するために選択された活動方針や制約 データのセキュリティポリシー ビジネス要件 規制要件 設定したら終わりではなく、定期的な監査・評価・見直しが必要 13 p270より抜粋
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する セプテーニ社の例 https://www.septeni-holdings.co.jp/dhrp/guideline/applicationpolicy/ 14
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データセキュリティ基準の定義 ・データの機密性:許可されたメンバーのみがデータへアクセス可能 メンバーには必要最小限の権限のみ与えましょう。 ・データの完全性:データが正確で改竄されていないこと データパイプラインの処理中におかしくなることも。監査ログなども要保管。 ・データの可用性:与えられた権限内で、必要な場合はいつでもアクセス可能 15
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 16
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 ・アクセシビリティはグループ管理で効率的に行う 17
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 IAMでは以下のような機能が実現出来る。 個別のクラウドサービス内ではシンプルでいいけど、複数のクラウドサービスにまたがると 複雑になります。 ( ⇒ みなさん、このへんどうしてます? ) 18 p274より抜粋
3-7:適切な権限設定とリスク管理方法を定める ・アクセシビリティはグループ管理で効率的に行う 19 p265より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 20
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・社内でデータを活用したいメンバーに必要な情報 ・「権限管理者」に必要な情報 ・設定情報をコードで管理する 21
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・権限管理の情報はドキュメント化して残しましょう。 ・データ活用したいメンバーが必要な権限を得る手続き ・権限管理者のオペレーションフロー (「ドキュメントに仕事をさせよ」と、昔ある先輩に言われました) 22
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・社内でデータを活用したいメンバーに必要な情報 23 p277より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・「権限管理者」に必要な情報 単一のクラウドサービスならドキュメントを読めばいいが、 組織固有のルールもあるので、運用ルールの記載も必要。 24 p278より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・設定情報をコードで管理する ・複数のサービスの管理は煩雑なので、 ・設定情報をコードで管理する:Infrastructure as Code ・Terraform等 ( ⇒ 実際にIaCで管理されています?
) 25
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 26
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・誰が・いつ・どのように棚卸しを行うかを決める 27
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・サービス利用状況やアカウント、権限など 28 p280より抜粋
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・誰が・いつ・どのように棚卸しを行うかを決める ・棚卸を放置すると管理コストが飛躍的に上がるので担当者は明確に! ・棚卸タイミングのおススメは、、、 ・平家物語から読み解く、データの諸行無常。 おごれるデータソースも久しからず。ただ春の夜の夢のごとし。 猛きダッシュボードもつひには滅びぬ。ひとへに風の前の塵に同じ。 ・復元依頼もあるので、アーカイブフォルダを準備すると良いです。 29 p282より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 30
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 ・匿名加工技術を使う 31
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 右記のような事案に際して 重要なのがデータ保護です。 ↓ 個人情報保護法は改定され続けて おり、罰則もある。 ↓ データの暗号化等で、漏洩時のリスクを最小化しましょう。 情報セキュリティ10大脅威2021
https://www.ipa.go.jp/security/vuln/10threats2021.html 32 p284より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・個人を特定出来る項目を匿名化してセキュリティを担保しましょう。 33 p286より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・K-匿名性:個人情報を集約した場合、その特定性が何人までの粒度か 10人までの範囲で特定出来る:10-匿名性 ・匿名化によりデータが活用しづらくなることも。 (個々人に個別最適化させた広告を出したい場合等) ・リスクとトレードオフ 34
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う 35 Watson Knowledge Catalogにて匿名化した例 ※データは https://hogehoge.tk/personal/ にて生成したダミーデータです。
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 36
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け ・リスクアセスメントによるリスク評価 ・監査は独立した組織が行う 37
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け 参考: https://www.ipa.go.jp/files/000011535.pdf 38 p288より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・リスクアセスメント: 情報資産に対して発生する可能性のある脅威の発生確率、 発生した場合の影響度などを評価すること ・対策基準 ・データの取り扱い・運用ルールについてわかりやすく記述 ・何を最適な管理策とするか ・どのようにわかりやすく記載するか 39
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 ・技術的対策の例 ・管理的対策の例 40 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 41 https://www.ipa.go.jp/files/000013299.pdf
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う 監査のサイクルを継続的に回しましょう。 初年度は大変。次年度からは負荷は逓減していく。 参考:https://isms.jp/doc/JIP-ISMS111-21_2.pdf 42 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う まとめ データ活用の成功は、必ずしもシステムやデータそのものだけが 原因ではない。 人や組織にも目を向け、失敗を回避していきましょう。 43
感想 3-1から3-4が基本設計だとすると、詳細設計にあたる箇所かと思う。 目指すべき理想は高いですけど、実施内容は多岐にわたるので、 Small Start でやるしかないよね。。 (Aim High, Shoot Low.)
44
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
データカタログ、BI、ETL、データ仮想化(Federation)まで、 管理者目線も、利用者目線も含めて、まとめて触って遊べます。 45 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
46 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547