Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Prescriptions_for_a_Practical_Data_Infrastructu...
Search
shumpei3
February 18, 2022
Technology
2
430
Prescriptions_for_a_Practical_Data_Infrastructure_Circle_Reading_Materials_3-5to3-11
#datatechjp の「実践的データ基盤への処方箋」輪読会3回目にて使用した資料です。
shumpei3
February 18, 2022
Tweet
Share
More Decks by shumpei3
See All by shumpei3
Design and build about DataOps hands-on
shumpei3
3
1.2k
Shall we start data catalog with IBM Knowledge Catalog ?
shumpei3
4
410
Pre-Hardening-Deck_Team4_JST.Onion_h2017fes
shumpei3
0
67
I_know_gaishi_IT_a_little_returns_20230217_CROSS2022
shumpei3
0
120
I_know_gaishi_IT_a_little_20230117 #外資ITチョットワカル
shumpei3
0
380
I-was-the-chairman-of-two-committee.
shumpei3
0
730
How_organizations_disseminates_info_on_SNS
shumpei3
1
64
how_team1_competed_with_328hardening
shumpei3
0
78
THINK_about_Data_Maintenance_People_in_terms_of_DataOps
shumpei3
2
2.8k
Other Decks in Technology
See All in Technology
利用終了したドメイン名の最強終活〜観測環境を育てて、分析・供養している件〜 / The Ultimate End-of-Life Preparation for Discontinued Domain Names
nttcom
2
190
データ資産をシームレスに伝達するためのイベント駆動型アーキテクチャ
kakehashi
PRO
2
530
Moved to https://speakerdeck.com/toshihue/presales-engineer-career-bridging-tech-biz-ja
toshihue
2
740
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
0
710
表現を育てる
kiyou77
1
210
開発スピードは上がっている…品質はどうする? スピードと品質を両立させるためのプロダクト開発の進め方とは #DevSumi #DevSumiB / Agile And Quality
nihonbuson
2
2.9k
ユーザーストーリーマッピングから始めるアジャイルチームと並走するQA / Starting QA with User Story Mapping
katawara
0
200
運用しているアプリケーションのDBのリプレイスをやってみた
miura55
1
710
関東Kaggler会LT: 人狼コンペとLLM量子化について
nejumi
3
580
MC906491 を見据えた Microsoft Entra Connect アップグレード対応
tamaiyutaro
1
540
RSNA2024振り返り
nanachi
0
580
CZII - CryoET Object Identification 参加振り返り・解法共有
tattaka
0
360
Featured
See All Featured
Making Projects Easy
brettharned
116
6k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
How GitHub (no longer) Works
holman
314
140k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Why Our Code Smells
bkeepers
PRO
336
57k
A Philosophy of Restraint
colly
203
16k
Art, The Web, and Tiny UX
lynnandtonic
298
20k
Statistics for Hackers
jakevdp
797
220k
4 Signs Your Business is Dying
shpigford
182
22k
Building Applications with DynamoDB
mza
93
6.2k
Documentation Writing (for coders)
carmenintech
67
4.6k
Transcript
実践的データ基盤への処方箋/輪読会資料 3-5から3-11まで 使用フォント:IBM Plex Mono ※個人の意見です。 1
自己紹介 ぼうさん / 久保 俊平 (くぼ しゅんぺい) Twitter:@_bou_3 ( 少し前は
@MC_SEC_KB というID ) 現職:日本IBMで技術営業(2020/02-) 前職:某銀行系SIerのSE(2002-2015),セキュリティ技術営業(2015-2020) データ関連の活動: 前向きデータ整備人 in CROSS Party 2021 / 2020 ブログ:DataOpsで実現される、データが整備された世界(vol97-0020-ai) ブログ:正しい言葉のモノサシ、使っていますか? 前向きデータ整備人:DataOpsという観点からデータ整備人を考える 2
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 3
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 4
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ ・データ取り扱いにおける優先すべき4つのポイント ・セキュリティには求められる要求が多い ・活用の価値は見えやすいがセキュリティは見えにくい 5
背景 ⇒ GDPR・CCPA等の個人情報保護に関する規制の施行 / 個人情報取り扱い不備の事案 データ活用を重視しすぎるとセキュリティがおろそかになりがち。 セキュリティを重視しすぎるとデータ活用が進みづらい。 シーソーゲームあるいは綱引きのようなジレンマな関係 ⇨そのバランスを見極めてポリシー(やルールやツール)を策定することが大事 3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ活用とセキュリティのトレードオフ 6
p264より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・データ取り扱いにおける優先すべき4つのポイント(どういった切り口?) 7 (関係者?) (セキュリティの制約?) (データ活用?) (データ資産?) p267より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い データ活用のニーズ ⇨ 具体的な要件になりやすい。(同時にセキュリティの見落としも発生しがち) セキュリティ側で意識すべきこと ⇒ 施策を法規制やポリシーと照らし合わせ 何か起きたら即応できる体制を作っておく 8 p268より抜粋
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・セキュリティには求められる要求が多い 情報セキュリティ管理基準(平成 28年度版) https://www.meti.go.jp/policy/netsecurity/downloadfiles/IS_Management_Standard_H28.pdf 9
3-5:データ活用とセキュリティはトレードオフの関係にあることを理解する ・活用の価値は見えやすいが、セキュリティは見えにくい ・セキュリティの努力は認識されにくい。(保険のような感じ?) ・データ活用部署とセキュリティ部署は異なる部署である事が多い。(利害の対立がありそう) ・データ活用への柔軟な対応の中で、 様々な例外パターンが生まれ管理が煩雑になり、 セキュリティ基準を守れなくなる。 10
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 11
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ・データセキュリティ基準の定義 ・データの機密性(Confidentiality) ・データの完全性(Integrity) ・データの可用性(Availability) 12
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する ポリシー:一連の目標を達成するために選択された活動方針や制約 データのセキュリティポリシー ビジネス要件 規制要件 設定したら終わりではなく、定期的な監査・評価・見直しが必要 13 p270より抜粋
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データのセキュリティポリシーを定義する セプテーニ社の例 https://www.septeni-holdings.co.jp/dhrp/guideline/applicationpolicy/ 14
3-6:組織の利益となるデータのセキュリティポリシーとそのセキュリティ基準を決める ・データセキュリティ基準の定義 ・データの機密性:許可されたメンバーのみがデータへアクセス可能 メンバーには必要最小限の権限のみ与えましょう。 ・データの完全性:データが正確で改竄されていないこと データパイプラインの処理中におかしくなることも。監査ログなども要保管。 ・データの可用性:与えられた権限内で、必要な場合はいつでもアクセス可能 15
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 16
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 ・アクセシビリティはグループ管理で効率的に行う 17
3-7:適切な権限設定とリスク管理方法を定める ・IAMを用いて権限を管理する。 IAMでは以下のような機能が実現出来る。 個別のクラウドサービス内ではシンプルでいいけど、複数のクラウドサービスにまたがると 複雑になります。 ( ⇒ みなさん、このへんどうしてます? ) 18 p274より抜粋
3-7:適切な権限設定とリスク管理方法を定める ・アクセシビリティはグループ管理で効率的に行う 19 p265より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 20
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・社内でデータを活用したいメンバーに必要な情報 ・「権限管理者」に必要な情報 ・設定情報をコードで管理する 21
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・運用ルールのドキュメントを作成する。 ・権限管理の情報はドキュメント化して残しましょう。 ・データ活用したいメンバーが必要な権限を得る手続き ・権限管理者のオペレーションフロー (「ドキュメントに仕事をさせよ」と、昔ある先輩に言われました) 22
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・社内でデータを活用したいメンバーに必要な情報 23 p277より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・「権限管理者」に必要な情報 単一のクラウドサービスならドキュメントを読めばいいが、 組織固有のルールもあるので、運用ルールの記載も必要。 24 p278より抜粋
3-8:データ利用や権限管理などの運用ルールをドキュメント化する ・設定情報をコードで管理する ・複数のサービスの管理は煩雑なので、 ・設定情報をコードで管理する:Infrastructure as Code ・Terraform等 ( ⇒ 実際にIaCで管理されています?
) 25
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 26
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・誰が・いつ・どのように棚卸しを行うかを決める 27
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・棚卸しの対象を選定する ・サービス利用状況やアカウント、権限など 28 p280より抜粋
3-9:担当,見直しサイクル,判断基準を決めてデータやツールの棚卸しを定期的に行う ・誰が・いつ・どのように棚卸しを行うかを決める ・棚卸を放置すると管理コストが飛躍的に上がるので担当者は明確に! ・棚卸タイミングのおススメは、、、 ・平家物語から読み解く、データの諸行無常。 おごれるデータソースも久しからず。ただ春の夜の夢のごとし。 猛きダッシュボードもつひには滅びぬ。ひとへに風の前の塵に同じ。 ・復元依頼もあるので、アーカイブフォルダを準備すると良いです。 29 p282より抜粋
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 30
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 ・匿名加工技術を使う 31
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・データの保護 右記のような事案に際して 重要なのがデータ保護です。 ↓ 個人情報保護法は改定され続けて おり、罰則もある。 ↓ データの暗号化等で、漏洩時のリスクを最小化しましょう。 情報セキュリティ10大脅威2021
https://www.ipa.go.jp/security/vuln/10threats2021.html 32 p284より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・個人を特定出来る項目を匿名化してセキュリティを担保しましょう。 33 p286より抜粋
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う ・K-匿名性:個人情報を集約した場合、その特定性が何人までの粒度か 10人までの範囲で特定出来る:10-匿名性 ・匿名化によりデータが活用しづらくなることも。 (個々人に個別最適化させた広告を出したい場合等) ・リスクとトレードオフ 34
3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する ・匿名加工技術を使う 35 Watson Knowledge Catalogにて匿名化した例 ※データは https://hogehoge.tk/personal/ にて生成したダミーデータです。
各章のタイトル 3-5 :データ活用とセキュリティは トレードオフの関係にあることを理解する 3-6 :組織の利益となるデータのセキュリティ ポリシーとそのセキュリティ基準を決める 3-7 :適切な権限設定とリスク管理方法を定める 3-8
:データ利用や権限管理などの運用 ルールをドキュメント化する 3-9 :担当、見直しサイクル、判断基準を決めてデータやツールの 棚卸しを定期的に行う 3-10:不正アクセスに備えてデータ保護や匿名加工技術を適用する 3-11:監査では評価方法を理解して客観性を担保する 36
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け ・リスクアセスメントによるリスク評価 ・監査は独立した組織が行う 37
3-11:監査では評価方法を理解して客観性を担保する ・情報システムにおける監査の位置付け 参考: https://www.ipa.go.jp/files/000011535.pdf 38 p288より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・リスクアセスメント: 情報資産に対して発生する可能性のある脅威の発生確率、 発生した場合の影響度などを評価すること ・対策基準 ・データの取り扱い・運用ルールについてわかりやすく記述 ・何を最適な管理策とするか ・どのようにわかりやすく記載するか 39
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 ・技術的対策の例 ・管理的対策の例 40 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・リスクアセスメントによるリスク評価 ・脅威・脆弱性・リスクの例 41 https://www.ipa.go.jp/files/000013299.pdf
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う 監査のサイクルを継続的に回しましょう。 初年度は大変。次年度からは負荷は逓減していく。 参考:https://isms.jp/doc/JIP-ISMS111-21_2.pdf 42 p290より抜粋
3-11:監査では評価方法を理解して客観性を担保する ・監査は独立した組織が行う まとめ データ活用の成功は、必ずしもシステムやデータそのものだけが 原因ではない。 人や組織にも目を向け、失敗を回避していきましょう。 43
感想 3-1から3-4が基本設計だとすると、詳細設計にあたる箇所かと思う。 目指すべき理想は高いですけど、実施内容は多岐にわたるので、 Small Start でやるしかないよね。。 (Aim High, Shoot Low.)
44
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
データカタログ、BI、ETL、データ仮想化(Federation)まで、 管理者目線も、利用者目線も含めて、まとめて触って遊べます。 45 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547
おまけ:色々遊べるSaaS型データプラットフォーム Cloud Pak for Data as a Service ハンズオン メニュー
46 https://qiita.com/Shumpei_Kubo/items/993e0fabfaebf56fe547