システムのログは保存したか？で、その後どうする？システムのログ保存先とコスト最適化について

Slide 1

Slide 1 text

システムのログは保存したか？で、その後どうする？システムのログ保存先とコスト最適化について OpsJAWS Meetup29 ロギング、ログ管理株式会社asken 沼沢一樹 1

Slide 2

Slide 2 text

自己紹介 resource "engineer" "kazuki_numazawa" { name = "沼沢一樹" company = "株式会社asken" layer = "Infrastructure" role = "Tech Lead" description = <

Slide 3

Slide 3 text

© asken.inc 3 株式会社askenのご紹介 ● 会社名　：株式会社asken ● 代表者　：中島　洋 ● 設立　：2007年10月1日 ● 社員数　：63人(2024年5月時点) ● 株主：株式会社グリーンハウス(100%出資) ● 事業内容：インターネットを通じた食と健康に関するサービス提供 ✔ 有料課金事業・・・AI食事管理アプリ『あすけん』の開発・運営 ✔ 広告事業・・・『あすけん』のアプリ内で健康食品などのプロモーションを実施 ✔ 法人事業・・・企業の従業員の食生活改善、市民の健康増進などを目的とした『あすけん』の団体向け利用 ✔ 医療事業・・・病院での栄養指導の一助として『あすけん』の食事記録と管理者向けシステムの提供

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© asken.inc 会員規模・食事記録数 iOS・Androidアプリ合計月間約104万UU ※2 1000万人突破！ ※1　2007年～2024年5月までにあすけんに記録された食事記録の総件数 ※2　月間　2023/5/1~2023/5/31（31日間）収益ダウンロード数食事記録レコード数 72億件※1 アプリストア　ヘルスケアカテゴリーダウンロード数・売上ランキング共に 3年連続年間 1位 ※日本国内AppStoreとGooglePlay合算の「ヘルスケア（健康）/フィットネス」カテゴリにおける、2022年・2023年のダウンロード数および収益（data.ai調べ）」 6

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

← 健康診断の数値大幅改善！！！ → 過去半年で 5kg 弱ダウン！最近の成果昨年今年 9

Slide 10

Slide 10 text

ログ保存してますか？ 10

Slide 11

Slide 11 text

そのログ、永続化していますか？ 11

Slide 12

Slide 12 text

そのログ、どこに保存するか、どのくらい保存するか、明確に決めて運用していますか？ 12

Slide 13

Slide 13 text

そもそも 13

Slide 14

Slide 14 text

ログってなんで保存しないといけないんだっけ？ 14

Slide 15

Slide 15 text

● 調査やモニタリング ○ 問い合わせや障害発生時の調査、特定文字列検知でアラート、等 ● 分析 ○ アクセスログならアクセス傾向の分析等 ● 法令遵守 ○ ほうれい…そんしゅ…？うっ頭が… (個人の見解です、一般論かどうかは知りません ) ログを保存する目的 15

Slide 16

Slide 16 text

本題 16

Slide 17

Slide 17 text

まずはログの保存先についてどういったものがあるのか 17

Slide 18

Slide 18 text

● S3 ○ 言わずと知れた AWS のオブジェクトストレージ ○ もはやシンプルさはどこへ行ったのか ● CloudWatch Logs ○ AWS のログ管理サービス ○ AWS でログと言えばこれ(主観) ● その他、Firehose を経由して様々な連携先へ… ○ Redshift, OpenSearch Service, 3rd Party Services, … ログの保存先の選択肢 18

Slide 19

Slide 19 text

目的に合わせた最適な保存先と保存期間目的場所期間調査(モニタリング) ログ分析(短期間分) CloudWatch Logs 3ヶ月 (長くても1年) 法令遵守ログ分析(長期間分) S3 5年 (長くても10年) 19

Slide 20

Slide 20 text

目的: 調査場所: CloudWatch Logs 期間: 3ヶ月(〜1年) 20

Slide 21

Slide 21 text

ログの確認を必要とするような調査を行うケース ● 問い合わせ ● 障害このような、比較的急ぎの用件であることが多い調査目的 → 場所: CloudWatch Logs 21

Slide 22

Slide 22 text

ログの調査では、以下の状態が望ましいと考える ● 早く確認できること ● できるだけ手間なく簡単に確認できること調査目的 → 場所: CloudWatch Logs 22

Slide 23

Slide 23 text

ログの調査では、以下の状態が望ましいと考える ● 早く確認できること ● できるだけ手間なく簡単に確認できること → 調査目的のログ保存先は CloudWatch Logs が適している、と言える調査目的 → 場所: CloudWatch Logs 23

Slide 24

Slide 24 text

問い合わせや障害等の調査では ● 最近のログを見るケースがほとんど ● 古いログを調べることもあるが、それはレアケース調査目的 → 期間: 3ヶ月(〜1年) 24

Slide 25

Slide 25 text

問い合わせや障害等の調査では ● 最近のログを見るケースがほとんど ● 古いログを調べることもあるが、それはレアケース → CloudWatch Logs 上で古いログを見ることはほとんど無い調査目的 → 期間: 3ヶ月(〜1年) 25

Slide 26

Slide 26 text

問い合わせや障害等の調査では ● 最近のログを見るケースがほとんど ● 古いログを調べることもあるが、それはレアケース → CloudWatch Logs 上で古いログを見ることはほとんど無い → 保存だけで言えば S3 の方が安いので CloudWatch Logs に長期間保存するメリットが薄い調査目的 → 期間: 3ヶ月(〜1年) 26

Slide 27

Slide 27 text

調査目的 → 期間: 3ヶ月(〜1年) CloudWatch Logs S3 27

Slide 28

Slide 28 text

じゃあ最初から S3 に置いて Athena 等で参照できるようにしておいた方がコスパ良くね？ 28

Slide 29

Slide 29 text

ログの調査では、以下の状態が望ましいと考える ● 早く確認できること ● できるだけ手間なく簡単に確認できること調査目的 → 期間: 3ヶ月(〜1年) 再掲 29

Slide 30

Slide 30 text

ログの調査では、以下の状態が望ましいと考える ● 早く確認できること ● できるだけ手間なく簡単に確認できること → これを実現するために CloudWatch Logs は必要なコスト調査目的 → 期間: 3ヶ月(〜1年) 30

Slide 31

Slide 31 text

ログの調査では、以下の状態が望ましいと考える ● 早く確認できること ● できるだけ手間なく簡単に確認できること → これを実現するために CloudWatch Logs は必要なコスト　　　　　　　コスト削減に目が眩んではいけない調査目的 → 期間: 3ヶ月(〜1年) 31

Slide 32

Slide 32 text

ログの調査では、以下の状態が望ましいと考える ● 早く確認できること ● できるだけ手間なく簡単に確認できること → これを実現するために CloudWatch Logs は必要なコスト　　　　　　　コスト削減に目が眩んではいけない → CloudWatch Logs のログは S3 にも保存して消失を防ぐ調査目的 → 期間: 3ヶ月(〜1年) 32

Slide 33

Slide 33 text

なぜ保存期間が3ヶ月？ 33

Slide 34

Slide 34 text

以下の文献と自身のこれまでの経験から3ヶ月とした ● 高度サイバー攻撃への対処におけるログの活用と分析方法 1.2 版 (JPCERT) (2022年5月10日) ○ コラム「ログ保存期間に関する考え方」より > ログの長期保存にかかる費用を抑えるために、直近 3 ヶ月のログをオンライン保存し、 3 ヶ月を経過したらオフライン保存に変える方法がある。 ● 企業における情報システムのログ管理に関する実態調査報告書(IPA) (2016年6月9日) ○ 「表 4-2：ログ保存期間の目安」より > PCI DSS 監査証跡の履歴を少なくとも 1 年間保持する。少なくとも 3 か月はすぐに分析できる状態にしておく。調査目的 → 期間: 3ヶ月(〜1年) 34

Slide 35

Slide 35 text

調査目的のログ保存についておさらい ● 場所: CloudWatch Logs ● 期間: 3ヶ月(〜1年) ○ CloudWatch Logs の保持期間を3ヶ月に設定してコストを抑えよう ■ デフォルトの保持期間は無期限になっているので忘れず設定 ○ S3 への退避もお忘れなく ● CloudWatch Logs は必要なコスト 35

Slide 36

Slide 36 text

目的: 法令遵守場所: S3 期間: 5年(〜10年) 36

Slide 37

Slide 37 text

保存場所が S3 であることは特に疑問や異論は無いでしょう。では保存期間が5年というのはどうでしょうか？法令遵守目的 → 場所: S3 37

Slide 38

Slide 38 text

再び登場、文献たち ● 高度サイバー攻撃への対処におけるログの活用と分析方法 1.2 版 (JPCERT) (2022年5月10日) ○ コラム「ログ保存期間に関する考え方」より > Mandiant 社の「APT1」のレポートによれば、標的型攻撃は平均で 1 年程度、最長では 4 年 10ヶ月継続している。 → 組織立った攻撃では期間が長期に渡ることもある → 上記のレポートでは5年弱ほど継続した攻撃活動があった法令遵守目的 → 期間: 5年(〜10年) 38

Slide 39

Slide 39 text

再び登場、文献たち ● 企業における情報システムのログ管理に関する実態調査報告書(IPA) (2016年6月9日) ○ 「表 4-2：ログ保存期間の目安」より > 内部統制関連文書、有価証券報告書とその付属文書の保存期間に合わせて。 > 電子計算機損壊等業務妨害罪の時効。法令遵守目的 → 期間: 5年(〜10年) 39

Slide 40

Slide 40 text

法令遵守目的 → 期間: 5年(〜10年) 「内部統制関連文書、有価証券報告書とその付属文書の保存期間」とは ● 「金融商品取引法第25条」で定められている期間のこと ● ここで、保存期間は「5年」と定められている 40

Slide 41

Slide 41 text

「電子計算機損壊等業務妨害罪」とは ● 「刑法第234条の2」で定められているもの ○ 人の業務に使用する電子計算機若しくはその用に供する電磁的記録を損壊し、若しくは人の業務に使用する電子計算機に虚偽の情報若しくは不正な指令を与え、又はその他の方法により、電子計算機に使用目的に沿うべき動作をさせず、又は使用目的に反する動作をさせて、人の業務を妨害した者は、五年以下の懲役又は百万円以下の罰金に処する。 ● これの時効が5年法令遵守目的 → 期間: 5年(〜10年) 41

Slide 42

Slide 42 text

ちょ待てよ 42

Slide 43

Slide 43 text

Slide 44

Slide 44 text

なんか似てるやつおるな 44

Slide 45

Slide 45 text

Slide 46

Slide 46 text

しかも期間違うし 46

Slide 47

Slide 47 text

● 企業における情報システムのログ管理に関する実態調査報告書(IPA) (2016年6月9日) ○ 「表 4-2：ログ保存期間の目安」より > 5年: 電子計算機損壊等業務妨害罪の時効。 > 7年: 電子計算機使用詐欺罪の時効。法令遵守目的 → 期間: 5年？7年？ 47

Slide 48

Slide 48 text

ど、どっちにすれば良いんだぁぁぁど、どっちにすれば良いんだぁぁぁ！！？ 48

Slide 49

Slide 49 text

● 電子計算機使用詐欺罪 ○ 金銭を伴う損害の場合はこっち > 不正に入手したクレジットカード等、他人のもので何かを購入する行為 (※1) ● 電子計算機損壊等業務妨害罪 ○ (直接的に)金銭を伴わず、業務を妨害する内容はこっち > オンラインゲームに対するチート行為 (※2) > 嫌がらせ目的で故意に業務用データを削除 (※2) ※※※※※※※※私は法律の専門家ではないのでこの解釈は異なる可能性があります。※※※※※※※※ 電子計算機損壊等業務妨害罪と電子計算機使用詐欺罪の違い 2つの違いについては弁護士法人渋谷青山刑事法律事務所「インターネット犯罪【不正アクセス禁止法以外】（少年事件）」を参考にしました。 (※1)ウェルネス法律事務所「電子計算機使用詐欺とは？判例をふまえてポイントをわかりやすく解説」を参考にしました。 (※2)SOMPO CYBER SECURITY 「電子計算機損壊等業務妨害罪とは【用語集詳細】」を参考にしました。 49

Slide 50

Slide 50 text

● 保存期間を5年、7年どちらにするかは運営サービスの特性により異なりそう ● 決済機能を有しているなら7年、そうじゃないなら5年、で良いのでは(案) ● ※※私は法律の専門家ではないのでこの解釈は異なる可能性があります※※ ● 決める際は自社の顧問弁護士などに相談を！法令遵守目的 → 期間: 5年 or 7年(〜10年) 50

Slide 51

Slide 51 text

どっちにしても10年保存しとくのが最強 51

Slide 52

Slide 52 text

ど、どっちにすれば良いんだぁぁぁよし、法令遵守目的の保存期間も決まったぞ 52

Slide 53

Slide 53 text

ど、どっちにすれば良いんだぁぁぁめでたしめでたし 53

Slide 54

Slide 54 text

ではない 54

Slide 55

Slide 55 text

● 最長で10年保存することになる法令遵守目的 → 数年単位の長期保存 55

Slide 56

Slide 56 text

● 最長で10年保存することになる ● 保存している間は S3 のコストがかかる法令遵守目的 → 数年単位の長期保存 56

Slide 57

Slide 57 text

● 最長で10年保存することになる ● 保存している間は S3 のコストがかかる ● サービス規模によってはログの量は膨大になる(TB〜PB) 法令遵守目的 → 数年単位の長期保存 57

Slide 58

Slide 58 text

ど、どっちにすれば良いんだぁぁぁ普段全然使い道のないログ 58

Slide 59

Slide 59 text

ど、どっちにすれば良いんだぁぁぁ少しでもコストを抑えたい 59

Slide 60

Slide 60 text

ど、どっちにすれば良いんだぁぁぁそんなうまい話が 60

Slide 61

Slide 61 text

あるんです 61

Slide 62

Slide 62 text

Amazon S3 ストレージクラスより 62

Slide 63

Slide 63 text

ど、どっちにすれば良いんだぁぁぁうん、よくわからない 63

Slide 64

Slide 64 text

ど、どっちにすれば良いんだぁぁぁそこでなんと今日は皆さんに 64

Slide 65

Slide 65 text

classmethod 様のブログを紹介 65

Slide 66

Slide 66 text

ど、どっちにすれば良いんだぁぁぁ S3 ストレージクラスの選択に迷った時みるチャートを作ってみた（2023年度版） 66

Slide 67

Slide 67 text

法令遵守目的 → 長期保存でのコスト最適化 https://dev.classmethod.jp/articles/should_i_choice_s3_storage_class_2023/#toc-9 から引用 67

Slide 68

Slide 68 text

法令遵守目的 → 長期保存でのコスト最適化 ● ストレージクラスを一定のタイミングで移行 ○ ライフサイクルルールを設定して自動で移行しよう ● 移行先については先ほどのチャートを参考に ● タイミングは3ヶ月(長くても1年) ○ これは CloudWatch Logs の保存期間と同じ理由 ○ すぐにアクセスできる必要のある期間として 3ヶ月(長くても1年)あれば十分 68

Slide 69

Slide 69 text

法令遵守目的 → 長期保存でのコスト最適化 ● ただし、Glacier への移行は要注意 ○ 1つあたりのファイルサイズが小さいと逆にコスト増の可能性あり > ライフサイクルルールで最小オブジェクトサイズを設けるなどで対応 ○ classmethod 様の参考記事「Amazon S3で標準クラスから別ストレージクラスへのライフサイクル移行の損益分岐点を見る」 69

Slide 70

Slide 70 text

● Glacier 料金複雑！クラウド破産コワイ！な人は ○ せめて「S3 標準 - 低頻度アクセス（Standard-IA）」にすると良いでしょう ○ これだけでも保存料金は約 4割の削減になる > ただし、Standard-IA も取り出しコストはかかるので、頻繁な取り出しは控えましょう！法令遵守目的 → 長期保存でのコスト最適化 70

Slide 71

Slide 71 text

ど、どっちにすれば良いんだぁぁぁ EOF 71