アクセスログを見て学ぶAWSサービスとネットワーク

Slide 1

Slide 1 text

アクセスログを⾒て学ぶ AWSサービスとネットワーク【AWS】AWS10分LT会 - vol.3 2024.02.16 宮崎真⾐（@maimyyym） 1

Slide 2

Slide 2 text

サブタイトル Hello Worldしているだけの静的なindex.htmlへのアクセスログを⾒る話（CloudFront+S3+Athena） 2

Slide 3

Slide 3 text

アジェンダ 1. 私の現在地 2. 前提知識と構成について 3. CloudFrontのログを覗いてみる 4. 考えてみる 3

Slide 4

Slide 4 text

01 私の現在地

Slide 5

Slide 5 text

私の現在地 # 私の現在地（物理） 5 at 福岡

Slide 6

Slide 6 text

まず⾃⼰紹介宮崎真⾐ Miyazaki Mai - Account - ：@maimyyym - Work at - 株式会社 Fusic (at 福岡！）技術本部/技術開発部⾨所属 - Webエンジニア - Skill - PHP(Laravel) - AWS - TypeScript 6 image

Slide 7

Slide 7 text

私の現在地 # 私の現在地（経験値） 7 • 未経験⼊社 → 案件に⼊り始めた • AWS利⽤の経験値は個⼈レベル

Slide 8

Slide 8 text

私の現在地 # Webエンジニアによる AWS個⼈利⽤ 8 【個⼈利⽤】とりあえずサービスを使って動かしてみる【実際】インターネット上でサービスを使う IP制限や不特定多数のアクセスを意識する

Slide 9

Slide 9 text

私の現在地 # 私のモチベーション 9 ネットワークを学びたい！！！

Slide 10

Slide 10 text

私の現在地 # 私のモチベーション 10 ネットワークを学びたい！！！どんなアクセスがあるんだろう？

Slide 11

Slide 11 text

私の現在地 # 私のモチベーション 11 ネットワークを学びたい！！！どんなアクセスがあるんだろう？ログを⾒てみよう！

Slide 12

Slide 12 text

02 前提知識と構成

Slide 13

Slide 13 text

前提 # 話すこと 13 当たり前かもしれないことに改めて考えさせられた、という話をします。（ログを⾒てみるだけでも学びがある、という話）

Slide 14

Slide 14 text

前提 # 話さないこと 14 ログ分析の詳細な⽅法ネットワークに関する詳細な内容

Slide 15

Slide 15 text

構成 # まずは簡単にページを公開 15 S3に置いたindex.htmlをCloudFront経由で公開する＋ OAC(Origin Access Control)を利⽤してindex.htmlへのアクセスはCloudFrontのみに限定

Slide 16

Slide 16 text

構成 # まずは簡単にページを公開 16 S3に置いたindex.htmlをCloudFront経由で公開する＋ OAC(Origin Access Control)を利⽤してindex.htmlへのアクセスはCloudFrontのみに限定せっかくなのでドメインとSSL証明書も取ってみる（Route53, ACM）

Slide 17

Slide 17 text

構成 # アクセスログを⾒る 17 CloudFrontのビューワーリクエストログをS3に保存これをAthenaでクエリ！

Slide 18

Slide 18 text

構成 # アクセスログを⾒る 18 CloudFrontのビューワーリクエストログをS3に保存これをAthenaでクエリ！ ※ Amazon Athena とは AWSのデータ分析サービス SQLが使える S3に保存されたデータは直接分析できる

Slide 19

Slide 19 text

構成 # 構成 19

Slide 20

Slide 20 text

前提知識 # 前提知識のおさらい 20 【CloudFront】ユーザーへのコンテンツ配信を⾼速化するCDNサービス [CDNとは？] エッジロケーションと呼ばれる世界各地に分散されたネットワーク拠点を介して、コンテンツ配信を⾏う。ユーザーのリクエストは最も近い拠点にルーティングされる。 ★ CloudFrontはアプリケーション層（レイヤー7）で動作する ★ [レイヤー7] ユーザーが操作するアプリケーション・ソフトウェアとネットワーク通信機能の間で、 HTTP/HTTPSやファイル転送など、ユーザー（アプリケーション）のリクエストを処理する。

Slide 21

Slide 21 text

前提知識 # 前提知識のおさらい 21 【CloudFront】ユーザーへのコンテンツ配信を⾼速化するCDNサービス [CDNとは？] エッジロケーションと呼ばれる世界各地に分散されたネットワーク拠点を介して、コンテンツ配信を⾏う。ユーザーのリクエストは最も近い拠点にルーティングされる。 ★ CloudFrontはアプリケーション層（レイヤー7）で動作する ★ [レイヤー7] ユーザーが操作するアプリケーション・ソフトウェアとネットワーク通信機能の間で、 HTTP/HTTPSやファイル転送など、ユーザー（アプリケーション）のリクエストを処理する。 CloudFrontのアクセスログはレイヤー7に関わる情報が含まれているはず！ここで予測！

Slide 22

Slide 22 text

03 CloudFrontのログを覗いてみる

Slide 23

Slide 23 text

CloudFrontのログを覗いてみる # ⼿順 23 - CloudFrontの標準ログ記録をオンにしてS3にログを保存 - Athenaクエリ結果を保存するS3バケットを作成‧設定する

Slide 24

Slide 24 text

CloudFrontのログを覗いてみる # ⼿順 24 - Athenaでクエリを実⾏、CloudFrontのログからテーブル作成 - テーブルを分析していく！クエリエディタでデータソースから SQLを⽤いてテーブルを作成する ※今回は、公式ドキュメントのSQLを参照

Slide 25

Slide 25 text

CloudFrontのログを覗いてみる # ⼿順 25 ※公式ドキュメントのSQLを参照【参考】 https://docs.aws.amazon.com/ja_jp/ athena/latest/ug/cloudfront- logs.html#create-cloudfront-table

Slide 26

Slide 26 text

CloudFrontのログを覗いてみる # おや‧‧‧？🤔 26 ※公式ドキュメントのSQLを参照 ↓ ここで使用しているフィールド＝CloudFrontのログの中身【参考】https://docs.aws.amazon.com/ja_jp/athena/latest/ug/cloudfront-logs.html#create-cloudfront-table

Slide 27

Slide 27 text

CloudFrontのログを覗いてみる # 覗いてみる 27 CloudFrontのアクセスログはレイヤー7に関わる情報が含まれているはず！予測（少し前のスライド） cs_method クライアントのリクエストメソッド（例: GET, POST） cs_host リクエストされたホスト名 cs_uri_stem リクエストされたURIのパス cs_uri_query クエリ⽂字列 cs_cookie HTTPクッキー cs_referrer 参照元のURL cs_user_agent クライアントのユーザーエージェント cs_protocol 使⽤されるプロトコル（例: HTTP, HTTPS）【参考】「Amazon CloudFront デベロッパーガイド」 - 標準ログファイルフィールド

Slide 28

Slide 28 text

CloudFrontのログを覗いてみる # 覗いてみる 28 SELECT * FROM "default"."logs" limit 10; というクエリが発⾏される

Slide 29

Slide 29 text

CloudFrontのログを覗いてみる # 覗いてみる 29 【昨⽇（2⽉15⽇）のログを⾒てみる】 SELECT * FROM ”{データベース名}"."{テーブル名}" WHERE "date" = DATE '2024-02-15' limit 100; あとはSQLを使って⾃在にデータを⾒るだけ

Slide 30

Slide 30 text

CloudFrontのログを覗いてみる # 覗いてみる 30 【昨⽇（2⽉15⽇）のログを⾒てみる】 SELECT * FROM ”{データベース名}"."{テーブル名}” WHERE "date" = DATE '2024-02-15’ limit 100; 〈 結果 〉 ⾃分⾃⾝は⼀度も当該Webサイトにアクセスしていないが、69件のログが！エッジロケーションを⾒ると様々な場所からアクセスされていることが分かる（計10箇所）

Slide 31

Slide 31 text

04 考えてみる

Slide 32

Slide 32 text

考えてみる # ログを⾒るのは楽しい 32 ログを⾒ると、そのサービスがネットワーク上で何を取り扱って処理しているか分かる。 AthenaはSQLを使⽤するので、⾃在 && ⾝近に分析できる

Slide 33

Slide 33 text

考えてみる # インターネットとは何たるか思い知る 33 HelloWorldだけのindex.htmlも世界中からアクセスされているたったこれだけの静的サイトでした。

Slide 34

Slide 34 text

Point 個⼈利⽤では意識することが少ないネットワーク → まず⾒てみる⼿段としての”ログ” Point 3 S3にログ保存できる場合、Athenaで⼿軽にログを⾒ることができる（例：CloudFront） 34 Point 1 各サービスのログはネットワーク上の該当レイヤーに関する情報が含まれる Point 2 HelloWorldだけのindex.htmlも世界中からアクセスされている…！ Point 4

Slide 35

Slide 35 text

ご清聴いただきありがとうございました Thank You We are Hiring ! https://recruit.fusic.co.jp/