2018/3/10開催「JAWS DAYS 2018」における発表資料です。
©NAVITIME JAPANあなたの情報を守るあてなのセキュリティ談義JAWS DAYS 2018
View Slide
©NAVITIME JAPAN自己紹介田中 一樹(たなか かずき)・株式会社ナビタイムジャパン サーバグループ所属・お仕事:クラウド周りの構築/運用/アーキテクト・好きなAWSサービスAthena、S3、CloudFormation
©NAVITIME JAPAN会社紹介(BtoC)NAVITIMEドライブサポーター乗換NAVITIME自転車NAVITIMEこみれぽバスNAVITIMEカーナビタイムNAVITIMETransitNAVITIME forJapan TravelウォーキングNAVITIMEツーリングサポーターPlat byNAVITIMEトラックカーナビ公共交通ドライブツーリング トラベル&フィットネス外国人&海外 PC/SPブラウザNAVITIMEトラベル
©NAVITIME JAPAN会社紹介(BtoC)月間ユーザ数約4100万UU有料会員数約480万人(2017年12月末時点)
©NAVITIME JAPAN会社紹介(BtoB)
©NAVITIME JAPAN本日お伝えしたいことAthenaを使っている理由Athenaをいい感じに使う方法Athenaのセキュリティを高める方法NAVITIMEでのログ活用例
©NAVITIME JAPAN位置情報 プローブデータ(移動軌跡)経路検索条件データNAVITIMEが取り扱っている主なログスポット検索データ
©NAVITIME JAPAN位置情報 プローブデータ(移動軌跡)経路検索条件データNAVITIMEが取り扱っている主なログスポット検索データ膨大な利用ログから“個人情報に配慮して”分析することが重要
©NAVITIME JAPAN分析環境の変遷
©NAVITIME JAPAN分析環境の変遷① オンプレ利用期② EMR利用期③ 他クラウド基盤利用期④ Athena利用期
©NAVITIME JAPANデータセンター・・・①オンプレ利用期今までのログ分析基盤
©NAVITIME JAPAN今までのログ分析基盤アクセスログの集計に数時間~数日ストレージに限界が・・・①オンプレ利用期メリットデメリットログデータを外部へ転送不要
©NAVITIME JAPANデータセンター・・・②EMR利用期今までのログ分析基盤
©NAVITIME JAPAN今までのログ分析基盤②EMR利用期メリットS3上での長期保管はマスク処理を施し、KMSで暗号化EMRを用いることで集計は数時間にデメリットオンプレと異なり毎月コストがかかる失敗したらEMR再実行(数時間待ちに・・・)
©NAVITIME JAPAN今までのログ分析基盤③他クラウド基盤利用期
©NAVITIME JAPAN今までのログ分析基盤③他クラウド基盤利用期メリット集計は数秒〜数分に集計コストは数十分の一にデメリットデータ転送が発生詳細な権限/アクセス管理ができない
©NAVITIME JAPAN現在のログ分析基盤④Athena利用期
©NAVITIME JAPAN現在のログ分析基盤Amazon Athena(あてな)S3内のデータに対して標準的なSQLを利用して集計が可能JSON, CSV, ORC, などのフォーマットに対応課金はクエリ単位(処理したサイズに応じて)利用の際はAthenaだけでなく、S3の権限も必要
©NAVITIME JAPAN現在のログ分析基盤④Athena利用期メリットデータ転送が不要(セキュア&転送コストゼロ)分析基盤(Athena)へのアクセス制限/監査が可能にデメリットやや他クラウドの方が検索速度は早い
©NAVITIME JAPANAthenaをセキュアに使う
©NAVITIME JAPANAthenaをセキュアに使うコンプライアンス/セキュリティチームから出る要望例① 各利用者の見られるログは適切に管理してほしい② 社外からログへのアクセスをさせたくない③ 誰がどんなクエリを発行したか監視したい
©NAVITIME JAPANAthenaをセキュアに使う① 各利用者の見られるログは適切に管理してほしい
©NAVITIME JAPANAthenaをセキュアに使う① 各利用者の見られるログは適切に管理してほしいIAMポリシーで参照できるバケットを絞る現時点で、DB/テーブル単位での権限絞込はできない代わりにS3バケット単位でGetObjectの権限を絞る
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくない
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないIAMポリシーでSourceIPをオフィス限定にするCLI/SDKなどから操作がある場合CLI/SDK実行元のSourceIPも指定する
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないAthenaの実行時にSourceIPがamazonaws.comになるSourceIPを限定していると実行できなくなるスイッチロールを使いこの問題を解決
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないIAMユーザーIPアドレス制限MFAの有効化スイッチロールのみ許可IAMロールスイッチロール
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないIAMユーザーIPアドレス制限MFAの有効化スイッチロールのみ許可IAMロールスイッチロールIPアドレス制限なしスイッチロール元のユーザーを固定(IAMグループ)IAMグループごとにロールを作成Athena/S3/KMSの権限のみAthenaを操作
©NAVITIME JAPANAthenaをセキュアに使う③ 誰がどんなクエリを発行したか監視したい
©NAVITIME JAPANAthenaをセキュアに使う③ 誰がどんなクエリを発行したか監視したいAthenaのクエリ履歴+CloudTrailから追うAthenaのクエリ履歴とCloudTrailのアクションCloudTrail:どのユーザーがAthenaを実行したかAthena:そのユーザーがどのクエリを実行したか
©NAVITIME JAPANログ活用事例
©NAVITIME JAPANNAVITIMEでのAthena利用事例アクセスログから利用動向の集計/分析各AWSリソースの調査分析システムの構築分析システム:道路プロファイラー
©NAVITIME JAPANNAVITIMEでのAthena利用事例リンク旅行速度旅行速度、旅行時間、サンプル数を表示断面交通流任意の曜日、週、日付、時間から交通量や平均速度を集計渋滞箇所を俯瞰して課題箇所を発見するのに役立ちます任意の道路を通過した車の流入流出経路を集計車種、居住地、性別、年齢の属性情報も集計該当道路がユーザ
©NAVITIME JAPANご清聴ありがとうございました