Upgrade to Pro — share decks privately, control downloads, hide ads and more …

あなたの情報を守る あてなのセキュリティ談義

あなたの情報を守る あてなのセキュリティ談義

2018/3/10開催「JAWS DAYS 2018」における発表資料です。

NAVITIME JAPAN
PRO

March 10, 2018
Tweet

More Decks by NAVITIME JAPAN

Other Decks in Technology

Transcript

  1. ©NAVITIME JAPAN
    あなたの情報を守る
    あてなのセキュリティ談義
    JAWS DAYS 2018

    View Slide

  2. ©NAVITIME JAPAN
    自己紹介
    田中 一樹(たなか かずき)
    ・株式会社ナビタイムジャパン サーバグループ所属
    ・お仕事:
    クラウド周りの構築/運用/アーキテクト
    ・好きなAWSサービス
    Athena、S3、CloudFormation

    View Slide

  3. ©NAVITIME JAPAN
    会社紹介(BtoC)
    NAVITIME
    ドライブ
    サポーター
    乗換
    NAVITIME
    自転車
    NAVITIME
    こみれぽ
    バス
    NAVITIME
    カーナビ
    タイム
    NAVITIME
    Transit
    NAVITIME for
    Japan Travel
    ウォーキング
    NAVITIME
    ツーリング
    サポーター
    Plat by
    NAVITIME
    トラック
    カーナビ
    公共交通
    ドライブ
    ツーリング トラベル&フィットネス
    外国人&海外 PC/SPブラウザ
    NAVITIME
    トラベル

    View Slide

  4. ©NAVITIME JAPAN
    会社紹介(BtoC)
    月間ユーザ数

    4100万UU
    有料会員数

    480万人
    (2017年12月末時点)

    View Slide

  5. ©NAVITIME JAPAN
    会社紹介(BtoB)

    View Slide

  6. ©NAVITIME JAPAN
    本日お伝えしたいこと
    Athenaを使っている理由
    Athenaをいい感じに使う方法
    Athenaのセキュリティを高める方法
    NAVITIMEでのログ活用例

    View Slide

  7. ©NAVITIME JAPAN
    位置情報 プローブデータ
    (移動軌跡)
    経路検索条件
    データ
    NAVITIMEが取り扱っている主なログ
    スポット検索
    データ

    View Slide

  8. ©NAVITIME JAPAN
    位置情報 プローブデータ
    (移動軌跡)
    経路検索条件
    データ
    NAVITIMEが取り扱っている主なログ
    スポット検索
    データ
    膨大な利用ログから
    “個人情報に配慮して”分析することが重要

    View Slide

  9. ©NAVITIME JAPAN
    分析環境の変遷

    View Slide

  10. ©NAVITIME JAPAN
    分析環境の変遷
    ① オンプレ利用期
    ② EMR利用期
    ③ 他クラウド基盤利用期
    ④ Athena利用期

    View Slide

  11. ©NAVITIME JAPAN
    データセンター
    ・・・
    ①オンプレ利用期
    今までのログ分析基盤

    View Slide

  12. ©NAVITIME JAPAN
    今までのログ分析基盤
    アクセスログの集計に数時間~数日
    ストレージに限界が・・・
    ①オンプレ利用期
    メリット
    デメリット
    ログデータを外部へ転送不要

    View Slide

  13. ©NAVITIME JAPAN
    データセンター
    ・・・
    ②EMR利用期
    今までのログ分析基盤

    View Slide

  14. ©NAVITIME JAPAN
    今までのログ分析基盤
    ②EMR利用期
    メリット
    S3上での長期保管はマスク処理を施し、KMSで暗号化
    EMRを用いることで集計は数時間に
    デメリット
    オンプレと異なり毎月コストがかかる
    失敗したらEMR再実行(数時間待ちに・・・)

    View Slide

  15. ©NAVITIME JAPAN
    今までのログ分析基盤
    ③他クラウド基盤利用期

    View Slide

  16. ©NAVITIME JAPAN
    今までのログ分析基盤
    ③他クラウド基盤利用期
    メリット
    集計は数秒〜数分に
    集計コストは数十分の一に
    デメリット
    データ転送が発生
    詳細な権限/アクセス管理ができない

    View Slide

  17. ©NAVITIME JAPAN
    現在のログ分析基盤
    ④Athena利用期

    View Slide

  18. ©NAVITIME JAPAN
    現在のログ分析基盤
    Amazon Athena(あてな)
    S3内のデータに対して標準的なSQLを利用して集計が可能
    JSON, CSV, ORC, などのフォーマットに対応
    課金はクエリ単位(処理したサイズに応じて)
    利用の際はAthenaだけでなく、S3の権限も必要

    View Slide

  19. ©NAVITIME JAPAN
    現在のログ分析基盤
    ④Athena利用期
    メリット
    データ転送が不要(セキュア&転送コストゼロ)
    分析基盤(Athena)へのアクセス制限/監査が可能に
    デメリット
    やや他クラウドの方が検索速度は早い

    View Slide

  20. ©NAVITIME JAPAN
    Athenaをセキュアに使う

    View Slide

  21. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    コンプライアンス/セキュリティチームから出る要望例
    ① 各利用者の見られるログは適切に管理してほしい
    ② 社外からログへのアクセスをさせたくない
    ③ 誰がどんなクエリを発行したか監視したい

    View Slide

  22. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ① 各利用者の見られるログは適切に管理してほしい

    View Slide

  23. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ① 各利用者の見られるログは適切に管理してほしい
    IAMポリシーで参照できるバケットを絞る
    現時点で、DB/テーブル単位での権限絞込はできない
    代わりにS3バケット単位でGetObjectの権限を絞る

    View Slide

  24. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ② 社外からログへのアクセスをさせたくない

    View Slide

  25. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ② 社外からログへのアクセスをさせたくない
    IAMポリシーでSourceIPをオフィス限定にする
    CLI/SDKなどから操作がある場合
    CLI/SDK実行元のSourceIPも指定する

    View Slide

  26. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ② 社外からログへのアクセスをさせたくない
    IAMポリシーでSourceIPをオフィス限定にする
    CLI/SDKなどから操作がある場合
    CLI/SDK実行元のSourceIPも指定する

    View Slide

  27. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ② 社外からログへのアクセスをさせたくない
    Athenaの実行時にSourceIPがamazonaws.comになる
    SourceIPを限定していると実行できなくなる
    スイッチロールを使いこの問題を解決

    View Slide

  28. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ② 社外からログへのアクセスをさせたくない
    IAMユーザー
    IPアドレス制限
    MFAの有効化
    スイッチロールのみ許可
    IAMロール
    スイッチロール

    View Slide

  29. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ② 社外からログへのアクセスをさせたくない
    IAMユーザー
    IPアドレス制限
    MFAの有効化
    スイッチロールのみ許可
    IAMロール
    スイッチロール
    IPアドレス制限なし
    スイッチロール元のユーザーを固定(IAMグループ)
    IAMグループごとにロールを作成
    Athena/S3/KMSの権限のみ
    Athenaを操作

    View Slide

  30. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ③ 誰がどんなクエリを発行したか監視したい

    View Slide

  31. ©NAVITIME JAPAN
    Athenaをセキュアに使う
    ③ 誰がどんなクエリを発行したか監視したい
    Athenaのクエリ履歴+CloudTrailから追う
    Athenaのクエリ履歴とCloudTrailのアクション
    CloudTrail:どのユーザーがAthenaを実行したか
    Athena:そのユーザーがどのクエリを実行したか

    View Slide

  32. ©NAVITIME JAPAN
    ログ活用事例

    View Slide

  33. ©NAVITIME JAPAN
    NAVITIMEでのAthena利用事例
    アクセスログから利用動向の集計/分析
    各AWSリソースの調査
    分析システムの構築
    分析システム:道路プロファイラー

    View Slide

  34. ©NAVITIME JAPAN
    NAVITIMEでのAthena利用事例
    リンク旅行速度
    旅行速度、旅行時間、サンプル数
    を表示
    断面交通流
    任意の曜日、週、日付、時間から交通量や平均速度を集計
    渋滞箇所を俯瞰して
    課題箇所を発見するのに役立ちます
    任意の道路を通過した車の流入流出経路を集計
    車種、居住地、性別、年齢の
    属性情報も集計
    該当道路がユーザ

    View Slide

  35. ©NAVITIME JAPAN
    ご清聴ありがとうございました

    View Slide