2018/04/05に開催された「Amazon Analytics（Athena）事例祭り」にて発表した資料です。
©NAVITIME JAPANAthenaを守り、Athenaで攻める〜Athena をよりセキュアに実サービスで利用する方法〜Amazon Analytics (Athena) 事例祭り
View Slide
©NAVITIME JAPAN自己紹介田中 一樹（たなか かずき）・株式会社ナビタイムジャパンACTS(研究開発) インフラグループ所属・普段の業務：クラウド周りの構築/運用/アーキテクト
©NAVITIME JAPAN自己紹介加賀谷 駿（かがや しゅん）・株式会社ナビタイムジャパン交通コンサルティング事業 データサイエンティスト・普段の業務：ナビタイム利用者の行動ログを分析し、官公庁や法人に対して地域の交通課題や観光課題を解決する
©NAVITIME JAPAN会社紹介会社名設立業務内容従業員数株式会社ナビタイムジャパン2000年3月1日ナビゲーションサイト・アプリの運営・開発通信カーナビゲーション事業経路探索エンジンのライセンス事業 など約440名（エンジニア80%以上）
©NAVITIME JAPAN会社紹介（BtoC）NAVITIMEドライブサポーター乗換NAVITIME自転車NAVITIMEこみれぽバスNAVITIMEカーナビタイムNAVITIMETransitNAVITIME forJapan TravelウォーキングNAVITIMEツーリングサポーターPlat byNAVITIMEトラックカーナビ公共交通ドライブツーリング トラベル&フィットネス外国人&海外 PC/SPブラウザNAVITIMEトラベル
©NAVITIME JAPAN会社紹介（BtoC）月間ユーザ数約4100万UU有料会員数約480万人（2017年12月末時点）
©NAVITIME JAPAN会社紹介（BtoB）
©NAVITIME JAPAN位置情報 プローブデータ（移動軌跡）経路検索条件データNAVITIMEが取り扱っている主なログスポット検索データ
©NAVITIME JAPAN位置情報 プローブデータ（移動軌跡）経路検索条件データNAVITIMEが取り扱っている主なログスポット検索データ膨大な利用ログから“個人情報に配慮して”分析することが重要
©NAVITIME JAPANNAVITIMEのログ分析基盤ログ分析基盤で重要なポイント集計に時間がかからない（数秒〜数分）集計にコストをかけない詳細なアクセス管理ができる
©NAVITIME JAPANNAVITIMEのログ分析基盤
©NAVITIME JAPANAthenaをセキュアに使う
©NAVITIME JAPANAthenaをセキュアに使うコンプライアンス/セキュリティチームから出る要望例① 各利用者の見られるログは適切に管理してほしい② 社外からログへのアクセスをさせたくない③ 誰がどんなクエリを発行したか監視したい
©NAVITIME JAPANAthenaをセキュアに使う① 各利用者の見られるログは適切に管理してほしい
©NAVITIME JAPANAthenaをセキュアに使う① 各利用者の見られるログは適切に管理してほしいIAMポリシーで参照できるバケットを絞る現時点で、DB/テーブル単位での権限絞込はできない代わりにS3バケット単位でGetObjectの権限を絞る
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくない
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないIAMポリシーでSourceIPをオフィス限定にするCLI/SDKなどから操作がある場合CLI/SDK実行元のSourceIPも指定する
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないAthenaの実行時にSourceIPがamazonaws.comになるSourceIPを限定していると実行できなくなるスイッチロールを使いこの問題を解決
©NAVITIME JAPANAthenaをセキュアに使うスイッチロール（SwitchRole）IAMロールに割り当てられた権限を一時的にIAMユーザーに割り当てるSwitchRoleの切り替え元はIPやユーザーなどで制限可能
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないIAMユーザーIPアドレス制限なしMFAの有効化スイッチロールのみ許可IAMロールスイッチロール
©NAVITIME JAPANAthenaをセキュアに使う② 社外からログへのアクセスをさせたくないIAMユーザー IAMロールスイッチロールスイッチ元のIPアドレス制限(信頼関係)スイッチ元のユーザーを固定(IAMグループ)IAMグループごとにロールを作成Athena/S3/KMSの権限のみAthenaを操作IPアドレス制限なしMFAの有効化スイッチロールのみ許可
©NAVITIME JAPANAthenaをセキュアに使う③ 誰がどんなクエリを発行したか監視したい
©NAVITIME JAPANAthenaをセキュアに使う③ 誰がどんなクエリを発行したか監視したいAthenaのクエリ履歴+CloudTrailから追うAthenaのクエリ履歴とCloudTrailのアクションCloudTrail：どのユーザーがAthenaを実行したかAthena：そのユーザーがどのクエリを実行したか
©NAVITIME JAPANログ活用事例
©NAVITIME JAPAN交通コンサルティング事業の分析事例0601201802403007 8 9 10 11 12 13 14 15 16 17 18交差点通過時間[s]時間帯登下校時間帯の左折時間が長い左折時間（平均±標準偏差） 直進時間（平均）対象期間：2014年4-9月警視庁様にて信号渋滞対策に活用中！交差点通過時間中央値（t[s]）別に色分け➔：t ≦30➔：30＜t ≦60➔：60＜t ≦90➔：90＜t通過数が多いほど線幅が太い交差点分析 ～都内で一番左折が混んでいる交差点（西巣鴨）～直進 58秒左折 132秒
©NAVITIME JAPANユーザーがビッグデータを分析できるようになるには膨大なデータを加工・可視化するには時間も技術もかかる膨大なデータを加工・可視化するまでには数週間単位の時間がかかる。データ取得・蓄積の進化に対して人の技術が追いついておらず、データを扱いきれない。ビッグデータを分析するための高性能マシンの準備コストだけでなく、ビッグデータの保存コストもかかる。必要な時に必要な分だけ分析でき、大量のデータを早く、誰でも扱えるようなシステムが必要時間データ管理人材
©NAVITIME JAPAN道路プロファイラー交通ビッグデータをWebで誰でも簡単に分析できるシステム 道路プロファイラー車の移動に特化した集計弊社アプリから取得した「車の走行実績データ(プローブ)」と「アプリ利用者の属性情報」を使用2015年1月～現在までの期間で集計可能TB(テラバイト)単位のビッグデータもわずか数十秒で集計が可能デモをしますナビタイムが蓄積した交通ビッグデータ
©NAVITIME JAPANビッグデータにおける分析サイクルビッグデータを扱う上で最も大切なことは、分析サイクルの高速化仮説検証モデリング集計可視化ユーザーが立てた仮説をすぐさまフィードバック。試行錯誤的に仮説検証を繰り返すことで、精度の高い分析結果を得られます。分析サイクルの大半を自動化。仮説検証に徹底できる1サイクル1週間を1分に！
©NAVITIME JAPAN高速な分析サイクルを実現した技術Athenaでローコスト、ハイパフォーマンスな分析環境を実現必要な時に必要な分だけ分析環境を確保Athenaは必要な時に必要な分だけマシンリソースを自動で確保。ハイスペックなマシンを常時立ち上げておく必要がありません。集計～可視化がわずか数十秒。Athenaの高速分析集計規模が多くてもAthenaであれば対応可能。ビッグデータに対しても高速な集計を実現。…必要な時に必要なリソースを確保分析システム集計規模に合わせてリソースを調整Webシステム誰でも扱いやすいデザイン豊富な交通分析ノウハウリンク旅行速度 区間所要時間断面交通流1. 道路を選択 2. 期間を選択 完成！EMRと比べて80%コスト削減！EMRで実現するにはコスト特大
©NAVITIME JAPAN高速な分析サイクルを実現した技術扱いやすいWebデザイン、豊富な交通分析パターンで誰でも簡単に設定項目は最低限に、誰でも簡単に扱えるデザインナビタイムの分析ノウハウで、マクロな分析もミクロな分析もリンク旅行速度でデータを俯瞰的に眺め、断面交通流、区間所要時間で詳細に分析できます。Webシステム誰でも扱いやすいデザイン豊富な交通分析ノウハウリンク旅行速度 区間所要時間断面交通流1. 道路を選択 2. 期間を選択 完成！1. 道路を選択 2. 期間を選択 完成！…必要な時に必要なリソースを確保分析システム集計規模に合わせてリソースを調整リンク旅行速度区間所要時間断面交通流micromacro
©NAVITIME JAPAN相性の良いAthenaとWebシステム道路プロファイラーは「誰でも」「簡単に」交通ビッグデータを扱えますAthenaとWeb UIの組み合わせが分析サイクルを実現する仮説検証に専念できる環境が実現し、最も時間のかかる「集計」もAthenaによって超高速化。Athenaによる高速分析システムナビタイムの分析ノウハウ扱いやすいWebシステム 仮説検証モデリング集計可視化
©NAVITIME JAPAN今後の展望分析サイクルをさらに高速化、より使いやすく誰でも簡単に分析できるシステムが作れたのはAthenaの高速分析技術があったからこそ。弊社のデータをより多くの方に触ってもらえるよう、システムを改善していきます。道路事業者だけでなくマーケティングや広告戦略にもどこからきてどこにいくのかを分析できる断面交通流では対象の道路を通過するユーザと相関の深いエリアが見えてきますマーケティングや広告業界にも使っていただける機能も提供していきます。仮説検証モデリング集計可視化
©NAVITIME JAPANエンジニア募集中!!・サービス開発エンジニア・スマートフォン向けアプリ開発エンジニア（iOS/Android）・WEBエンジニア・アルゴリズム開発エンジニア・地図・ナビゲーション開発エンジニア・システムエンジニア（エンジンライセンス）・ネットワーク・インフラエンジニア・デザイナー(UI/UX/web/アプリケーション/グラフィック)自社開発でやってみたい方、ぜひご連絡ください。http://recruit.navitime.co.jp/recruit/career.html
©NAVITIME JAPANご清聴ありがとうございました
navitimejapan
line_developers
devops_vtj
tenforward
heirhabarov
kthrtty
bitkey
nsakki55
isaoshimizu
newrelic2023
caori_t
carta_engineering
washizaki
bkeepers
mthomps
cassininazir
cherdarchuk
addyosmani
smashingmag
denniskardys
aarron
jasonvnalue
paulrobertlloyd
shlominoach
philhawksworth