20160907_Akamai_Tech_Deep_Dive

Akamaiを活用したCyberAgentのhogehogeというお題で、20160907 AkamaiTechDeepDiveでお話した奴

後半の画像配信部分のSlide

Transcript

1. Akamaiを活用した Amebaの画像配信基盤 株式会社サイバーエージェント 技術本部 Service Reliability Group 岩永 翔
2. agenda
3. agenda 3 ❏ 自己紹介 ❏ AkamaiとAmeba ❏ 画像配信基盤の紹介 ❏ atlas ❏ hayabusa ❏ 構成概要 ❏ これからの話
4. 自己紹介
5. 自己紹介 5 岩永 翔（いわなが かける） @kakerukaeru ❏ 株式会社サイバーエージェント ❏ インフラエンジニア ❏ コンテンツ配信担当 ❏ 認証とか課金の基盤も見てます ❏ HashiCorp製品が好き ❏ Akamaiさんもterraform対応してくれないかなー ❏ 渋谷でオススメのカレー屋はチリチリです
6. AkamaiとAmeba
7. AkamaiとAmeba 7 ❏ 200X年から利用
8. AkamaiとAmeba 8 ❏ 200X年から利用 ❏ DSD中心 / ION少なめ（画像配信
9. AkamaiとAmeba 9 ❏ 200X年から利用 ❏ DSD中心 / ION少なめ（画像配信 ❏ Amebaの画像はだいたいAkamaiに乗ってる
10. AkamaiとAmeba 10 ❏ 200X年から利用 ❏ DSD中心 / ION少なめ（画像配信 ❏ Amebaの画像はだいたいAkamaiに乗ってる ❏ 画像配信基盤の規模感（ピーク帯
11. AkamaiとAmeba 11 ❏ 200X年から利用 ❏ DSD中心 / ION少なめ（画像配信 ❏ Amebaの画像はだいたいAkamaiに乗ってる ❏ 画像配信基盤の規模感（ピーク帯 ❏ get ❏ 32Gbps ❏ 250,000 req/s
12. AkamaiとAmeba 12 ❏ 200X年から利用 ❏ DSD中心 / ION少なめ（画像配信 ❏ Amebaの画像はだいたいAkamaiに乗ってる ❏ 画像配信基盤の規模感（ピーク帯 ❏ get ❏ 32Gbps ❏ 250,000 req/s ❏ post ❏ 2,500,000 file/day
13. AkamaiとAmeba 13 ❏ 200X年から利用 ❏ DSD中心 / ION少なめ（画像配信 ❏ Amebaの画像はだいたいAkamaiに乗ってる ❏ 画像配信基盤の規模感（ピーク帯 ❏ get ❏ 32Gbps ❏ 250,000 req/s ❏ post ❏ 2,500,000 file/day ❏ offload ❏ 85% ~ 95%
14. AkamaiとAmeba 14 ❏ Akamaiの機能でやってること
15. AkamaiとAmeba 15 ❏ Akamaiの機能でやってること ❏ Tiered Distribution
16. AkamaiとAmeba 16 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression
17. AkamaiとAmeba 17 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression ❏ Front End Optimization
18. AkamaiとAmeba 18 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression ❏ Front End Optimization ❏ Prefetch
19. AkamaiとAmeba 19 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression ❏ Front End Optimization ❏ Prefetch ❏ modify Cache-key
20. AkamaiとAmeba 20 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression ❏ Front End Optimization ❏ Prefetch ❏ modify Cache-key ❏ Cache-key統合
21. AkamaiとAmeba 21 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression ❏ Front End Optimization ❏ Prefetch ❏ modify Cache-key ❏ Cache-key統合 ❏ QueryStringを含めたCache-Keyの生成
22. AkamaiとAmeba 22 ❏ Akamaiの機能でやってること ❏ Tiered Distribution ❏ Adaptive Image Compression ❏ Front End Optimization ❏ Prefetch ❏ modify Cache-key ❏ Cache-key統合 ❏ QueryStringを含めたCache-Keyの生成 ❏ 意図しないCache効率の落ちそうなQueryParameterを 予めEdge側で削除 ❏ etc ...
23. 画像配信基盤の 紹介
24. 画像配信基盤の紹介 24 ❏ atlasについて
25. 画像配信基盤の紹介 25 ❏ atlasについて ❏ 利用サービス
26. 画像配信基盤の紹介 26 ❏ atlasについて ❏ 200x年から存在
27. 画像配信基盤の紹介 27 ❏ atlasについて ❏ 200x年から存在 ❏ amebaと共に育ってきた基盤 ❏ アメブロ / スマートフォンプラットフォーム
28. 画像配信基盤の紹介 28 ❏ atlasについて ❏ 200x年から存在 ❏ amebaと共に育ってきた基盤 ❏ アメブロ / スマートフォンプラットフォーム ❏ ブラウザゲーム
29. 画像配信基盤の紹介 29 ❏ atlasについて ❏ 200x年から存在 ❏ amebaと共に育ってきた基盤 ❏ アメブロ / スマートフォンプラットフォーム ❏ ブラウザゲーム ❏ CommunityService
30. 画像配信基盤の紹介 30 ❏ atlasについて ❏ 200x年から存在 ❏ amebaと共に育ってきた基盤 ❏ アメブロ / スマートフォンプラットフォーム ❏ ブラウザゲーム ❏ CommunityService ❏ 基本的なリサイズやクロップなどを提供
31. 画像配信基盤の紹介 31 ❏ atlasについて ❏ 200x年から存在 ❏ amebaと共に育ってきた基盤 ❏ アメブロ / スマートフォンプラットフォーム ❏ ブラウザゲーム ❏ CommunityService ❏ 基本的なリサイズやクロップなどを提供 ❏ amebaにまつわるidに紐付く投稿APIを用意
32. 画像配信基盤の紹介 32 ❏ atlasについて ❏ 200x年から存在 ❏ amebaと共に育ってきた基盤 ❏ アメブロ / スマートフォンプラットフォーム ❏ ブラウザゲーム ❏ CommunityService ❏ 基本的なリサイズやクロップなどを提供 ❏ amebaにまつわるidに紐付く投稿APIを用意 ❏ Storageも自前でホスティング ❏ ameba専用画像配信基盤
33. 画像配信基盤の紹介 33 ❏ hayabusaについて
34. 画像配信基盤の紹介 34 ❏ hayabusaについて ❏ 利用サービス
35. 画像配信基盤の紹介 35 ❏ hayabusaについて ❏ 利用サービス
36. 画像配信基盤の紹介 36 ❏ hayabusaについて ❏ 2014年からサービス開始
37. 画像配信基盤の紹介 37 ❏ hayabusaについて ❏ 2014年からサービス開始 ❏ amebaの外の世界で作られたサービスのニーズを満たす 社内 Responsive Image as Service
38. 画像配信基盤の紹介 38 ❏ hayabusaについて ❏ 2014年からサービス開始 ❏ amebaの外の世界で作られたサービスのニーズを満たす 社内 Responsive Image as Service ❏ Originを用意しドメインを申請するだけで利用可能
39. 画像配信基盤の紹介 39 ❏ hayabusaについて ❏ 2014年からサービス開始 ❏ amebaの外の世界で作られたサービスのニーズを満たす 社内 Responsive Image as Service ❏ Originを用意しドメインを申請するだけで利用可能 ❏ よりリッチに / 機能多め
40. 画像配信基盤の紹介 40 ❏ hayabusaについて ❏ 2014年からサービス開始 ❏ amebaの外の世界で作られたサービスのニーズを満たす 社内 Responsive Image as Service ❏ Originを用意しドメインを申請するだけで利用可能 ❏ よりリッチに / 機能多め ❏ リサイズ / クロップ ❏ フォーマット変換とauto拡張子指定での自動フォーマット選択 ❏ PSDレイヤーとスライス切り出し ❏ 最適化（圧縮） ❏ Autoキャッシング機能
41. 画像配信基盤の紹介 41 ❏ hayabusaについて ❏ 2014年からサービス開始 ❏ amebaの外の世界で作られたサービスのニーズを満たす 社内 Responsive Image as Service ❏ Originを用意しドメインを申請するだけで利用可能 ❏ よりリッチに / 機能多め ❏ リサイズ / クロップ ❏ フォーマット変換とauto拡張子指定での自動フォーマット選択 ❏ PSDレイヤーとスライス切り出し ❏ 最適化（圧縮） ❏ Autoキャッシング機能 ❏ などなど、よりリッチに社内ニーズを満たす機能を実装
42. 構成概要 atlas
43. 構成概要 / atlas 43 iOS client CDN On Premises front proxy front proxy varnish cluster varnish cluster varnish cluster convert App varnish cluster Archive Storage front proxy atlas API front proxy MySQL front proxy S3 proxy post get
44. 構成概要 / atlas 参照 44 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai On Premises varnish cluster convert App
45. 構成概要 / atlas 参照 45 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい On Premises varnish cluster convert App
46. 構成概要 / atlas 参照 46 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 On Premises varnish cluster convert App
47. 構成概要 / atlas 参照 47 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 ❏ backendの決定をするのはvarnish On Premises varnish cluster convert App
48. 構成概要 / atlas 参照 48 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 ❏ backendの決定をするのはvarnish ❏ front proxyはﾁｮｯﾄｼﾀ処理を挟むだけで基本右から左へスルー On Premises varnish cluster convert App
49. 構成概要 / atlas 参照 49 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 ❏ backendの決定をするのはvarnish ❏ front proxyはﾁｮｯﾄｼﾀ処理を挟むだけで基本右から左へスルー ❏ 800GB * 80 = 64TBのcache層 On Premises varnish cluster convert App
50. 構成概要 / atlas 参照 50 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 ❏ backendの決定をするのはvarnish ❏ front proxyはﾁｮｯﾄｼﾀ処理を挟むだけで基本右から左へスルー ❏ 800GB * 80 = 64TBのcache層 ❏ VarnishのCache ClusterでThundering Herd問題の対策 On Premises varnish cluster convert App
51. 構成概要 / atlas 参照 51 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 ❏ backendの決定をするのはvarnish ❏ front proxyはﾁｮｯﾄｼﾀ処理を挟むだけで基本右から左へスルー ❏ 800GB * 80 = 64TBのcache層 ❏ VarnishのCache ClusterでThundering Herd問題の対策 ❏ front proxyでvarnishのhash ringを所持 On Premises varnish cluster convert App
52. 構成概要 / atlas 参照 52 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ Originにくるtrafficの90%ぐらいがAkamai ❏ 100%にしていきたい ❏ pathルールでbackendのstorageを決定 ❏ backendの決定をするのはvarnish ❏ front proxyはﾁｮｯﾄｼﾀ処理を挟むだけで基本右から左へスルー ❏ 800GB * 80 = 64TBのcache層 ❏ VarnishのCache ClusterでThundering Herd問題の対策 ❏ front proxyでvarnishのhash ringを所持 ❏ objectとcache serverを１対１にしてcache hit率を上げる On Premises varnish cluster convert App
53. 構成概要 / atlas Storage 53 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ atlasのStorageは現在２種類 On Premises
54. 構成概要 / atlas Storage 54 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ atlasのStorageは現在２種類 ❏ HotなデータをS3に。 ❏ Warmなデータをgo製の自作Archive Storageに。 On Premises
55. 構成概要 / atlas Storage 55 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ atlasのStorageは現在２種類 ❏ HotなデータをS3に。 ❏ Warmなデータをgo製の自作Archive Storageに。 ❏ チョット前までは複数の Storageを抱えていた ❏ WebDAV ❏ Voldemort ❏ OpenStack Swift On Premises
56. 構成概要 / atlas Storage 56 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ atlasのStorageは現在２種類 ❏ HotなデータをS3に。 ❏ Warmなデータをgo製の自作Archive Storageに。 ❏ チョット前までは複数の Storageを抱えていた ❏ WebDAV ❏ Voldemort ❏ OpenStack Swift ❏ file数が多すぎてinodeのキャッシュが乗り切らず Storageがスケールしくなってきた段階で 新規データをS3に逃がす対応を入れた On Premises
57. 構成概要 / atlas Storage 57 iOS 自作 Storage群 Archive Storage varnish cluster varnish cluster front proxy front proxy ❏ atlasのStorageは現在２種類 ❏ HotなデータをS3に。 ❏ Warmなデータをgo製の自作Archive Storageに。 ❏ チョット前までは複数の Storageを抱えていた ❏ WebDAV ❏ Voldemort ❏ OpenStack Swift ❏ file数が多すぎてinodeのキャッシュが乗り切らず Storageがスケールしくなってきた段階で 新規データをS3に逃がす対応を入れた ❏ またコスト面も加味し、定期的に S3からWarmなデータを自作Archive Storageにマイグレーションするようにしている。 On Premises
58. 構成概要 hayabusa
59. 構成概要 / hayabusa 59 iOS client CDN AWS Varnish + hayabusa App ECS Management Service Origins Cache
60. これからの事
61. これからの事 61 ❏ Cache-Keyの統合 ❏ 歴史的経緯で対応ドメインが数十個ある
62. これからの事 62 ❏ Cache-Keyの統合 ❏ 歴史的経緯で対応ドメインが数十個ある ❏ 配信のconfigを分けてしまっていた事もあり、単一オリジンか つ同一コンテンツであるにもかかわらずCache-Keyが別れる ような状況
63. これからの事 63 ❏ Cache-Keyの統合 ❏ 歴史的経緯で対応ドメインが数十個ある ❏ 配信のconfigを分けてしまっていた事もあり、単一オリジンか つ同一コンテンツであるにもかかわらずCache-Keyが別れる ような状況 ❏ 規約違反の画像が上がってpurgeしても、他ドメインでの キャッシュが残ってしまう状態
64. これからの事 64 ❏ Cache-Keyの統合 ❏ 歴史的経緯で対応ドメインが数十個ある ❏ 配信のconfigを分けてしまっていた事もあり、単一オリジンか つ同一コンテンツであるにもかかわらずCache-Keyが別れる ような状況 ❏ 規約違反の画像が上がってpurgeしても、他ドメインでの キャッシュが残ってしまう状態 ❏ 煩雑化したCache-Keyを統合し、運用とパフォーマンスの観 点で最適化を図る
65. これからの事 65 ❏ Cache-Keyの統合 ❏ 歴史的経緯で対応ドメインが数十個ある ❏ 配信のconfigを分けてしまっていた事もあり、単一オリジンか つ同一コンテンツであるにもかかわらずCache-Keyが別れる ような状況 ❏ 規約違反の画像が上がってpurgeしても、他ドメインでの キャッシュが残ってしまう状態 ❏ 煩雑化したCache-Keyを統合し、運用とパフォーマンスの観 点で最適化を図る ❏ Edge側でのCache-Keyの作り方を統一するということ
66. これからの事 66 ❏ Aqua ION化 ❏ サイトのHTTP/2化に伴う画像配信基盤のHTTP/2化対応 ❏ hayabusaもAkamai化
67. これからの事 67 ❏ Aqua ION化 ❏ サイトのHTTP/2化に伴う画像配信基盤のHTTP/2化対応 ❏ hayabusaもAkamai化 ❏ Cloud Monitor導入 ❏ Edge側のパフォーマンスや調査をリアルタイムで行うのはデ フォルトだと難しい。問題発生時の調査が遅れたりパフォーマ ンスの可視化が出来ていないとそれだけ、配信品質が下がっ てしまう ❏ ので、可視化していきます。
68. おわり 68 thank you :)