ZOZOTOWN システムリプレイスとAkamaiの活用

ZOZOTOWNが今後の成長を促進させるために
アプリケーションやインフラの改善を行う決断をして4年が経過しました。
同時に、従来のセキュリティ対策を強化していくため
システムリプレイスと並行で進めてきた経緯について紹介します。

Transcript

1. ZOZOTOWN 
 システムリプレイスとAkamaiの活用
 株式会社ZOZO
 技術本部SRE部 ディレクター
 渡邉 宣彦 Copyright © ZOZO, Inc. 1
2. © ZOZO, Inc. 株式会社ZOZO
 技術本部 SRE部 ディレクター 渡邉 宣彦
 金融系ソフトウェア開発、ECサイトの構築運用を経て
 2019年2月に株式会社ZOZOテクノロジーズへ入社
 現在、SRE部の責任者として
 ZOZOTOWNを構成するサービスインフラの構築運用を担当
 
 2
3. © ZOZO, Inc. https://zozo.jp/
 3 • ファッションEC
 • 1,500以上のショップ、8,500以上のブランドの取り扱い
 • 常時90万点以上の商品アイテム数と毎日平均2,600点以上の新着 商 品を掲載（2022年6月末時点）
 • ブランド古着のファッションゾーン「ZOZOUSED」や
 コスメ専門モール「ZOZOCOSME」、靴の専門モール
 「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン
 「ZOZOVILLA」を展開
 • 即日配送サービス
 • ギフトラッピングサービス
 • ツケ払い など

4. © ZOZO, Inc. https://wear.jp/
 4 • ファッションコーディネートアプリ
 • 1,600万ダウンロード突破、コーディネート投稿総数は1,300万件以上 （2022年6月末時点）
 • ピックアップタグから最新のトレンドをチェック
 • コーディネート着用アイテムを公式サイトで購入可能
 • WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザ イナー・インフルエンサーといった各界著名人も参加

5. © ZOZO, Inc. ❖ ZOZOTOWNリプレイスについて
 ❖ 課題の整理
 ❖ 改善のポイント
 ❖ Akamai導入後の変化
 ❖ まとめ
 5 Topics

6. © ZOZO, Inc. ZOZOTOWNリプレイスについて
 6
7. © ZOZO, Inc. 7 運営開始当時のZOZOTOWN

8. © ZOZO, Inc. 8 iOS Android PC/SP 
 近年までアーキテクチャは大きく変えずに規模を拡大
 
 
 
 ZOZO DC
 セールのピークを予想してスケールアウト
 更改時に5年間の成長を加味してスケールアップ

9. © ZOZO, Inc. 9 iOS Android PC/SP 
 近年までアーキテクチャは大きく変えずに規模を拡大
 
 
 
 ZOZO DC
 ❖ 予想よりもアクセスが多い場合
 
 サーバが過負荷状態に陥る
 
 
 ❖ 予想が適切だった場合でも・・・
 
 ピークに合わせるので
 結局年間を通して見ると
 大半が余剰リソースとなっている

10. © ZOZO, Inc. 10 iOS Android PC/SP 
 近年までアーキテクチャは大きく変えずに規模を拡大
 
 
 
 スケールしづらい 開発効率の低下 古い技術要素 難航する採用 ／他にも様々な弊害が表面化していた＼
 ZOZO DC

11. © ZOZO, Inc. 11 2017年 4月 ZOZOTOWNリプレイスを決断

12. © ZOZO, Inc. 12 目的を明確にする
 柔軟なシステム 開発生産性 技術のモダン化 採用強化 • お客様にいつでも快適に買い物をしていただけるサービスを提供
 • ZOZOTOWNをより成長させるためにリプレイスを行う
 • セール時期に合わせて スケール可能 • 技術情報の アウトプットによる プレゼンス向上 • レガシー技術による 独自実装の減少 • 汎用ミドルウェア、 SaaSを利用可能 • 並行開発 • リリースの自動化
13. © ZOZO, Inc. 13 リプレイスを進める上で挙がった課題
 • 従来から一貫した技術による開発が行われてきたため
 　モダンな技術に対する知見が社内に蓄積されていない
 
 
 • サービスの安定稼働と並行しながら進めていくため
 　対象となるシステムが大きいほど業務が回らなくなる
 
 
 
 • 組織構造がリプレイス体制に追随できていない
 
 
 運用面の課題
 技術面の課題
 組織面の課題

14. © ZOZO, Inc. 14 リプレイスを進める上で挙がった課題
 
 • 従来から一貫した技術による開発が行われてきたため
 　モダンな技術に対する知見が社内に蓄積されていない
 
 • サービスの安定稼働と並行しながら進めていくため
 　対象となるシステムが大きいほど業務が回らなくなる
 
 
 
 • 組織構造がリプレイス体制に追随できていない
 
 
 運用面の課題
 技術面の課題
 ＼　ZOZOの場合　／
 
 日常的に発生する運用業務の負荷が
 リプレイスを進める上の障壁となっていた

15. © ZOZO, Inc. 15 リプレイスの過程において
 
 「運用面の課題」を
 
 どのように解消してきたか
 
 今回のメインテーマ
 

16. © ZOZO, Inc. 16 参考）
 技術面の課題や組織面の課題については
 【クラウド時代のエンジニア像とは？】というテーマで開催されたイベントにて
 
 弊社 VPoEの瀬尾が
 「ZOZOが歩んできたテック組織の作り方について」
 詳しく紹介しておりますので、ぜひこちらもご覧ください！！
 
 <イベント詳細>
 クラウド時代のエンジニア像とは？ 〜ZOZO、ニューラルポケット、note、リクルート の VPoE/CTO/Tech Leaders が語る、採用・育成・Tech 組織の作り方とは〜 
 ❖ 登壇動画
 
 ❖ 登壇資料

17. © ZOZO, Inc. 課題の整理
 17
18. © ZOZO, Inc. 18 
 
 
 
 
 
 
 
 「運用面の課題」とは？
 スケールしづらい 古い技術要素 ❖ 常にピークに合わせた運用しかできないこと
 
 ❖ 技術経験者の確保が難しく、教育もまた難しいこと
 
 ❖ 特定技術に特化しすぎており、外部より情報が得られない
 

19. © ZOZO, Inc. 19 
 
 
 
 
 
 
 
 DNSサーバの運用
 FW/WAFの運用
 ❖ BINDの脆弱性のキャッチアップと対応
 
 
 
 ❖ DNSの可用性向上
 
 
 
 ❖ そもそもあまり触りたくない
 ❖ ベンダー特有の技術に対する知識や経験
 
 ❖ ハードウェアとソフトウェアの管理コスト
 
 ❖ クセが強い
 特に大きな課題

20. © ZOZO, Inc. 
 本質的な改善に着手する時間がとれない
 
 
 結果としてずっと昔の運用を継続せざるを得ない
 　
 　セール準備のために連日深夜作業することも・・・
 20 運用が積み重なると
 根本的な改善が必要だった

21. © ZOZO, Inc. 改善のポイント
 21
22. © ZOZO, Inc. 22 DNSサーバのリプレイス
 
 
 
 
 
 
 
 
 2019年で保守切れを迎えるタイミングでDNSサーバをどうしていくか検討
 
 
 
 
 
 
 
 
 
 
 
 
 DNSがダウン＝サービスが全て停止となるため
 より可用性を高める構成が必要
 ❏ オンプレミスだけの運用はやめたい
 ❏ SLA100%を保証しているレベルのDNSサービス
 ❏ DDoS攻撃や脆弱性対応など、運用コストの軽減が図れる
 ❏ 将来的にZOZOTOWNのCDN化を進めたい
 ❏ 安いほうがやっぱり嬉しい

23. © ZOZO, Inc. 23 <引用元>https://www.akamai.com/ja/resources/product-brief/edge-dns-product-brief 古くはEnhancedDNS,FastDNSと続く
 Akamaiの提供するDNSサービス
 『Edge DNS』

24. © ZOZO, Inc. 24 Edge DNSを選定した理由
 ❖ 基本的な条件が満たされていた
 
 
 ❖ Zone Apex Mapping機能を提供しており
 
 将来的にZOZOTOWNで採用したいCDN特有の機能が提供されていた点も挙げられる
 （zozo.jpはZoneApexであり、単純にCNAMEレコードによるCDN化ができない※RFC1912）
 ❏ オンプレミスだけの運用はやめたい
 ❏ SLA100%を保証しているレベルのDNSサービス
 ❏ DDoS攻撃や脆弱性対応など、運用コストの軽減が図れる
 ❏ 将来的にZOZOTOWNのCDN化を進めたい
 ❏ 安いほうがやっぱり嬉しい

25. © ZOZO, Inc. 
 
 
 
 
 
 
 
 従来の運用
 
 
 
 
 
 
 
 
 
 
 
 上記の運用が定期的に発生していたものの
 経験を持っているエンジニアが圧倒的に少ないため
 属人化しやすく、運用業務に長時間かかることが多かった
 
 25 FW・WAFの運用改善
 • 定期的なSigunatureの更新
 • GUI中心の運用
 • アプライアンスの保守管理
 • OSのバージョン管理とアップデート
 • 関連ベンダーが複数になるためやり取りに時間がかかりがち
 
 • しかしセキュリティの専門家がいるわけではない
 

26. © ZOZO, Inc. 26 <引用元>https://www.akamai.com/ja/resources/product-brief/kona-site-defender-product-brief Akamaiの提供するCDN機能のひとつであり
 高度なCloud型WAFとして存在
 『Kona Site Defender』

27. © ZOZO, Inc. 27 Kona Site Defenderを選定した理由
 ❏ 拡張性を重視し、Cloud型WAFであること
 ❏ DDoSなどの攻撃に対して、エッジ側で食い止める機能があること
 ❏ セキュリティ専門のエンジニアが分析し、サポートしてくれること
 ❏ 様々なクライアントを保護してきた豊富なナレッジ
 お客様により安全にサービスを利用していただくために
 手前運用だけではなく、専門家によるバックアップ体制を敷くことで
 日々の運用コストだけではなく、エンジニアの負担を減らすこともできると考えた

28. © ZOZO, Inc. Akamai導入後の変化
 28
29. © ZOZO, Inc. 29 セキュリティ対策の継続的な取り組み
 • 定期的なセキュリティレポートの実施
 
 • Apache Log4j※ など緊急度の高い脆弱性の発覚と同時に
 Akamai側でもセキュリティ対策を進めて提案してくれる
 
 • Akamai Contorol Center上でアクセス状況のチェックができる
 
 • ZOZO CSIRTを設立、日本シーサート協議会にも正式に加盟
 ※(CVE-2021-44228) さらにZOZOTOWNをAkamai化したことで
 従来必要としていた追加機能の適用も可能となった

30. © ZOZO, Inc. 30 Akamai Managed Security Service
 • いわゆるSOCC
 　適切にアウトソーシングできれば、より開発に専念しやすくなる
 
 
 
 セキュリティの専門家が手厚くサポートしてくれることで
 ZOZOTOWNのセキュリティ向上にも寄与している
 （イメージ） <引用元>https://www.akamai.com/ja/resources/product-brief/managed-security-service-product-brief

31. © ZOZO, Inc. 31 様々なWEBサーバへのアクセスをコントロールしたことで
 過負荷状態の軽減に繋がり、即時50msec程度の改善が生じた
 Akamai化したことによる効果の一例

32. © ZOZO, Inc. 32 Akamai Application Load Balancerの活用
 WEBサーバをオンプレミスからAWSへの移行を進める過程の中で
 Application Load Balancerの導入により　
 従来では不可能だったカナリアリリースが可能になった
 
 
 詳しくはZOZOTOWNにおけるAkamai Application Load Balancerの導入 
 従来ロードバランサーで実施していた
 GUI操作による煩雑な運用から脱却できた

33. © ZOZO, Inc. 33 結果、自動化の推進も進めることができた
 従来はGUIでの設定変更作業が当たり前で
 時間もなく、自動化を進めることができていなかったが
 
 運用面の改善ができたことにより
 自動化を劇的に進めることができた
 
 
 
 セール準備のために要する時間を5分の1まで短縮することが可能に！
 詳しくはAWXを用いたZOZOTOWNオンプレミス環境における自動化の取り組み - ZOZO Technologies TECH BLOG 

34. © ZOZO, Inc. 34 障害は起こりうるもの
 五輪やJALの公式サイト、PSNなどで一時アクセス障害　AkamaiのDNSが原 因か五輪やJALの公式サイト、PSNなどで一時アクセス障害　AkamaiのDNS が原因か - ITmedia NEWS 世界規模のDNS障害が発生中 ～Akamaiを採用の企業に影響か（復旧済み） - 窓の杜 • 依存度が高まるほど障害範囲は甚大になる
 外形監視など非常事態にいち早く気づく仕組みを構築しておく
 
 • 環境やサービスの構成が許せば
 　複数のDNSサービスを組み合わせて有事の際に備えることも考慮する
 
 • 障害が発生した際のオペレーション訓練などはやっておいて損はない
 
 

35. © ZOZO, Inc. 35 こうなると嬉しいポイント
 • よりCI/CDの普及に力を注いで欲しい
 これは昔から変わらず要望している
 
 • 日本語ドキュメントの充実
 導入時の弊害になっていることがしばしば見受けられる
 
 • サービス利用時のハードルの高さ
 　某53や某frontのようにDNSとかCDNなど簡単に使い始められたら嬉しい
 
 • ユーザー会などのイベント
 情報が圧倒的に不足することが多いので、もっとユーザー企業での情報交換が進むとありがたい
 

36. © ZOZO, Inc. まとめ
 36
37. © ZOZO, Inc. 37 システムリプレイスは運用改善と共に
 Akamaiを活用していくことで
 
 ❏ 従来のインフラ基盤の運用工数を大幅に削減できた
 
 ❏ 運用の自動化を進めることができた
 
 ❏ 前例を踏襲する慣習からの脱却ができた
 
 
 ZOZOTOWNのシステムリプレイスを進める過程において
 新しいチャレンジをしていく波を作り出せたことが最大のメリット
 

38. © ZOZO, Inc. 38 柔軟なシステム 開発生産性 技術のモダン化 採用強化 ZOZOTOWNを快適にご利用いただくため
 
 今後もリプレイスを進めていきます