日経電子版のAWS移行

 日経電子版のAWS移行

AWSクラウドへの移行プロジェクトについて

Cbc9561ae10a196ca473048980db31d0?s=128

Ichiro Nishiuma

October 16, 2015
Tweet

Transcript

  1. 2.

    自己紹介 • 西馬一郎(ニシウマ イチロウ) • 2002年入社 • 当初は新聞系アプリケーションの担当 • 途中からウェブ系、電子版創刊時から関わる

    • いまは日経電子版の基盤系 インフラ担当(AWSも自社DCも両方) • 兵庫県神戸市出身 • 好きなAWSサービス 修行中でまだありません 2
  2. 5.

    日経電子版の紹介 • 2010年 日経電子版創刊 – 1996年から日経ネット • 40万人を超える有料会員 • 250万人を超える登録会員

    • 有料ニュースサービス • iPhone/Androidのモバイルサービス強化 • エバーノートとの連携 • サービス系開発部隊は40人程度 5
  3. 10.

    なぜAWSか • 日経電子版を支える柔軟なシステム基盤 • 突発的なアクセスピークに耐える強力な基盤 • 状況に合わせて進化できる基盤 • オンプレはハード更新毎に人的リソースが割かれる •

    サービス開発に注力 • 自分たちで設計・運営できる基盤 – ブラックボックス化したくない – 少人数のインフラチーム運営 10
  4. 13.

    移行に関する数字 13 自社DC AWS 台数 合計160台 合計270台 応答時間 (キャッシュサーバログより )

    無料会員=約50%向上 有料会員=約40%向上 移植したロードバランサー⾏数 11500⾏ 移植したバッチジョブの本数 760本 Backlogの課題件数 2500件 テストケース数 3000件 移⾏リハーサル 5回
  5. 16.

    記事系アプ リケーショ ン、記事API 有料用サーバ 無料用サーバ アクセスの振り分けとAPI 16 AWS 基盤 (AWS全体設計、サーバ設計、インストール、監視、ウィルス対策、

    パッチ、構成管理、ログ解析、監視メッセージ送信、自動テスト) 基 盤 HA proxy varni sh HA proxy ELB 数値系アプ リケーショ ン、数値API 有料用サーバ 無料用サーバ
  6. 17.

    オンプレ時代の課題解決 • アクセスとリソースの可視化 – リバースプロキシのアクセスログ可視化 – リソース監視 • サーバ設定をエクセルではなくAnsibleで管理 –

    創刊前に構築した時のエクセルは使いものにならない状態だった • サーバの夜間・休日停止 • サーバ構築リードタイム大幅に短縮 • 専用線 – 自社DCとAWS間のインターネット通信障害 17
  7. 23.

    苦労した点(その1) • クラスタソフト – 書き込みが発生する箇所に配置 • NFSサーバ(共有ファイルサーバ) • セッション管理サーバ –

    専用線経由で代表アドレス通信はできない • オンプレ側アプリケーションの変更を余儀なくされた – はやくマネージドのAmazon EFSを利用したい 23
  8. 24.

    苦労した点(その2) • オンプレのロードバランサー移植 – ELBで足りない機能、L7レベル振り分けをHAProxyで実装 – アクセス制限 • 専用線経由の通信 –

    マネージドのIPアドレスは可変 • DC側からElastiCacheに対して専用線経由でアクセス • 自社DCとAWSのアドレス体系 NATを使う – 専用線でELBにアクセスできないのはあきらめた 24
  9. 25.

    テストで注力した点 • 自社DCからのデータ・ファイル転送 – データベースレプリケーション • MSSQL – 紙面イメージのサービスで使う画像データ転送 •

    10分間で6000ファイル – 40万人の会員向けメール処理 • 朝刊と夕刊の2回、登録したキーワードに関するメール本文作成処理 • 移行前より時間的に遅延するのは許されない • アクセス性能テスト • アベイラビリティゾーンのA系とC系をまたぐ通信(約2ms) 25
  10. 27.

    クラウドで良かった点 • 性能テスト – ボトルネックを探す – ピーク性能を測る • サイジングに時間を取られなかった •

    ピークに備えて台数確保 • テスト環境の構築のしやすさ(Route53活用) – 自社環境のwww.nikkei.comと同じものをAWS側にも作れた • とは言え、まだ「道半ば」 27
  11. 28.

    使ってみて課題・トラブル • 支払い費用 – コスト削減 • さらなる自動化 • AWS内部のネットワークトラブル –

    パケットロスにより、紙面データの送信失敗 • クラスタソフトが動かない – サービスが不安定になり紙面データ送信失敗 28
  12. 29.

    今後もアーキテクチャ見直しで進化 • ファイル共有の仕組みを変えていく – 今はクラスタのNFSサーバ – S3活用 – Amazon EFSの活用

    • データベースをマネージドに – 今はEC2上に構築 • Windowsのサーバを減らしていく 29
  13. 32.

    技術チームとしての活動 • アプリケーション系 – 「アプリケーション開発の内製化」など勉強会 • インフラ系 – 「Ansible Meetup」など勉強会

    – 今夜「ログ分析勉強会 vol.1」 「Kibana4で秒間1万件のアクセスログを可視化した話」 http://loganalytics.connpass.com/event/19614/ 32 @bungoume
  14. 33.

    33