100倍高速化！ オンプレでも実現できたリクルート流仮想マシンの高速提供

2017/11/01 vFORUM 2017 TOKYOでの、保科・中原の講演資料になります

Transcript

1. 0 (C) Recruit Technologies Co.,Ltd. All rights reserved. 100倍高速化！ オンプレでも実現できたリクルート 流仮想マシンの高速提供 株式会社リクルートテクノロジーズ ITソリューション統括部 保科・中原
2. 1 (C) Recruit Technologies Co.,Ltd. All rights reserved. 自己紹介 保科 弘 Hiroshi Hoshina 株式会社リクルートテクノロジーズ シニアネットワークエンジニア ITソリューション統括部 サイトリライアビリティエンジニアリング部 RAFTELグループ 兼 インフラソリューション１部 ELIXIR２グループ
3. 2 (C) Recruit Technologies Co.,Ltd. All rights reserved. アジェンダ １．はじめに ～リクルートおよびリクルートテクノロジーズ ２．マルチクラウド方式と課題 ～パブリックxオンプレ ３．Agilityへの挑戦 ～オンプレで実現したサーバ自動構築 ４．まとめ ～更なる発展に向けて
4. 3 (C) Recruit Technologies Co.,Ltd. All rights reserved. １．はじめに ～リクルートおよびリクルートテクノロジーズ ２．マルチクラウド方式と課題 ～パブリックxオンプレ ３．Agilityへの挑戦 ～オンプレで実現したサーバ自動構築 ４．まとめ ～更なる発展に向けて アジェンダ
5. 4 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートについて 創立 1960年3月31日 「大学新聞広告社」としてスタート グループ 従業員数 45,688 名 連結売上高 約 1兆8,399億円 連結経常利益 約 1,317億円 関連企業数 357社（国内＋海外） コーポレート メッセージ ※2017年3月末 ※2017年3月末 ※2017年3月末 ※2017年3月末
6. 5 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートテクノロジーズについて リクルートキャリア リクルートスタッフィング リクルート住まいカンパニー リクルートジョブズ スタッフサービス・ホールディングス リクルートマーケティングパートナーズ リクルートライフスタイル リクルートアドミニストレーション リクルートコミュニケーションズ (機能会社) ネットインフラ 大規模プロジェクト推進 UXD/SEO ビッグデータ機能 テクノロジーR&D 事業・社内IT推進 リクルートホールディングス セキュリティ AP基盤・オフショア開発 事業会社 機能会社 リクルートグループ横断でＩＴと ネットマーケティング機能を提供
7. 6 (C) Recruit Technologies Co.,Ltd. All rights reserved. アジェンダ １．はじめに ～リクルートおよびリクルートテクノロジーズ ２．マルチクラウド方式と課題 ～パブリックxオンプレ ３．Agilityへの挑戦 ～オンプレで実現したサーバ自動構築 ４．まとめ ～更なる発展に向けて
8. 7 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理 仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ～2008 2009～ 2011～ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet （アジリティ追求） RAFTEL （メインインフラ） ELIXIR （セキュリティ特化） R-Cloud （Public cloud）
9. 8 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理 仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ～2008 2009～ 2011～ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet （アジリティ追求） RAFTEL （メインインフラ） ELIXIR （セキュリティ特化） R-Cloud （Public cloud）
10. 9 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL概要 The Internet External Firewall Load Balancer Storage Server Racks( x80 Racks over) CORE Switch CORE Switch Internal Firewall Back office/ Public Cloud/ etc... Load Balancer Storage External Firewall Internal Firewall
11. 10 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL概要（マルチテナントについて） The Internet External Firewall Load Balancer Storage Server Racks( x80 Racks over) CORE Switch CORE Switch Internal Firewall Back office/ Public Cloud/ etc... Load Balancer Storage External Firewall Internal Firewall • サーバはVMwareで仮想化 • マルチテナント構成（VLANで収容分け） • 各リソースがPool化されておりオンデマン ドで迅速にリソース払い出しが可能 • リクルートの主要サービスの大部分が稼働 • 小～中規模まで合わせると数百のサービス が稼働中
12. 11 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL概要（ネットワークについて） The Internet External Firewall Load Balancer Storage Server Racks( x80 Racks over) Internal Firewall Back office/ Public Cloud/ etc... Load Balancer Storage External Firewall Internal Firewall CORE Switch CORE Switch • FW/LB/CoreSW共にシャーシ型の大型機 中心 • NW機器間のリンクは10Gbps複数本の イーサチャネル中心 • SWのFabricはL2 Fabric • 数百サービス分の設定を大型機に一極 集中させている
13. 12 (C) Recruit Technologies Co.,Ltd. All rights reserved. • サーバ／ミドルウェア構築 • Ansibleや自社開発した自動化ツールで大部分が自動化 • ストレージボリューム割り当て • スクリプト等で一部自動化 • ネットワーク設定（FW/LB設定追加） • 手動運用（大型機一極集中かつ設定が複雑のため自動化困難） • 新規サーバ追加に2週間程度かかってしまう RAFTEL概要（運用について）
14. 13 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTELまとめ • 2009年～ 稼働開始日 インフラ規模 長所 用途 • サーバラック数：80ラック以上 • 物理サーバ台数：1,000台以上 • ネットワーク機器数：400台以上 • ハイエンド機中心ヘビートラフィックにも耐えられる性能 • 長年稼働を続け熟成した信頼性とセキュリティ • 監視、ユーザー認証、ログ収集等の非機能要件の充実 • リクルートの主要サービスの大部分を含む数百のサービスが稼働 短所 • サーバOSやミドルウェアが固定化され構成の自由度が低い • 手動オペレーション、申請書ベースの作業によるアジリティの低さ • パブリッククラウドに比べて割り高になりがちな料金体系
15. 14 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理 仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ～2008 2009～ 2011～ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet （アジリティ追求） RAFTEL （メインインフラ） ELIXIR （セキュリティ特化） R-Cloud （Public cloud）
16. 15 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloud誕生の背景 2011年頃の状況 競合優位を保つために早く新サービスを立ち上げたい RAFTELだとオーバースペックだし時間もかかる とりあえず試したい 小さく軽くアプリケーション開発をしたい Public Cloudの利用が徐々に拡大 事業会社
17. 16 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloud誕生の背景 実際に使ってみて 実際にPublic Cloudを使ってみると 環境だけならすぐに作れるが • セキュリティ対応に時間とコストがかかる • 監視、ユーザー認証基盤等の非機能要件を作るのが大変 • 現場担当者のリテラシーが多様でバラツキが出る ”リクルート流” Public Cloudが求められる
18. 17 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloudとは 非機能要件とセキュリティを「共通機能」として 横断的に提供する”R-Cloud”をPublic Cloud上に構築 Public Cloud Aサービス Bサービス R-Cloud 共通機能 (非機能要件/セキュリティ) Aサービス Bサービス
19. 18 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloudとは RAFTELと専用線で接続し、各種機能の連携を実現 RAFTEL R-Cloud 共通機能 (非機能要件/セキュリティ) Aサービス Bサービス 専用線 サービス連携 ビッグデータ解析 CI(CD)連携
20. 19 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-CloudとRAFTELの関係 用途に応じて使い分け両インフラの利用が拡大中 • 性能、堅牢性、セキュリティを求めるならRAFTEL • アジリティが必要なキャンペーンサイトやフィジビリ サイトはR-Cloud • 専用線で接続され相互に連携可能
21. 20 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理 仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ～2008 2009～ 2011～ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet （アジリティ追求） RAFTEL （メインインフラ） ELIXIR （セキュリティ特化） R-Cloud （Public cloud）
22. 21 (C) Recruit Technologies Co.,Ltd. All rights reserved. ELIXIR構築の目的 RAFTELでも高いセキュリティは実現していたが更なる セキュリティ向上のため新たなインフラ構築を決断 セキュリティ強化 目的 事業継続上特に影響が大きい情報資産を • 外部から盗ませない • 内部から流出させない
23. 22 (C) Recruit Technologies Co.,Ltd. All rights reserved. ELIXIRの概要 RAFTELとは別のDCでオンプレミスで構築 バックオフィスも物理的に分離し社内外からの情報漏えいに対策 RAFTEL ELIXIR The Internet 社内 開発 パートナー VPN セキュアアクセス 専用オフィス
24. 23 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理 仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ～2008 2009～ 2011～ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet （アジリティ追求） RAFTEL （メインインフラ） ELIXIR （セキュリティ特化） R-Cloud （Public cloud）
25. 24 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景 RAFTEL上でビジネスを展開している事業会社へ2016年 に社内アンケートを実施。上記が特に要望が多いもの 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない
26. 25 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景 対策として２つのプロジェクトを立ち上げ 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない 対策 新インフラ RAFTEL Fleet 構築プロジェクト 運用改善 プロジェクト
27. 26 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景 運用改善プロジェクトについて 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない 対策 新インフラ RAFTEL Fleet 構築プロジェクト 運用改善 プロジェクト
28. 27 (C) Recruit Technologies Co.,Ltd. All rights reserved. 運用改善プロジェクト 料金について 人が多い原因は各能毎にチームが分かれていた事での分割損 また業務が固定化されエンジニアの成長も阻害 料金の多くは人件費
29. 28 (C) Recruit Technologies Co.,Ltd. All rights reserved. 運用改善プロジェクト 料金について ラ イ フ ス タ イ ル チ ー ム 住 ま い カ ン パ ニ ー チ ー ム ジ ョ ブ ズ チ ー ム マ ー ケ テ ィ ン グ パ ー ト ナ ー ズ 他 チ ー ム 基盤チーム 事業単位に構築から運用までを一貫して行う インフラエンジニアが、各事業のロケーションで協業し、 一気通貫のタスクをこなすことで成長 その場で解決する事により、柔軟性も向上
30. 29 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景 RAFTEL Fleet構築プロジェクトについて 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない 対策 新インフラ RAFTEL Fleet 構築プロジェクト 運用改善 プロジェクト
31. 30 (C) Recruit Technologies Co.,Ltd. All rights reserved. アジェンダ １．はじめに ～リクルートおよびリクルートテクノロジーズ ２．マルチクラウド方式と課題 ～パブリックxオンプレ ３．Agilityへの挑戦 ～オンプレで実現したサーバ自動構築 ４．まとめ ～更なる発展に向けて
32. 31 (C) Recruit Technologies Co.,Ltd. All rights reserved. 自己紹介 中原 裕成 Hiroshige Nakahara 株式会社リクルートテクノロジーズ ITソリューション統括部 サイトリライアビリティエンジニアリング部 RAFTELグループ
33. 32 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて RAFTEL Fleetは既存のRAFTELを補完するインフラ 主にフロント系のサーバをリアルタイム＆自由に構築 ブルー：RAFTELで提供 オレンジ：RAFTEL Fleetで新たに提供
34. 33 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Fleet専用コンソール画面から 仮想マシンを10分で構築可能 事業会社別 チーム Fleet Management Console(GUI) RAFTEL Fleet 仮想マシン
35. 34 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Dockerサーバ#2 Dockerサーバ#1 LB Client Dockerサーバ#3 LB VIP Docker Swarm Mode （コンテナオーケストレーション） Bridgeサーバ#1 Active Storage(NFS ) Bridgeサーバ#2 Active CIサーバ#1 Active CIサーバ#2 Standby Evolve内部 NW Evolve外部NW ・App Data ・Syslog ・DB Backup etc… PostgreSQL Ingress (内部LB) Ingress (内部LB) Ingress (内部LB) etc... 手動切替え 両Activeだが weightで#1優先 Fleet専用コンソール画面（オーケストレータ）は 3台のDockerサーバ上にスクラッチ開発
36. 35 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Fleet専用コンソールにて、 サーバ稼働として必要な機能をワンストップ提供 Storage (NFS) Fleet Management Console (FMC) vCenter VM作成 FWルール作成 LB設定作成 ボリューム作成 マウント
37. 36 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて 実際の画面をご紹介します
38. 37 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
39. 38 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS ) • OS, スペックを選択するだけでVM構築が可能
40. 39 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS )
41. 40 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS ) • データ領域のサイズをオンデマンドに変更 • 作成した領域をオンラインでマウント
42. 41 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS )
43. 42 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS ) • LBを必要に応じてデプロイ • Cookieパーシステンス等の高度な設定にも対応
44. 43 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS )
45. 44 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて Storage(NFS ) • 利用者が直接FWルールを設定可能 • 申請書ベースで10営業かかるRAFTELと違い即座に反映
46. 45 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet – NSX活用のインフラ NSX 仮想ネットワーク テナントA テナントB FMC RAFTEL • 物理的な構成変更なく、テナントを増やす ことが可能 • セクション・タグベースでFWルールを設 定、簡単にマルチテナントを構成可能
47. 46 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet – 物理機器との接続 The Internet Server Racks Security Devices IDS/WAF/NW Forensics 社内 SOC FW LB CORE SW RAFTEL物理機器群 Storage RAFTEL Fleet Fleet Server Racks 境界 RT DLR ESG dvPort Group • 物理機器は影響が大きく自動化がしづらい • 上記の機能は、NSXの仮想FW, 仮想LBに寄 せ、自動化実現・提供スピードを向上
48. 47 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet – 物理機器との接続 The Internet Server Racks Security Devices IDS/WAF/NW Forensics 社内 SOC FW LB CORE SW RAFTEL物理機器群 Storage RAFTEL Fleet Fleet Server Racks 境界 RT DLR ESG dvPort Group • VxLANとVLANの接点はNSXの機能のESG(仮想 ルータ)をVTEPとして接続 • 広帯域が必要な通信(※)はESGを介さずに直接VLAN を通す抜け道を作りパフォーマンスを確保 ※NFSなどストレージ通信 VXLAN VLAN VTEP (変換)
49. 48 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet – 物理機器との接続 The Internet Server Racks Security Devices IDS/WAF/NW Forensics 社内 SOC FW LB CORE SW RAFTEL物理機器群 Storage RAFTEL Fleet Fleet Server Racks 境界 RT DLR ESG dvPort Group • Fleetのハイパーバイザーに仮想TAP製品をインス トール • VxLANカプセル化前のパケットをミラーリングし既 存のセキュリティ機器での監視を実現
50. 49 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet – NSXへの期待 • トラブルが少なく、構築ストップといった事態に陥らなかった • CPUオーバーヘッドも想定より低く済んだ • RAFTELとくらべて100倍以上の高速なサーバ提供が可能になった よかった点 • DFWの制御がもっとアプリケーションへ近づくこと (FQDNでの制御を行えるなど) • より細かいTimeoutチューニング • APIなどNSXへのドキュメント周りのさらなる充実 今後への期待
51. 50 (C) Recruit Technologies Co.,Ltd. All rights reserved. １．はじめに ～リクルートおよびリクルートテクノロジーズ ２．マルチクラウド方式と課題 ～パブリックxオンプレ ３．Agilityへの挑戦 ～オンプレで実現したサーバ自動構築 ４．まとめ ～更なる発展に向けて アジェンダ
52. 51 (C) Recruit Technologies Co.,Ltd. All rights reserved. ここまでのまとめ 物理 仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ～2008 2009～ 2011～ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet RAFTEL ELIXIR R-Cloud(Public cloud)
53. 52 (C) Recruit Technologies Co.,Ltd. All rights reserved. ここまでのまとめ 性能・ 堅牢性 Security Agility 弊社内の サポート OS/MW 自由度 向いて いるのは RAFTEL (on-premise) ◎ ◦ × ◦ × 堅牢性重視 主要大規模 サービス R-Cloud (Public) △ × ◎ × ◦ スピード優先 フィジビリ サービス ELIXIR (on-premise) △ ◎ × ◦ × 強固なセキュリ ティが必要なサー ビス RAFTEL Fleet (on-premise) ◦ ◦ ◎ ◦ ◦ RAFTELを補完 アジリティが必要 なサービス ４つのインフラで各事業会社の様々な ビジネスニーズに対応
54. 53 (C) Recruit Technologies Co.,Ltd. All rights reserved. ご清聴ありがとうございました リクルートテクノロジーズ