Share
Embed
100倍高速化! オンプレでも実現できたリクルート流仮想マシンの高速提供
2017/11/01 vFORUM 2017 TOKYOでの、保科・中原の講演資料になります
Recruit Technologies
November 15, 2017
Transcript
54 slides
-
0 (C) Recruit Technologies Co.,Ltd. All rights reserved. 100倍高速化! オンプレでも実現できたリクルート
流仮想マシンの高速提供 株式会社リクルートテクノロジーズ ITソリューション統括部 保科・中原 -
1 (C) Recruit Technologies Co.,Ltd. All rights reserved. 自己紹介 保科
弘 Hiroshi Hoshina 株式会社リクルートテクノロジーズ シニアネットワークエンジニア ITソリューション統括部 サイトリライアビリティエンジニアリング部 RAFTELグループ 兼 インフラソリューション1部 ELIXIR2グループ -
2 (C) Recruit Technologies Co.,Ltd. All rights reserved. アジェンダ 1.はじめに
~リクルートおよびリクルートテクノロジーズ 2.マルチクラウド方式と課題 ~パブリックxオンプレ 3.Agilityへの挑戦 ~オンプレで実現したサーバ自動構築 4.まとめ ~更なる発展に向けて -
3 (C) Recruit Technologies Co.,Ltd. All rights reserved. 1.はじめに ~リクルートおよびリクルートテクノロジーズ
2.マルチクラウド方式と課題 ~パブリックxオンプレ 3.Agilityへの挑戦 ~オンプレで実現したサーバ自動構築 4.まとめ ~更なる発展に向けて アジェンダ -
4 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートについて 創立
1960年3月31日 「大学新聞広告社」としてスタート グループ 従業員数 45,688 名 連結売上高 約 1兆8,399億円 連結経常利益 約 1,317億円 関連企業数 357社(国内+海外) コーポレート メッセージ ※2017年3月末 ※2017年3月末 ※2017年3月末 ※2017年3月末 -
5 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートテクノロジーズについて リクルートキャリア
リクルートスタッフィング リクルート住まいカンパニー リクルートジョブズ スタッフサービス・ホールディングス リクルートマーケティングパートナーズ リクルートライフスタイル リクルートアドミニストレーション リクルートコミュニケーションズ (機能会社) ネットインフラ 大規模プロジェクト推進 UXD/SEO ビッグデータ機能 テクノロジーR&D 事業・社内IT推進 リクルートホールディングス セキュリティ AP基盤・オフショア開発 事業会社 機能会社 リクルートグループ横断でITと ネットマーケティング機能を提供 -
6 (C) Recruit Technologies Co.,Ltd. All rights reserved. アジェンダ 1.はじめに
~リクルートおよびリクルートテクノロジーズ 2.マルチクラウド方式と課題 ~パブリックxオンプレ 3.Agilityへの挑戦 ~オンプレで実現したサーバ自動構築 4.まとめ ~更なる発展に向けて -
7 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理
仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ~2008 2009~ 2011~ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet (アジリティ追求) RAFTEL (メインインフラ) ELIXIR (セキュリティ特化) R-Cloud (Public cloud) -
8 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理
仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ~2008 2009~ 2011~ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet (アジリティ追求) RAFTEL (メインインフラ) ELIXIR (セキュリティ特化) R-Cloud (Public cloud) -
9 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL概要 The
Internet External Firewall Load Balancer Storage Server Racks( x80 Racks over) CORE Switch CORE Switch Internal Firewall Back office/ Public Cloud/ etc... Load Balancer Storage External Firewall Internal Firewall -
10 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL概要(マルチテナントについて) The
Internet External Firewall Load Balancer Storage Server Racks( x80 Racks over) CORE Switch CORE Switch Internal Firewall Back office/ Public Cloud/ etc... Load Balancer Storage External Firewall Internal Firewall • サーバはVMwareで仮想化 • マルチテナント構成(VLANで収容分け) • 各リソースがPool化されておりオンデマン ドで迅速にリソース払い出しが可能 • リクルートの主要サービスの大部分が稼働 • 小~中規模まで合わせると数百のサービス が稼働中 -
11 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL概要(ネットワークについて) The
Internet External Firewall Load Balancer Storage Server Racks( x80 Racks over) Internal Firewall Back office/ Public Cloud/ etc... Load Balancer Storage External Firewall Internal Firewall CORE Switch CORE Switch • FW/LB/CoreSW共にシャーシ型の大型機 中心 • NW機器間のリンクは10Gbps複数本の イーサチャネル中心 • SWのFabricはL2 Fabric • 数百サービス分の設定を大型機に一極 集中させている -
12 (C) Recruit Technologies Co.,Ltd. All rights reserved. • サーバ/ミドルウェア構築
• Ansibleや自社開発した自動化ツールで大部分が自動化 • ストレージボリューム割り当て • スクリプト等で一部自動化 • ネットワーク設定(FW/LB設定追加) • 手動運用(大型機一極集中かつ設定が複雑のため自動化困難) • 新規サーバ追加に2週間程度かかってしまう RAFTEL概要(運用について) -
13 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTELまとめ •
2009年~ 稼働開始日 インフラ規模 長所 用途 • サーバラック数:80ラック以上 • 物理サーバ台数:1,000台以上 • ネットワーク機器数:400台以上 • ハイエンド機中心ヘビートラフィックにも耐えられる性能 • 長年稼働を続け熟成した信頼性とセキュリティ • 監視、ユーザー認証、ログ収集等の非機能要件の充実 • リクルートの主要サービスの大部分を含む数百のサービスが稼働 短所 • サーバOSやミドルウェアが固定化され構成の自由度が低い • 手動オペレーション、申請書ベースの作業によるアジリティの低さ • パブリッククラウドに比べて割り高になりがちな料金体系 -
14 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理
仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ~2008 2009~ 2011~ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet (アジリティ追求) RAFTEL (メインインフラ) ELIXIR (セキュリティ特化) R-Cloud (Public cloud) -
15 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloud誕生の背景 2011年頃の状況
競合優位を保つために早く新サービスを立ち上げたい RAFTELだとオーバースペックだし時間もかかる とりあえず試したい 小さく軽くアプリケーション開発をしたい Public Cloudの利用が徐々に拡大 事業会社 -
16 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloud誕生の背景 実際に使ってみて
実際にPublic Cloudを使ってみると 環境だけならすぐに作れるが • セキュリティ対応に時間とコストがかかる • 監視、ユーザー認証基盤等の非機能要件を作るのが大変 • 現場担当者のリテラシーが多様でバラツキが出る ”リクルート流” Public Cloudが求められる -
17 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloudとは 非機能要件とセキュリティを「共通機能」として
横断的に提供する”R-Cloud”をPublic Cloud上に構築 Public Cloud Aサービス Bサービス R-Cloud 共通機能 (非機能要件/セキュリティ) Aサービス Bサービス -
18 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-Cloudとは RAFTELと専用線で接続し、各種機能の連携を実現
RAFTEL R-Cloud 共通機能 (非機能要件/セキュリティ) Aサービス Bサービス 専用線 サービス連携 ビッグデータ解析 CI(CD)連携 -
19 (C) Recruit Technologies Co.,Ltd. All rights reserved. R-CloudとRAFTELの関係 用途に応じて使い分け両インフラの利用が拡大中
• 性能、堅牢性、セキュリティを求めるならRAFTEL • アジリティが必要なキャンペーンサイトやフィジビリ サイトはR-Cloud • 専用線で接続され相互に連携可能 -
20 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理
仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ~2008 2009~ 2011~ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet (アジリティ追求) RAFTEL (メインインフラ) ELIXIR (セキュリティ特化) R-Cloud (Public cloud) -
21 (C) Recruit Technologies Co.,Ltd. All rights reserved. ELIXIR構築の目的 RAFTELでも高いセキュリティは実現していたが更なる
セキュリティ向上のため新たなインフラ構築を決断 セキュリティ強化 目的 事業継続上特に影響が大きい情報資産を • 外部から盗ませない • 内部から流出させない -
22 (C) Recruit Technologies Co.,Ltd. All rights reserved. ELIXIRの概要 RAFTELとは別のDCでオンプレミスで構築
バックオフィスも物理的に分離し社内外からの情報漏えいに対策 RAFTEL ELIXIR The Internet 社内 開発 パートナー VPN セキュアアクセス 専用オフィス -
23 (C) Recruit Technologies Co.,Ltd. All rights reserved. リクルートのネットインフラ 物理
仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ~2008 2009~ 2011~ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet (アジリティ追求) RAFTEL (メインインフラ) ELIXIR (セキュリティ特化) R-Cloud (Public cloud) -
24 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景
RAFTEL上でビジネスを展開している事業会社へ2016年 に社内アンケートを実施。上記が特に要望が多いもの 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない -
25 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景
対策として2つのプロジェクトを立ち上げ 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない 対策 新インフラ RAFTEL Fleet 構築プロジェクト 運用改善 プロジェクト -
26 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景
運用改善プロジェクトについて 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない 対策 新インフラ RAFTEL Fleet 構築プロジェクト 運用改善 プロジェクト -
27 (C) Recruit Technologies Co.,Ltd. All rights reserved. 運用改善プロジェクト 料金について
人が多い原因は各能毎にチームが分かれていた事での分割損 また業務が固定化されエンジニアの成長も阻害 料金の多くは人件費 -
28 (C) Recruit Technologies Co.,Ltd. All rights reserved. 運用改善プロジェクト 料金について
ラ イ フ ス タ イ ル チ ー ム 住 ま い カ ン パ ニ ー チ ー ム ジ ョ ブ ズ チ ー ム マ ー ケ テ ィ ン グ パ ー ト ナ ー ズ 他 チ ー ム 基盤チーム 事業単位に構築から運用までを一貫して行う インフラエンジニアが、各事業のロケーションで協業し、 一気通貫のタスクをこなすことで成長 その場で解決する事により、柔軟性も向上 -
29 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet構築の背景
RAFTEL Fleet構築プロジェクトについて 概要 課題 インフラコストが高く、容易にサーバ追加が 出来ない 利用料金 リードタイム サイト個別要件 コミュニケーション 10営業日前後のリードタイムは辛い 個別要件に対応してくれない。自由度が低い 申請ツール・ヒアリングシートが使いにくい 顔が見えず気軽に質問が出来ない 対策 新インフラ RAFTEL Fleet 構築プロジェクト 運用改善 プロジェクト -
30 (C) Recruit Technologies Co.,Ltd. All rights reserved. アジェンダ 1.はじめに
~リクルートおよびリクルートテクノロジーズ 2.マルチクラウド方式と課題 ~パブリックxオンプレ 3.Agilityへの挑戦 ~オンプレで実現したサーバ自動構築 4.まとめ ~更なる発展に向けて -
31 (C) Recruit Technologies Co.,Ltd. All rights reserved. 自己紹介 中原
裕成 Hiroshige Nakahara 株式会社リクルートテクノロジーズ ITソリューション統括部 サイトリライアビリティエンジニアリング部 RAFTELグループ -
32 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
RAFTEL Fleetは既存のRAFTELを補完するインフラ 主にフロント系のサーバをリアルタイム&自由に構築 ブルー:RAFTELで提供 オレンジ:RAFTEL Fleetで新たに提供 -
33 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Fleet専用コンソール画面から 仮想マシンを10分で構築可能 事業会社別 チーム Fleet Management Console(GUI) RAFTEL Fleet 仮想マシン -
34 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Dockerサーバ#2 Dockerサーバ#1 LB Client Dockerサーバ#3 LB VIP Docker Swarm Mode (コンテナオーケストレーション) Bridgeサーバ#1 Active Storage(NFS ) Bridgeサーバ#2 Active CIサーバ#1 Active CIサーバ#2 Standby Evolve内部 NW Evolve外部NW ・App Data ・Syslog ・DB Backup etc… PostgreSQL Ingress (内部LB) Ingress (内部LB) Ingress (内部LB) etc... 手動切替え 両Activeだが weightで#1優先 Fleet専用コンソール画面(オーケストレータ)は 3台のDockerサーバ上にスクラッチ開発 -
35 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Fleet専用コンソールにて、 サーバ稼働として必要な機能をワンストップ提供 Storage (NFS) Fleet Management Console (FMC) vCenter VM作成 FWルール作成 LB設定作成 ボリューム作成 マウント -
38 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Storage(NFS ) • OS, スペックを選択するだけでVM構築が可能 -
40 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Storage(NFS ) • データ領域のサイズをオンデマンドに変更 • 作成した領域をオンラインでマウント -
42 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Storage(NFS ) • LBを必要に応じてデプロイ • Cookieパーシステンス等の高度な設定にも対応 -
44 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleetについて
Storage(NFS ) • 利用者が直接FWルールを設定可能 • 申請書ベースで10営業かかるRAFTELと違い即座に反映 -
45 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet
– NSX活用のインフラ NSX 仮想ネットワーク テナントA テナントB FMC RAFTEL • 物理的な構成変更なく、テナントを増やす ことが可能 • セクション・タグベースでFWルールを設 定、簡単にマルチテナントを構成可能 -
46 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet
– 物理機器との接続 The Internet Server Racks Security Devices IDS/WAF/NW Forensics 社内 SOC FW LB CORE SW RAFTEL物理機器群 Storage RAFTEL Fleet Fleet Server Racks 境界 RT DLR ESG dvPort Group • 物理機器は影響が大きく自動化がしづらい • 上記の機能は、NSXの仮想FW, 仮想LBに寄 せ、自動化実現・提供スピードを向上 -
47 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet
– 物理機器との接続 The Internet Server Racks Security Devices IDS/WAF/NW Forensics 社内 SOC FW LB CORE SW RAFTEL物理機器群 Storage RAFTEL Fleet Fleet Server Racks 境界 RT DLR ESG dvPort Group • VxLANとVLANの接点はNSXの機能のESG(仮想 ルータ)をVTEPとして接続 • 広帯域が必要な通信(※)はESGを介さずに直接VLAN を通す抜け道を作りパフォーマンスを確保 ※NFSなどストレージ通信 VXLAN VLAN VTEP (変換) -
48 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet
– 物理機器との接続 The Internet Server Racks Security Devices IDS/WAF/NW Forensics 社内 SOC FW LB CORE SW RAFTEL物理機器群 Storage RAFTEL Fleet Fleet Server Racks 境界 RT DLR ESG dvPort Group • Fleetのハイパーバイザーに仮想TAP製品をインス トール • VxLANカプセル化前のパケットをミラーリングし既 存のセキュリティ機器での監視を実現 -
49 (C) Recruit Technologies Co.,Ltd. All rights reserved. RAFTEL Fleet
– NSXへの期待 • トラブルが少なく、構築ストップといった事態に陥らなかった • CPUオーバーヘッドも想定より低く済んだ • RAFTELとくらべて100倍以上の高速なサーバ提供が可能になった よかった点 • DFWの制御がもっとアプリケーションへ近づくこと (FQDNでの制御を行えるなど) • より細かいTimeoutチューニング • APIなどNSXへのドキュメント周りのさらなる充実 今後への期待 -
50 (C) Recruit Technologies Co.,Ltd. All rights reserved. 1.はじめに ~リクルートおよびリクルートテクノロジーズ
2.マルチクラウド方式と課題 ~パブリックxオンプレ 3.Agilityへの挑戦 ~オンプレで実現したサーバ自動構築 4.まとめ ~更なる発展に向けて アジェンダ -
51 (C) Recruit Technologies Co.,Ltd. All rights reserved. ここまでのまとめ 物理
仮想化 Software Defined 旧DC➃ 旧DC➂ 旧DC➁ 旧DC➀ マルチ クラウド ~2008 2009~ 2011~ 現在 DC統合 マルチ クラウド化 RAFTEL Fleet RAFTEL ELIXIR R-Cloud(Public cloud) -
52 (C) Recruit Technologies Co.,Ltd. All rights reserved. ここまでのまとめ 性能・
堅牢性 Security Agility 弊社内の サポート OS/MW 自由度 向いて いるのは RAFTEL (on-premise) ◎ ◦ × ◦ × 堅牢性重視 主要大規模 サービス R-Cloud (Public) △ × ◎ × ◦ スピード優先 フィジビリ サービス ELIXIR (on-premise) △ ◎ × ◦ × 強固なセキュリ ティが必要なサー ビス RAFTEL Fleet (on-premise) ◦ ◦ ◎ ◦ ◦ RAFTELを補完 アジリティが必要 なサービス 4つのインフラで各事業会社の様々な ビジネスニーズに対応