OpenStackによる、実践オンプレミスクラウド

2013/04/23開催のQCon Tokyo 2013での講演資料です。

Transcript

1. QCon Tokyo 2013 - BS3-1 講演資料 Copyright © 2013 NTT DATA Corporation April 23, 2013 株式会社ＮＴＴデータ 基盤システム事業本部 伊藤 雅典 OpenStack による、実践オンプレミスクラウド
2. 自己紹介 氏名 伊藤 雅典 (いとう まさのり) 所属 株式会社NTTデータ 基盤システム事業本部 システム方式技術BU 担当業務 OpenStack をベースにした 「フルオープン仮想化基盤構築ソリューション」 の 2 Copyright © 2013 NTT DATA Corporation 2 開発、OSS系案件対応等に従事 http://oss.nttdata.co.jp/openstack/ http://www.nttdata.com/jp/ja/news/release/2012/100201.html 活動領域 専門は、OS・仮想化・ネットワーク等のプラットフォーム系技術一般。 日本OpenStackユーザ会(JOSUG)、オープンクラウド実証実験タスクフォース (OCDET)等で活動中。そのほか、各種記事執筆など。趣味は子育て。
3. ＩＮＤＥＸ 01 Introduction - はじめに 02 Overview - OpenStack プロジェクトの全体像 03 How it Works - どう動いているのか？ 04 Toward the Production Systems -- 実システムへむけて 3 Copyright © 2013 NTT DATA Corporation
4. ０１ はじめに Copyright © 2013 NTT DATA Corporation 4
5. 利用者視点で見たクラウドとは • 情報システムを「保有せずに利用する」サービス形態 • 利用者は「ネットワークの向こう側」からサービスを受ける • 「ネットワークの向こう側」がどうなっているかを知る必要はない 5 Copyright © 2013 NTT DATA Corporation 5 一言でいえば、 「従量課金」ということ。
6. クラウドのサービスモデル ミドルウェア・フレーム PaaS 種類 解説 SaaS Software as a Service CRM・ERPなどの業務 アプリケーション アプリケーション アプリケーション アプリケーションを提 供 中 中 中 中 柔軟性 低 低 低 低 • アプリケーションとして サービスが完成している ため、変更には改修が 伴う ユーザはハードを意識せずに アプリケーションを利用可能 SaaS基盤（テナント管理・認証等） AP AP ユーザはハードを意識せずに 6 Copyright © 2013 NTT DATA Corporation 6 ミドルウェア・フレーム ワーク等アプリケー ション実行環境 実行環境 実行環境 実行環境を提 供 CPU・メモリ・ネットワー ク・ストレージなどのリ リ リ リ ソース ソース ソース ソースを提供 PaaS Platform as a Service 中 中 中 中 • アプリケーション開発を行 うための基盤であるため、 仕様変更等は比較的反 映し易い 高 高 高 高 • アプリケーションを動作 させるインフラであるた め、サービスの要求ス ペックにあわせて自由に 変更が可能 ユーザはハードを意識せずに アプリケーションを開発可能 開発環境 開発ツール IaaS Infrastructure as a Service ユーザはハードを意識せずに リソースを利用可能 仮想サーバ ミドルウェア メモリ CPU メモリ CPU リソース 本日の話題はこのあたりをカバー
7. クラウドのサービス形態 パブリッククラウド コミュニティクラウド プライベート クラウド プライベート クラウド オンプレミスのプライベートクラ ウドと外部パブリッククラウドを 組み合わせた 「ハイブリッド・クラウド」へ 7 Copyright © 2013 NTT DATA Corporation 7 •一般共有 （例 ECサイト） •汎用性が求められるため、個別の要 求仕様には適合しにくい プライベートクラウド コミュニティクラウド パブリッククラウド •特定組織間で共有 （例 共同センター） •コミュニティが定めた範囲内でユーザの 要求仕様に適合可能 •単一機関内で利用 （例 社内ポータル） •個別機関毎に構築するため、細かな 要求仕様にも適合可能 特徴
8. ところで「オンプレミス」なのか？ ノーチラス・テクノロジーズ 2013/04/09付報道発表 http://www.nautilus-technologies.com/topics/20130409.html 西鉄ストアさんの本部基幹システムをパブリッククラウド（AWS）のみで構築 画面数 約600、処理量 約3000バッチ、データ20億件/日 開発期間 ２年、開発工数 600-700人月 ノーチラス・テクノロジーズ 神林さんの 2013/04/14付ブログ http://d.hatena.ne.jp/okachimachiorz/20130414/1365914031 「オンプレミス・システムの終わり」の始まり 8 Copyright © 2013 NTT DATA Corporation 「オンプレミス・システムの終わり」の始まり ～AWSでのミッションクリティカルシステムの稼働 ブログ末尾より引用 最後に実際に弊社某エースの作業中の独り言だけ書いておきます。「 「 「 「これは・・・ これは・・・ これは・・・ これは・・・一筋縄 一筋縄 一筋縄 一筋縄ではいかない ではいかない ではいかない ではいかない わ わ わ わ（ （ （ （汗 汗 汗 汗」 」 」 」だそうでございます。いろいろありましたよ。そんな簡単じゃないですよ。まじめに。まぁとはいえ、 できているという現実は直視すべきでしょう。
9. ところで「オンプレミス」なのか？ TechTarget 「OSSクラウド基盤 OpenStackの全て【前編】」より抜粋 http://techtarget.itmedia.co.jp/tt/news/1012/22/news01.html 「 「 「 「プライベートクラウドを持つ（オンプレミスで設備を所有する）ことの意義は、…（中略）… … … …インフ ラ運用ノウハウの担保、つまり現場力の維持も意義になるだろう。日本の産業界を支えてきた 最大の要因は現場力の強さであったことを思い起こしてほしい。」 」 」 」 ≒＞インフラはサービス（現場）の根幹 9 Copyright © 2013 NTT DATA Corporation 「インフラエンジニアがOpenStackを学ぶべきたった一つの理由」より （OSC.Cloud 2012 by 日本OpenStackユーザ会会長 中島さん） http://www.slideshare.net/irix_jp/osc2012-15658447 「OpenStackは一粒で８度おいしい」 ≒＞（レイヤを問わず）エンジニア自身の価値向上 パブリッククラウドでも パブリッククラウドでも パブリッククラウドでも パブリッククラウドでも、 、 、 、オンプレミスでも オンプレミスでも オンプレミスでも オンプレミスでも、 、 、 、プライベート プライベート プライベート プライベート クラウドでも クラウドでも クラウドでも クラウドでも、 、 、 、幅広 幅広 幅広 幅広く く く く理解 理解 理解 理解して して して して使 使 使 使うべしということ うべしということ うべしということ うべしということ
10. ０２ OpenStack プロジェクトの全体像 Copyright © 2013 NTT DATA Corporation 10
11. OpenStackとは IaaS レイヤからPaaS レイヤの下部までをカバーするクラウド基盤OSS 11 Copyright © 2013 NTT DATA Corporation http://www.openstack.org/software/ より引用
12. OpenStackの特徴 1 フルオープンソース 2 リッチな機能セット（≒豊富な周辺エコシステム） 3 確固とした開発・ユーザコミュニティの運営体制 12 Copyright © 2013 NTT DATA Corporation 4 主要ディストリビューションに標準搭載 ５ 豊富なユーザー事例
13. OpenStack コアコンポーネントの概要図 Compute (Nova) Object Storage (Swift) Network (Quantum) Dashboard (Horizon) 13 Copyright © 2013 NTT DATA Corporation http://ken.pepple.info/openstack/2012/09/25/openstack-folsom-architecture/ Identity --AuthN/AuthZ (Keystone) VM Image (Glance) Block Storage (Cinder)
14. OpenStack の機能範囲 コアプロジェクト OpenStack Compute - Nova AWS の EC2/VPCに相当 スケーラビリティ強化 大規模対応強化 OpenStack Image Service - Glance AWS の EC2 の一部に相当 OpenStack Network Service - Quantum AWS の EC2 の一部に相当 Grizzly で Load Balancer 機能をサポート Grizzly で多数のSDNコントローラプラグインが追加 14 Copyright © 2013 NTT DATA Corporation Grizzly で多数のSDNコントローラプラグインが追加 OpenStack Volume Service - Cinder AWS の EBS に相当 Grizzly で多数のストレージ装置ドライバが追加 OpenStack Object Storage - Swift AWS の S3 に相当 Grizzly で地理的分散対応 OpenStack Identity Service – Keystone 認証/認可サービス OpenStack Dashboard – Horizon AWS の Mgmt. Console に相当 Quantumの機能強化追従（ネットワークトポロジーのグラフィックパネルを含む） NovaのLiveMigration対応 1
15. OpenStack の機能範囲 周辺プロジェクト Monitoring and Billing - Ceilometer AWS では CloudWatch に相当 Orchestration - Heat AWS では CloudFormation に相当 Hadoop as a Service - Savanna AWS では EMR に相当 S3の代わりに Swift インテグレーションも進行中 DNS as a Service - Moniker AWS では Route53 に相当 RDBMS as a Service - Reddwarf AWS では RDS に相当 LB as a Service - Libra/Atlas AWS では ELB に相当 15 Copyright © 2013 NTT DATA Corporation LB as a Service - Libra/Atlas AWS では ELB に相当 Grizzly では Quantum 内蔵の LBaaS 機能が追加された Grizzlyの新機能の詳細については以下を参照 https://wiki.openstack.org/wiki/ReleaseNotes/Grizzly 1
16. OpenStack Foundation OpenStack Community を運営する、ベンダ中立な非営利団体 強いコミットメントを伴うメンバーシップ Technical Committee / Board of Directors / User Committee で構成 16 Copyright © 2013 NTT DATA Corporation AT&T HP IBM Nebura RackSpace Redhat SUSE Ubuntu NEC Cisco DELL Intel NetApp VMware YAHOO! … and others
17. OpenStack プロジェクトの歴史 2011年9月の Diable(4th)リリー ス以降、順調に半年ごとにリリー スされている （タイムベースのリリースポリシー） Havana Release NASA Press Release: Nova Rackspace Press Release : Swift 05/09/‘10 イマココ 17 Copyright © 2013 NTT DATA Corporation 07/19/’10 10/21/’10 Austin Release Bexar Release Cactus Release 02/03/’11 04/15/’11 発表 Diablo Release 09/22/’11 Essex Release 04/05/’12 3.5 か月 2 か月 5 か月 Folsom Release 09/27/’12 04/04/’13 6 か月 6 か月 Grizzly Release イマココ 6 か月
18. ユーザ事例 （パブリッククラウドサービス） HP HPのパブリッククラウドサービス 5/10/’11時点で1000 Nodes, PBs Storage、Ubuntu ベース Rackspace RackSpace社のパブリッククラウドサービス (Virtual Network, Virtual Block Storage Services (5/1/’11~) GMOインターネット お名前.com VPSサービスを OpenStack で構築・運用 18 Copyright © 2013 NTT DATA Corporation Korea Telecom Swift を用いた商用オブジェクトストレージサービス SoftLayer Swift ベースのグローバルCDNサービス（等）
19. ユーザ事例 （商用/内部サービスのホスト） Mercado Libre 南米本拠の e-Bay パートナ e-Commerce on Top of OpenStack (1000Nodes, 58M Users, Peak 50K Reqs./s） PayPal vCloud から OpenStack にサービス基盤を移行 http://www.openstack.org/user-stories/paypal/agility-with-stability/ Sina 中国版Twitter(Weibo)を運営する会社 自社サービスのＡＰ基盤をOpenStack上で運用 19 Copyright © 2013 NTT DATA Corporation WebEX (Cisco) WebEx のシステムをOpenStack上に収容 Sina 自社サービスのＡＰ基盤をOpenStack上で運用 SCE America 社内ゲーム開発環境をOpenStack上で運用 （AWSから移行） サイバーエージェント Ameba の基盤を VMwareベースから置き換え
20. ユーザ事例 （テレコム系、学術系） DeutscheTelecom SMB向けのビジネスマーケットプレースの基盤を OpenStackで構築 NECTOR オーストラリアのHPC学術クラウド基盤 国立情報学研究所 教育クラウドの基盤で OpenStack を利用 （ベアメタルプロビジョニング機能等を独自開発） 20 Copyright © 2013 NTT DATA Corporation CERN EUの高エネルギー研究施設のクラウド基盤 (48 Nodes, 1PB) OpenStackのユーザー事例は、OpenStack本家の以下のページから参照できます。 http://www.openstack.org/user-stories/
21. OpenStack ベースのディストリビューション/ソリューション RedHat http://www.redhat.com/products/cloud-computing/openstack/ Canonical http://www.ubuntu.com/cloud SuSE https://www.suse.com/products/suse-cloud/ 21 Copyright © 2013 NTT DATA Corporation PistonCloud http://www.pistoncloud.com/openstack-cloud-software/ RackSpace RackSpace Private Cloud Edition http://www.rackspace.com/cloud/private/ Cisco http://www.cisco.com/web/solutions/openstack/index.html NTTデータ フルオープン仮想化基盤構築サービス http://oss.openstack.co.jp/openstack/
22. 国内コミュニティの動向 • 日本OpenStackユーザ会 • OpenCloudCampus(http://opencloud.jp/)の中核として： • 各種イベントやML等を通して情報発信 • ドキュメントの翻訳 • 海外コミュニティとの連携 等を行っています。 22 Copyright © 2013 NTT DATA Corporation • HP http://openstack.jp/ • ML http://groups.google.com/group/openstack-ja • 最近の活動 ： OpenStack Days Toky 2013 @ 秋葉原 • http://openstackdays.com/ • 事前登録1000名超、ユニーク来場者 650名！
23. ０３ Ｈｏｗ Ｉｔ Ｗｏｒｋｓ？ Copyright © 2013 NTT DATA Corporation 23
24. Compute Node Compute Node Compute Node Compute Node Novaのアーキテクチャ(Diablo リリースくらいまで） 仮想マシンの作成、削除、 監視等の管理 Scheduler Node Scheduler Node リソーススケジューラ Compute Node Compute Node OpenStack API (/AWS API) REST • モジュラーなコンポーネント群がRPCメッセージを介して協調動作する構造。 • 外部I/Fは REST API DBMS DBMS DBアクセス 24 Copyright © 2013 NTT DATA Corporation RPC / AMQP RPC / AMQP API Server API Server 仮想マシンに不揮発性の ブロックストレージを提供 Network Node Network Node Glance Glance 仮想マシンへの static NAT/DHCPを 提供 仮想マシンイメージの 管理 ユーザからの要求受付 Volume Node Volume Node Swift Swift REST REST イメージデータの実体を保持 RPC
25. Novaのアーキテクチャ （現在はこうなっています） RPC (/AMQP) RPC (/AMQP) nova-api nova-api nova- scheduler nova- scheduler OpenStack API (/AWS API) • モジュラーなコンポーネント群が REST/RPC メッセージを介して通信、協調動作する構造。 Cinder Cinder DBMS DBMS DBアクセス RPC 25 Copyright © 2013 NTT DATA Corporation nova-compute nova-compute nova-compute nova-compute nova-compute nova-compute Swift Swift REST KeyStone KeyStone nova-conductor nova-conductor Glance Glance Quantum Quantum 注１：各コンポーネントから出 る「認可」のためのメッセージ は省略しています。 注２：Nova以外はサブコン ポーネントをまとめています。 大量のnova-compute か らのDBアクセスを集約 REST RPC
26. Account Server Account Server Swiftのアーキテクチャ Container の一覧を保持 認証サーバ (Keystone) 認証サーバ (Keystone) Account Server Account Server Container Container • 外部I/Fを含めてすべてのコンポーネントが REST API で通信、協調動作する構造。 認証 認可 26 Copyright © 2013 NTT DATA Corporation Object Server Object Server Object Server Object Server Object Server Object Server Container Server Container Server Proxy Server Proxy Server Object の一覧を保持 Object のデータを保持 利用者とストレージノード の間でリクエストを中継す る クライアント swift コマンドのほか、 CyberDug や CloudBerry 等（curl等操作可能） REST Proxy Server Proxy Server Container Server Container Server Object Server Object Server ストレージノード 注１：ここに挙げたのは主要サ ブコンポーネントのみで、 replicator 等は省略しています。
27. n-api n-scheduler n-compute q-server q-agent run_instance schedule_run_instance create ｎova コマンド等 Novaの動作：VM起動時のシーケンス抜粋（例: Quantum OVSの場合） Quantum呼び出しは L2 NW一覧取得や、 portの作成等さまざま 27 Copyright © 2013 NTT DATA Corporation allocate_for_instance ovs-vsctl 呼び出し （port 作成等） 凡例 RPC REST API 注意 ・DBアクセスは省略しています。 ・RPCはMQサーバを経由します。 この後、必要に応じて Glance からイメージ取得、 libvirt へVM作成要求等
28. システム構成例 インターネット ／イントラネット Cinder Zone #1 外部ネットワーク エンドユーザPC iptables Nova + Glance +Quantum(ovs plugin) + Cinder + Swift(イメージのみ) の標準的な 構成 (ただし、Keystone/DB/MQは省略) クラウドコントローラ 28 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Compute Quantum Agent VM Nova Scheduler Quantum Server ovs ovs dnsmasq/ovs
29. 仮想マシンの起動シーケンス（1） ： APIサーバで受付 インターネット ／イントラネット Cinder Zone #1 外部ネットワーク エンドユーザPC ① 起動要求 iptables 29 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Compute Quantum Agent VM Nova Scheduler Quantum Server ovs ovs dnsmasq/ovs
30. 仮想マシンの起動シーケンス（２） ： スケジューラで資源選択 インターネット ／イントラネット Cinder Zone #1 外部ネットワーク エンドユーザPC ユーザの要求とCompute Nodeの混 み具合を照らし合わせて、VMを実行 するべきホストを選択 iptables 30 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Scheduler Quantum Server Nova Compute Quantum Agent VM ② VM作成 指示 ovs ovs dnsmasq/ovs
31. 仮想マシンの起動シーケンス（３） ： compute へVM作成指示 インターネット ／イントラネット Cinder 物理マシンプール#1 外部ネットワーク エンドユーザPC iptables 31 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Compute Quantum Agent VM VM Nova Scheduler Quantum Server ③VM起動処理 要求 ovs ovs dnsmasq/ovs
32. 仮想マシンの起動シーケンス（４） ： 内部L2NW作成処理 インターネット ／イントラネット Cinder Zone #1 外部ネットワーク エンドユーザPC テナントに対応した VLAN や GREトンネル、 内部用IP(FIXED_IP)を割り当てる 各テナントごとに tap と内部用IP (FIXED_IP)空間の gateway を設定 DHCPサーバを設定（・起動） ⑤ tap作成 iptables 32 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Scheduler Quantum Server Nova Compute Quantum Agent VM ④ NW割当要求 ⑤ tap作成 dnsmasq 起動 ⑤’ tap作成 ovs ovs dnsmasq/ovs
33. 仮想マシンの起動シーケンス（５） ： compute上でのVM作成処理 インターネット ／イントラネット Cinder 物理マシンプール#1 外部ネットワーク エンドユーザPC iptables ステップ(3)で作成される tap をVMの 仮想NICに bridge 接続してVM生成。 ebtables を利用し、L2でフィルタが設 定される 内部NW側の private address はDHCP で割り当てられる。 33 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Compute Quantum Agent VM VM Nova Scheduler Quantum Server ⑥ VM テンプ レートダウンロード ⑦ VM生成 ovs ovs dnsmasq/ovs
34. 仮想マシンの起動シーケンス（６） ： 外部通信用設定 インターネット ／イントラネット Cinder 物理マシンプール#1 外部ネットワーク エンドユーザPC ⑧ 外部用 Floating IP割り 当て要求 外部通信用の global IP address は iptables で SNAT/DNAT設定さ れる iptables 別オペレーション 34 Copyright © 2013 NTT DATA Corporation Quantum Agent (L2/L3) Nova-api EBS EBS EBS EBSボリューム ボリューム ボリューム ボリューム Glance/ Swift Cinder Volume (iSCSI等) VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Compute Quantum Agent VM VM Scheduler Node Quantum Server ⑨ NAT設定 要求 ovs ovs dnsmasq/ovs
35. OpenStack が利用するホストOS側の機能 OpenStack はホストOSのごく基本的な機能を（ただし、幅広く） 使って動いています 仮想NW(VLAN/tunnel)切り出し → vconfig、ip、ovs-vsctl 仮想NWへ仮想NICの接続 → brctl、libvirt API VMへのアドレス割り当て → dnsmasq NATの設定 → ip, iptables 35 Copyright © 2013 NTT DATA Corporation F/Wルールの適用 → iptables 内部NWフィルタの設定 → ebtables、libvirt API VMの起動・停止制御 → libvirt API ボリュームの制御 → iSCSI系コマンド VMへのボリューム接続 → libvirt API ボリュームのスナップショット実現 → lvm2 系コマンド etc.
36. 他のIaaS構築ソフトとの比較 CloudStack 機能範囲 Compute サービスのみ Swift や RiakCS、Gluster 等、周辺エコシステムは拡充中 メリット Citrix社の製品（例：NetScaler、XenServer等）との親和性が高い 海外だけでなく、国内での適用事例も豊富。 36 Copyright © 2013 NTT DATA Corporation 構造 コントローラはモノリシックな構造。実装言語は Java Eucalyptus 機能範囲 Compute サービスのみ メリット Amazon Web Service(AWS)との公式な互換性がある 構造 コントローラはモノリシックな構造。実装言語は Java + C
37. OpenStack NW構成例：VLAN/GREベースで隔離する場合 インターネット ／イントラネット Zone #1 外部ネットワーク エンドユーザPC iptables Amazon EC2型＋αのネットワーク モデルを実現 物理Network Nodeが外部トラ フィックを集約 (*1) クラウドコントローラ API, Scheduler, RabbitMQ, RDBMS 37 Copyright © 2013 NTT DATA Corporation Quantum agent (L2/L3) クラウド コントローラ (*1) Glance/ Swift VM VM VM VM Image Image Image Image Nova Compute Quantum Agent VM VM … 内部ネットワーク(VLAN/GRE等） 管理・ストレージ用ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) Nova Compute Quantum Agent VM VM dnsmasq ovs ovs
38. CloudStack NW構成例：Advanceｄ Network モードの場合 インターネット ／イントラネット Zone/Pod 外部ネットワーク エンドユーザPC 仮想ルータ向け トラフィックが流れる DNATベースのネットワークモデル テナントごとに仮想ルータVMが作成され、 内部NW経由でVMの通信を中継する。 38 Copyright © 2013 NTT DATA Corporation Mgmt. Server. NFS /iSCSI VM VM VM VM Image Image Image Image Compute VM … 管理・ストレージ用ネットワーク 管理・ストレージ用ネットワーク DB Compute VM Compute 仮想 ルータ Compute 仮想 ルータ vnic0 vnic1 内部ネットワーク VM vnic0 vnic1 SS VM CP VM
39. OpenStack NW構成例：Flatモデル + multi_host オプションの場合 インターネット ／イントラネット zone1#1 外部ネットワーク エンドユーザPC (*1) クラウドコントローラ API, Scheduler, RabbitMQ, RDBMS etc. RackSpace型のネットワークモデルを実現 Gatewayはホスト単位に存在するので、ボ トルネックにならない ただし、アイソレーションはできない。 39 Copyright © 2013 NTT DATA Corporation Glance/ Swift VM VM VM VM Image Image Image Image … 管理・ストレージ用ネットワーク 管理・ストレージ用ネットワーク DB (MySQL) nova- compute VM VM dnsmasq iptables nova-network nova- compute VM VM dnsmasq iptables nova-network クラウド コントローラ (*1)
40. ０４ Ｔｏｗａｒｄ Ｐｒｏｄｕｃｔｉｏｎ Ｓｙｓｔｅｍｓ Copyright © 2013 NTT DATA Corporation 40
41. OpenStack Operations Guide (OpenStack 運用ガイド） コミュニティ有志による、設計～構築～運用にまつわるベストプラクティ ス・ノウハウの集大成（トラブル事例もあります ☺ ） http://docs.openstack.org/ops/ 現在、日本OpenStackユーザー会(JOSUG)の有志で翻訳中 http://dream.daynight.jp/openstack/openstack-ops/content/ ↑翻訳中のスナップショット 41 Copyright © 2013 NTT DATA Corporation CloudStack 等、他の 実装にも通じる部分 が多いです。
42. システム設計上のポイント 原則 一般的なWebサービスの高可用化・サイジング設計とほとんど変わりません 出発点 サービスの仕様を決定する 提供する仮想ＮＷのモデル → アイソレーションが必要か？ どの程度のユーザ/仮想マシン/ストレージをホストするのか？ 42 Copyright © 2013 NTT DATA Corporation どの程度のユーザ/仮想マシン/ストレージをホストするのか？ etc.
43. システム設計上のポイント Operations Guide で紹介されている Example Architecture Quantum を使わず、nova-network で multi_host 構成。 アイソレーションと、全体ス ループット/外部GWの高可用 化のトレードオフ 43 Copyright © 2013 NTT DATA Corporation →仕様も構造もシンプルにする ユーザ数/ＶＭ数に比例するブロック ストレージ、VMディスクイメージの保 持ノードを分離 →スケールアウトしやすい構成 コントローラは通常のＨＡ化機構 で冗長化 実際の需要/負荷に応じて、DB、 MQ、glance等から分離 →監視の設計も重要
44. システム設計上のポイント 悩ましいところ Block Storage (Cinder)の実体に何を使うか？ 箱モノは信頼性はあるが高価。Ceph RBD や Sheepdog 等は面倒を見 切られるかどうか、見極めが難しい。 etc. 44 Copyright © 2013 NTT DATA Corporation
45. Demo 45 Copyright © 2013 NTT DATA Corporation Demo
46. モデルケース • OpenStack では、SDNコントローラ等の周辺部品との組合わ せにより、非常に多彩な仮想システムモデルを実現できます。 • 本日お見せするデモシステムの構成は以下の通りです • Amazon EC2型＋αの仮想NWモデル • 全体が global firewall の内側にあり、ＶＭには private addressが割 46 Copyright © 2013 NTT DATA Corporation 4 • 全体が global firewall の内側にあり、ＶＭには private addressが割 り当てられる。 • 外部通信は、NAT経由で行う。 →外部からのアイソレーション • 他のユーザのパケットは見えない。 →テナント間のアイソレーション • テナントあたり、複数の孤立仮想L2ネットワークを定義できる（＋α） • VMあたり、複数の仮想NICを接続できる（＋α）
47. Vyatta Public Network 172.28.0.0/24 EXT1 Cloud ext-z1 zone1 eth2 eth0 eth1 172.28.0.11/24 172.28.0.12/24 172.28.1.11/24 172.28.2.1/24 172.28.1.1/24 eth2 eth3 FLOATING (as next-hop) 172.28.11.0/24 172.28.12.0/26 HOST (on KVM) VM L2 NW (as a bridge) Quantum NW デモ環境システム構成図 インターネット 開場発表者PC 47 Copyright © 2013 NTT DATA Corporation Management (10.10.1.x) Cloud Controller n-cpu n-cpu INT1 vm1-1 vm2-1 VR-z1 net-t1-2 net-t1 eth0 eth0 eth1 eth1 net-t2-1 vm1-2 eth0 nova-compute以外、 Horizon, Glance, Cinder, Quantum L2/L3 agent を含めてすべてここで動 作 作業用 サーバ
48. モデルケース • OpenStack では、SDNコントローラ等の周辺部品との組合わせに より、非常に多彩な仮想システムモデルを実現できます。 • 本日お見せするデモシステムの構成は以下の通りです • Amazon EC2型＋αの仮想NWモデル • 全体が global firewall の内側にあり、ＶＭには private addressが 48 Copyright © 2013 NTT DATA Corporation 4 • 全体が global firewall の内側にあり、ＶＭには private addressが 割り当てられる。 • 外部通信は、NAT経由で行う。 →外部からのアイソレーション • 他のユーザのパケットは見えない。 →テナント間のアイソレーション • テナントあたり、複数の孤立仮想ネットワークを定義できる（＋α） • VMあたり、複数の仮想NICを接続できる（＋α）
49. OpenStack Dashboard (Horizon)画面サンプル 仮想L2面や仮 想ルータの動 日本の OpenStackユー ザ会で翻訳しま した 49 Copyright © 2013 NTT DATA Corporation 想ルータの動 的な追加・削 除もできます。
50. NTTデータのOpenStackソリューション 2012年10月10日開催 「ITpro EXPO 2012」優秀賞受賞！ 50 Copyright © 2013 NTT DATA Corporation 「ITpro EXPO 2012」に出展されたすべての製品/サービスの中から、製品/サービスとして優れていると同時に、来場者に 対して分かりやすくインパクトのある展示を行ったものに与えられる賞です。
51. クラウド構築における悩ましい障壁 1 各種設計や高可用性確保 3 設定や利用方法の不明点の解消 2 サーバやストレージの選定 51 Copyright © 2013 NTT DATA Corporation 4 カスタマイズ 5 サービスイン後の運用に関する配慮 クラウド = 相応規模のITシステムは、SIerにお任せください
52. フルオープン仮想化基盤構築ソリューションとは NTTデータではコンサルから運用までワンストップでサポートします リソースの増減に応じてサーバ電 源を制御し、冗長なノードの電源を アイドリングストップ 最小限の投資で素早くサービ スを開始し、需要に応じて拡 リーンスタートアップ コンピュート （nova） コンサル 構築 運用 52 Copyright © 2013 NTT DATA Corporation モニタリング＆マネージメント （Hinemos＋α） ディザスタリカバリ 落としエコな運用 災害などでデータセンターが 停止した場合でも、他のデー タセンターでサービスを継続 張可能 コンピューティングリソース、大規模 ストレージ、ネットワークを統合的に 運用・管理 統合マネージメント ストレージ （swift） ネットワーク （OpenFlow）
53. 小規模からリーン・スタートアップ ～お試しから徐々に増設 Before 需要予測 → サーバ購入 → 予想ハズレ → After 最低限購入 → Full キャパ → 増設 → 53 Copyright © 2013 NTT DATA Corporation リーン(無駄のない)システム その時々に応じた最も安いサーバーを選択 A社 A社 B社 B社 B社 A社 B社 B社 B社 C社 C社 C社 C社 C社 C社 C社 C社 増設 増設 増設 増設
54. エコ・クラウドの実現にアイドリング・ストップ ～ランニングコストを最低限に 走行中はエンジン全開でも 停止中はエンジンも停止 54 Copyright © 2013 NTT DATA Corporation ★ ★ ★ 休閉期には自動で電源OFF! 繁忙期には自動で電源ＯＮ！ stop stop 電源ON 電源OFF
55. エコ・クラウドの実現にアイドリング・ストップ ～ランニングコストを最低限に Compute Node Compute Node Compute Node Compute Node OpenFlow OpenFlow ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ 繁忙期 閑散期 Compute Node OpenFlow OpenFlow ＶＭ Compute Node OpenFlow OpenFlow ＶＭ 成長期 電源OFFの機器 電源ONの機器 55 Copyright © 2013 NTT DATA Corporation Compute Node Compute Node Compute Node Compute Node Compute Node ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ Compute Node Compute Node Compute Node Compute Node OpenFlow OpenFlow ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ Compute Node Compute Node Compute Node Compute Node ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ ＶＭ 電力最小化 ＶＭ ＶＭ デフラグ機能で VM・NWを寄せ る アイドリングス トップで不要な ノードを停止
56. 大規模クラウドに必須な OpenFlow ～VLAN上限もNTTデータ独自OpenFlow技術で突破！ テナントごとにNWを区画するのにVLANの上限が問題 新規格”Openflow”を使うことにより改善可能 同一テナント 56 Copyright © 2013 NTT DATA Corporation パケットフロー指定 テナント
57. NTTデータ独自 ”Virtual Network Controller” 1 物理NWの上に自由に論理NWを構築可能 2 マルチテナントで利用される仮想NWを一元制御可能なGUI 57 Copyright © 2013 NTT DATA Corporation
58. まとめ：成功のポイントとは 1 サービスの仕様自体を、可能な限りシンプルに保つ 2 サービスの構造を、可能な限りシンプルに保つ 3 理解して使い、可能な限り自分で責任を持つ 58 Copyright © 2013 NTT DATA Corporation 4 信頼できるパートナーを選ぶ NTTデータでは、OpenStackによるクラウド基盤のコンサルから 運用までをカバーしたワンストップサービスを提供しています
59. 59 Copyright © 2013 NTT DATA Corporation ご清聴、どうもありがとうございました
60. Copyright © 2011 NTT DATA Corporation Copyright © 2013 NTT DATA Corporation
61. Q&A 61 Copyright © 2013 NTT DATA Corporation Q&A