NII SecureCeph & BareMetal Cloud

日本OpenStackユーザ会 第53回勉強会 LT - 当日のスライド＋おまけ

Transcript

1. National Institute of Informatics Secure Ceph: Not Just Locked by Identity, but Also Isolated by VLAN Network Overview: Tenant Isolation in Storage Area Network Ceph is a widely used, multi-tenant, high-throughut, distributed storage system. It provides logical isolation through identity-based authentication and authorization. However, all client and server nodes still share a single public Storage Area Network. To achieve defense-in-depth, we developed Secure Ceph, which locks down RADOS connections by partitioning the Layer-3 public network among tenants using VLANs. Each tenant’s clients are confined to a dedicated VLAN, whereas servers asymmetrically aggregate and flatten multiple VLANs into a single unified Layer-3 space—without exposing tenants to each other. We term this asymmetric design L3 lockdown. This network-level isolation also strengthens authentication by validating requests against their VLAN origin. Secure Ceph thereby enables confidentiality-sensitive workloads in one’s own isolated storage pool. https://SecureCeph.Github.io/
2. National Institute of Informatics VLAN First Architecture - 仮想プラットフォーム 処理ノード群 論理ボリューム＠RADOS 蓄積ノード群 SANネットワークもVLANで分離 処理ノードは同じVLANに所属する論理ボリュームにのみアクセス可能 クレデンシャルとVLAN所属の2要素でアクセス制御 仮想プラットフォーム ユーザに対して、仮想的に分離された資源 （ネットワーク、サーバ、ストレージ空間）を構成
3. National Institute of Informatics 一般的な Ceph ストレージ 〜 SANはテナント間で共有 分散配置された論理ストレージ領域 論理ストレージ領域 毎の認証 テナントA テナントB クレデンシャルが漏れた場合 他テナントの論理ストレージに アクセス可能 利用者ノード群 ストレージノード群 論理ストレージ領域を利用するにはクレデンシャルが必用 (Cephが権限管理） SAN
4. National Institute of Informatics SecureCeph 〜 SAN に L2 を被せて分離 テナントA テナントB 分散配置された論理ストレージ領域 VLANによる 経路識別 Storage Area Network を テナント毎にVLAN分離 (NII独自実装） 他テナントの経路経て論理ストレージ領域へ到達することはない 論理ストレージ領域 毎の認証 論理ストレージ領域を利用するにはクレデンシャルが必用 (Cephが権限管理） 利用者ノード群 ストレージノード群
5. National Institute of Informatics Ceph Cluster Configuration
6. National Institute of Informatics OSD Internals
7. National Institute of Informatics 閑話
8. National Institute of Informatics NII研究クラウド Academic Baremetal Cloud 利用 研究室セグメント 教員の 研究室セグメント 直結 Jupyterで 研究用クラスタ 構築支援 所内研究者 研究用プログラム 物理マシンプール iSCSI volumes 研究者 Jupyterで 自動構築 運用管理 研究環境 構築者 運用手順 ノウハウの 共有・再利用 クラウド 構築・運用者 ベアメタルを そのまま貸出 構築手順 VLAN First
9. National Institute of Informatics NII クラウドの特徴 • VLAN First Infrastructure << 本日の御題 • Full OSS: OpenStack BareMetal + OpenFlow • Symetric Physical SILO • LC4RI - Literate Computing for Reproducible Infrastructure • 運用体制:「周到な楽観主義」
10. National Institute of Informatics Open Flow based access control on Management Network Serv 1 Serv 2 Serv 4 Management Network on a subnet Serv 3 Bare-Metal Servers Cntrol Serv 1 Control Serv 2 Client Server 相互 は flow 制御により疎通しない Control Server からはすべての client Server に疎通する • 管理サーバから Bare-Metalとして払い出すサーバへアクセスすることはできるが、 払い出されたサーバ間の接続は不可（flow 制御によりパケットが届かない、詐称攻撃不可） • 個別に許可することは可能 Symmetric Phys SILO
11. National Institute of Informatics 開発・改造規模感 4 2 3 1 ❖ OpenStack の改造規模は、制御ロジック周りはさほど大きくない << Ussuri ではベースの機能拡充・リファクタリングが進んだので改造規模が以前より減少 1. …/niibmc-horizon/compare/stable/ussuri..niibmc-ussuri 2. …/niibmc-nova/compare/stable/ussuri..niibmc-ussuri 3. …/niibmc-neutron-vlan-type-driver 4. …/niibmc-ironic-ui/compare/stable/ussuri..niibmc-ussuri ❖ 大きいのは、OpenStack用の Software Defined Network + ML2 driver SDN コントローラ 〜30K Step; 〜170 files; 〜80 APIs ML2 driver 〜 1.5K Step - テナント毎のVLANをプロビジョニングする機能 - 制御系ネットワークをテナント毎に隔離するための OpenFlow 制御機能 .. mdx用語の所謂「強い分離」を実現 - サポート対象スイッチ: OpenFlow系 2機種、L2スイッチ 3機種 << 導入案件・開発時期に合わせて随時追加している Full OSS Ussuriの頃は平和だった、、最近は 手がかかる... • OpenStack SDK 周り • Test Code • パッチの Cherry Pick • Horizon !!
12. National Institute of Informatics VLAN first infrastructure まず VLAN ありき テナント毎にインフラを配備するVLANをネットワーク上に生成する. . • 所内LAN(研究室セグメント), SINET L2VPN を想定 VLAN上に ベアメタル・サーバ群を配備する.. VLAN上にストレージサービスの終端ノードを配備する.. (Ceph, S3, NFS, Hadoop) 責任分解点の分離: データプレーンとコントロールプレーンの分離 • DP内＝ VLAN内 の権限管理は tenant/project 管理者 • DP間＝ VLAN間 の権限管理は SINET .. ないし インフラ管理者 VLAN First
13. National Institute of Informatics LC4RI • 情報システムの構築・運 用手法 Literate Computing for Reproducible Infrastructure（再構築可能なイ ンフラのための文芸的コンピューティン グ）の略記。 • JupyterNotebookを中心的 なツールに採用し、機械的に再現できる、人が 読み解ける手順 を手段として、過度な自動化への依存を防いだり、チーム内 でのノウハウ の移転を促進するなど、レジリエント（しなやかな強さ）な人 間中心の機械化 をめざしています。 • そこでは、作業を効率化しつつもブラックボックス化せず、作業に対する理 解をチーム内でコミュニケーションできる、また、目的と手段の整合性や限 界を理解し議論・評価できると言った場を維持することで、ノウハウの移 転・共有を促し運用者のスキル向上とエンジニアリングチームの再生産をは かることを重視しています。 https://literate-computing.github.io/ LC4RI
14. National Institute of Informatics 日常の作業記録・証跡 と それらの再利用のために… セルの実行 コード化された作業内容 設計情報、運用状態、判断などを 文章で記述 以前の実行結果を 参照できる（お手本） 実行結果を お手本と比較 ノートブックの複製を渡して作業依頼 スキルトランスファーとして機能 GUI操作などコード化しずらい操作は 文章として記述して手作業をする 作業にあたって作業日時を 接頭辞に付したノートブックを作成 ノートブックを介し作業を行う 作業後に残ったノートブックが そのまま証跡となる 直近の類似の作業を行った ノートブックを複製して、経験を再利用 内容を継続的に見直して、作業改善 LC4RI
15. National Institute of Informatics