brands may be claimed as the property of others. Any statements or representations around future events are subject to change. OpenStack 環境で利用される ハイパフォーマンスストレージの紹介 オープンソースカンファレンス 2016 Tokyo/Spring 2016/02/26 DataDirect Networks Japan, Inc. 塩入ヶ谷 寛 Hiroshi Shioirigatani
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 自己紹介 ► DataDirect Networks Japan • 塩入ヶ谷 寛 (しおいりがたに ひろし） o プリセルースエンジニア ► 主な担当 • 製造・自動車 CAE • 通信事業 Big Data • クラウド事業 • 仮想化・OpenStack 2
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. Agenda ► DDN とは ► DDN 製品ポートフォリオ ► DDN GRIDScaler について • GPFS とは • GPFS の基本構成 ► OpenStack 環境での GPFS の利用 • メリット • Storage Pool • Replica ► Performance • GPFS Local Read Only Cache vs DDN SFX 3
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. DDN について 5 顧客： 1,100以上、50カ国 大規模環境における ビッグデータ・ライフサイクルマネージメントの課題を解決します 数々の受賞歴 従業員： 650名以上、20カ国 ビジネスモデル： パートナービジネス・一部ダイレクト 歴史： 1998年設立 本社： 米国カリフォルニア サンタクララ 製造拠点： 米国カリフォルニア チャッツワース
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. DDN Japan 6 代表者 代表取締役社長：ロベルト・トリンドル 取締役：Alex Bouzari （DDN米国本社CEO) 取締役：Paul Bloch （DDN米国本社ボードメンバー) 社員 30 名以上 事業内容 DDN ストレージ・ソリューションの販売, DDN ストレージ・ソリューションの設計, 構築、保守 国内代理店 SCSK, CTCSP, 日本 SGI, 朋栄、加賀ソルネット、, 伊藤忠ケーブルシステム、HPC ソリューションズ OEM販売 SONY, 日本 SGI、クレイ・ジャパン・インク、日本 IBM、日本 HP
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. GPFS with DDN SFA12KX パフォーマンス 8 38 Pool 53 Pool 76 Pool Write (GB/s) 26.57 32.31 34.11 Read (GB/s) 28.80 35.61 39.17 26.57 32.31 34.11 28.80 35.61 39.17 0.00 5.00 10.00 15.00 20.00 25.00 30.00 35.00 40.00 45.00 GB/sec
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 高密度エンクロージャ DDN SS84xx 10 SS8460 Internals Completely Fault Tolerant IO Module A 42 x Dual-Port HDDs/SSDs 42 x Dual-Port HDDs/SSDs IO Module B Multipath Controller I/O 16 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 4 x SAS 6Gb 42 x SAS 6Gb 42 x SAS 6Gb 42 x SAS 6Gb 42 x SAS 6Gb
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. DDN ストレージ HPC 業界での実績 11 80% of the Top 10 67% of the Top 100 32% of the Top 500
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. ペタスケール Lustre® ストレージ Up to 100,000 Clients Open Source Leading metadata & small file performance EXAScaler™ DDN 製品 ポートフォリオ 13 コア ストレージ プラットフォーム 48GB/s, 1.7M IOPS 1,680 Drives in 2 Racks Embedded Computing 12.5GB/s, 450K IOPS 60 Drives in 4U 396 Drives in 20U SFA™12KX SFA™7700X SFA14K 60GB/s, 6M IOPS 72 Drives in 4U 2.5in 1680 Drives in 2 Racks エンタープライズ スケールアウト GPFS ファイルストレージ Up to ~16,000 Clients Integrated Object Storage, Tape NFS & CIFS & Swift & HDFS Snapshots, Replication GRIDScaler™ / GS7K* SFA Software SSD Cache SFX™ Intelligent Cache Management ReACT™ Full Data Protection Direct Protect™ ストレージエンクロージャ 4 U 84 Drives 6 Gbps SAS SS8460 4 U 84 Drives 12 Gbps SAS SS8412 柔軟なドライブ構成 1 つのディスクエンクロージャに混在可能 SAS SSD , NVMe NL-SAS Virtualization Environment VMware Cinder Swift Glance Manila NFS FC
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 通常のストレージ 14 Cache Link Write I/O Cache Battery-Backed L2 Cache Battery-Backed L2 Cache
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. DDN SFA ReACT 15 IOサイズに応じ、シーケンシャルデータはキャッシュを介さず直接ディスクに書き込み、小さなランダムデータは キャッシュに書き込まれます。その結果、ライトキャッシュを有効利用する事でシステム全体の書き込みの最適化 を実現します。 Aligned I/O シーケンシャルデータ(フルストライプ)はキャッシュを利用せず、ディスクに直接ストライプ書込され、 キャッシュリンクを利用せずオーバヘッドを軽減する Unaligned I/O ランダムデータはキャッシュに書き込み、ランダムWrite I/O性能の低下を防ぐ High-Speed Cache Link Full Stripe Small Write I/O Cache Battery-Backed SFA L2 Cache Battery-Backed SFA L2 Cache
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 16 DDN GRIDScaler について GPFS (IBM Spectrum Scale)
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. LAN LAN DDN | Parallel Client Architecture NFS Client Traditional or Scale-Out NAS DDN Parallel LAN Client DDN Intelligent File Storage Systems ü ü ü ü
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. GPFS 基本構成 19 NSD Server 1 NSD Server 2 ・・・・ NSD Server N Protocol Node NFS Protocol Node CIFS Protocol Node Swift GPFS Client GPFS Client GPFS Client ・・・・ Protocol Client Protocol Client Protocol Client ・・・・ ・・・・ LROC GPFS File System NSD NSD NSD LROC NFS CIFS Swift NSD: Network Shared Disk Ethernet Infiniband FC or IB LROC: Local Read-Only Cache Ethernet IPoIB HDFS Client GUI Node WOS Core Tape Library TSM Bridge Migration Cinder Glance Object Storage
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 20 OpenStack 環境における GPFS
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. GPFS GUI 23 ► カスタマイズ可能な ダッシュボード
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. GPFS Storage Pool 26 SSD NL-SAS SSD SSD NL-SAS NL-SAS NL-SAS NL-SAS NL-SAS GPFS File System System Storage Pool NL-SAS Storage Pool /gpfs glance cinder ・ ・ ・ さまざまなポリシーに基づき データをマイグレーション スタブ [gpfs_ssd] gpfs_storage_pool = system [gpfs_nl-sas] gpfs_storage_pool = NL-SAS Volume Type Fast Normal Metadata Volume-xxxxxxx Cinder.conf
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. GPFS Replica 28 GPFS File System Failure Group 100 Failure Group 200 Replica # cinder create --metadata fstype=ext4 fslabel=newfs dio=yes replicas=1 --display-name vol01 50 # cinder create --metadata fstype=ext4 fslabel=newfs dio=yes replicas=2 --display-name vol02 50 vol01 vol02 Replica NSD Server SFA7700X
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 遠隔クラスタ環境におけるデータマネージ GPFS AFM ► AFM （Active File Management） • キャッシング機能を利用した、データ共有機能 o GPFS マルチクラスタ環境 o 他社 NFS v3 環境 （一部制限あり） • シングルネームスペースの提供 • Home と Cache o Home – データソース となる GPFSファイルシステム および NFS Exports o Cache – Fileset 単位で作成する、Home と紐づき、4 つの Caching Mode を持つ – Read Only – Single Writer – Independent Writer – Local Update 29 GPFS Server GPFS Server GPFS Gateway GPFS Gateway LAN WAN GPFS Server GPFS Server A 社 NAS B 社 NAS GPFS Gateway GPFS Gateway GPFS Clients GPFS Clients /gpfs /A_NAS /B_NAS /Osaka /A /Osaka /B NFS NFS GPFS Home Site Cache Site /Home
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. Read Only Mode Use Case: 配信ソリューション ► Home Site • Ingest, Encoding, Editing, Rendering 等の処理を実施 • 大容量で高いパフォーマンスを提供 • それぞれの配信用フォルダに配信コンテンツを保存する と、配信サイトでコンテンツが確認できるようになる 30 GPFS Server GPFS Server GPFS Gateway GPFS Gateway Editing Ingest GPFS Gateway GPFS Gateway GPFS Gateway GPFS Gateway GPFS Gateway GPFS Gateway WAN 配信1 配信3 配信2 Encoding 配信1 配信2 配信3 SFA7700X-IB 1 x SS8460 184 x 4 TB NL-SAS 10 x 800 GB SSD 500 TiB SFA7700X-FC 22 x 800 GB SSD SFA7700X-FC 22 x 800 GB SSD 10 TiB 10 TiB 500 TiB Read Cache Read Cache Read Cache Home Site 7 GB/sec 4 GB/sec 4 GB/sec 4 GB/sec SFA7700X-IB 1 x SS8460 184 x 4 TB NL-SAS Cache Site ► Cache Site （配信サイト） • 配信用コンテンツを Read-Only キャッシュを利用し、ホット コンテンツのみがキャッシュ o Fileset Soft Quota を超えると、自動的にキャッシュのクリー ニングが実施される （Cache Eviction ON/OFF） o もっとも古いデータから削除される • キャッシュに存在しないデータは、最初の読み込み時に Home からオンデマンドで読み出される o 手動でプリフェッチさせることも可能 Evict ： ON Evict ： ON Evict ： OFF
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. Single Writer Mode Use Case：中央バックアップ ► Home Site • Home Site の データは、Read Only となる (オレンジ) o 別領域で通常の Read-Write 可能な領域を配置可能 (ブルー) • 各サイトから集めたデータを集中バックアップ 31 GPFS Server GPFS Server GPFS Gateway GPFS Gateway SFA7700X-IB 1 x SS8460 184 x 4 TB NL-SAS 10 x 800 GB SSD 500 TiB Home Site 100 TiB #1 Read Write OK Tape Library Tape Backup Data Copy #2 #3 /data WAN GPFS Gateway GPFS Gateway GPFS SFA7700X-FC 52 x 600 GB SAS Evict ： ON Read Write Cache #1 4 GB/sec GPFS Gateway GPFS Gateway GPFS Gateway GPFS Gateway 10 TiB 20 TiB 342 TiB SFA7700X-IB 22 x 800 GB SSD Evict ： ON SFA7700X-FC 60 x 8TB NL-SAS Evict ： OFF 4 GB/sec 8 GB/sec NFS CIFS Read Write Cache #2 Read Write Cache #3 Cache Site ► Cache Site • SSD や SAS を使用した使用した少量で高いパフォーマンスを提供する • Cache に書込んだデータは、非同期でブロック単位で、Home Site へ転送さ れる • Soft Quota 機能で自動的に使用していないデータを削除 o ホットデータのみ Cache に配置される • キャッシュに存在しないデータは、最初に読み込み時に Home Siteから読み だされる
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. 102-0081 東京都千代田区四番町6-2 東急番町ビル 8F TEL:03-3261-9101 FAX：03-3261-9140 company/datadirect-networks @ddn_limitless [email protected] Thank You! Keep in touch with us
brands may be claimed as the property of others. Any statements or representations around future events are subject to change. GPFS Cinder Driver Functions Function Y/N Comments Create Volume OK Delete Volume OK Attach Volume OK Detach Volume OK Extend Volume OK Create Snapshot OK Delete Snapshot OK List Snapshots OK Create Volume from Snapshot OK Create Volume from Image OK Create Volume from Volume (Clone) OK Create Image from Volume OK Volume Migration (host assisted) OK
ddnj
shimacos
rayuron
chanyou0311
bitkey
naoki_0531
sansantech
champ
shin1x1
matthewlujp
qt_luigi
nullpo_head
shotashiratori
marcduiker
stephaniewalter
cassininazir
holman
keavy
bryan
andyhume
zakiyama
lemiorhan
mza
bkeepers
kevinliebholz
