IoT に最適なスケールアウト型 DB GridDB

「Microsoft ForesightのBreakout Session「ビッグデータ / IoT 時代に求められる情報処理基盤とは？」の資料」
IoT に最適なスケールアウト型 DB “GridDB”
2016年9月6日（火）～7日（水）

Transcript

3. プラットフォーム 多様な入力デバイス エッジ ソリューション アプリケーション “場” プロセッサー ＋ エージェントS/W 「機器売り」 ⇒ ライフサイクルマネジメント・サービス（LCM） クラウド基盤 アナリティクス エネルギー 社会インフラ ストレージ 東芝グループ 流通 金融 製造 インフラ 官公庁 外 販 セ キ ュ リ テ ィ エッジ コンピューティング Cisco Systems GE 開発手法・ プラットフォーム 2015年11月 2014年11月 セキュリティ intel 2015年9月 アジャイル開発 Pivotal 2014年6月 リアルタイム性を判断 お客様ベースを 持つ東芝の強み 分 析 ・ 利 活 用 協業パートナー 機器を持つ 東芝の強み デ ー タ 蓄 積 デ ー タ 収 集 音声・画像 認識技術 クラウドAIサービス TM 機械学習 半導体 組込みS/W Chip to Cloud リアルタイム処理 スケールアウト型DB PaaS／IaaS 2015年6月 Microsoft
4. • データ集計やサンプリング、期限解放、データ圧縮など、時系列データを 効率よく処理・管理するための機能を用意 • データモデルはユニークなキーコンテナ型。コンテナ内でのデータ一貫性を保証 IoT指向の データモデル • メモリを主、ストレージを従としたハイブリッド型インメモリーDB • メモリやディスクの排他処理や同期待ちを極力排除したオーバヘッドの少ない データ処理により高性能を実現 高性能 • データの少ない初期は少ないサーバで初期投資を抑え、データが増えるに したがってサーバを増やし性能・容量を高めるスケールアウト型アーキテクチャ • コンテナによりサーバ間通信を少なくし、高いスケーラビリティを実現 スケーラビリティ • データ複製をサーバ間で自動的に実行し、サーバに障害が発生しても、 システムを止めることなく運用を継続することが可能 高い信頼性と 可用性
5. キーバリュー型 カラム型 ドキュメント型 キーコンテナ型 キー バリュー コンテナ バリュー カラム1 カラム0 バリュー バリュー カラム2 キー キー ドキュメント バリュー ロウ1 ロウ0 バリュー バリュー ロウ2 バリュー バリュー バリュー キー GridDB のデータモデル
6. データ登録 機器2 機器3 ・ ・ ・ IoTデータ 機器１のレコード キー バリュー 機器1 対象ごとにIoTデータ を格納 テーブル表現で管理 機器N キー コンテナ  コンテナ単位でACID保証 (レコード単位でトランザクション操作)  使い慣れたRDBに近いモデリングとSQLの利用が可能  効率的な時系列データ処理の提供 ※ACID : Atomicity、Consistency、Isolation、Durability (データ集計、サンプリング、期限解放、データ圧縮など)
7. 0 100 200 300 400 500 600 A B C D F Throughput ( Kops/sec) YCSB Workloads 32 Node Cluster 読み書きが混在する処理パターンで 5倍以上高速  Azure上でYahoo Cloud Serving Benchmark （YCSB）を実行  GridDBは高速性を売りにする代表的KVSと比較しても、数倍高速
8. 0 2,000 4,000 6,000 8,000 10,000 12,000 14,000 0 10,000 20,000 30,000 40,000 50,000 60,000 70,000 80,000 90,000 Throughput (ops) Elapse Time (second) YCSB WorkLoad A 24時間 実行性能
9. ☑ フランス リヨン 太陽光発電 監視・診断システム 発電量の遠隔監視、発電パネルの性能劣化を診断 ☑ クラウドBEMS ビルに設置された各種メータの情報の収集、蓄積、分析 ☑ 石巻スマート コミュニティ プロジェクト 地域全体のエネルギーのメータ情報の収集、蓄積、分析 ☑ 電力会社 低圧託送業務システム スマートメータから収集される電力使用量を集計し、需要量と発電量のバランスを調整 ☑ 製造業 産業用機器稼働監視システム グローバルに販売した産業用機器をクラウドを利用して稼働監視
10. 電力小売り事業者に対し、電力送配電網を提供し、 契約ユーザの利用量に応じた料金を請求するシステム 電力の自由化に伴い、多数の電力小売り事業者が 参入し、契約数の増加（3,000契約→450万契 約）によるデータ量の爆発的増加へビッグデータ技術 を適用し対応 従来システムに比べ、1,500倍のデータを 2/3の時間で処理 ≒ 2,000倍の処理能力 入力データ 2.16億レコード (43.2GB) GridDB 処理時間=40分 出力データ 3072MB (XML) サーバー (12 コア) x 5 入力データ 14.4万レコード (28.8MB) RDB 処理時間=60分 出力データ 2MB (XML) サーバー (32コア) x 1 データ量 1,500倍 全体スループット 8KB/sec 全体スループット 18MB/sec 処理能力 2,250倍
11. GitHub上に ソースコード公開（2016/2/25） https://github.com/griddb
13. © Microsoft Corporation. All rights reserved. ご清聴有難うございました