Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
Search
GridDB
November 10, 2011
Technology
0
72
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
「東芝ソリューションフェア2011 (2011年11月10日講演資料) 」
「情報爆発時代」を勝ち抜くためのIT基盤技術とは?膨大な情報から最適解を 「SmartEDA®」
GridDB
November 10, 2011
Tweet
Share
More Decks by GridDB
See All by GridDB
東芝が開発したオープンソースのIoT向けデータベースGridDB - 最新の強化ポイントについて -
griddb
0
24
ペタバイトデータをSQLでリアルタイム分析し、品質を向上させたユーザ事例~現場の苦労を紹介~
griddb
0
41
2024年時系列データベースの最新動向と最適な選択基準
griddb
0
150
社会を支えるデータ処理基盤技術を目指すGridDB®ならびにPGSpider®
griddb
0
59
【技術報告】東芝の時系列データ処理基盤技術(GridDB)ならびにデータ仮想化エンジン(PGSpider)
griddb
0
130
ビッグデータ・IoTシステム向け高速スケールアウト型データベース GridDB - 従来のデータベースでは不可能だったビッグデータのリアルタイム分析が可能に -
griddb
0
36
ペタバイト級の時系列データを低レイテンシー&高スループットで処理する GridDB
griddb
0
8
素早く!!かつ簡単に!! GridDB Cloudで時系列データをリアルタイムに活用するIoTシステムを構築してみよう!!
griddb
0
15
本当にペタバイトまでスケールアウトできる!!IoT向けデータベースGridDBのコア技術と事例紹介
griddb
0
5
Other Decks in Technology
See All in Technology
型チェック 速度改善 奮闘記⌛
tocomi
1
110
TypeScriptの次なる大進化なるか!? 条件型を返り値とする関数の型推論
uhyo
2
1.8k
iOS/Androidで同じUI体験をネ イティブで作成する際に気をつ けたい落とし穴
fumiyasac0921
1
110
SSMRunbook作成の勘所_20241120
koichiotomo
3
170
AWS Lambda のトラブルシュートをしていて思うこと
kazzpapa3
2
200
10XにおけるData Contractの導入について: Data Contract事例共有会
10xinc
7
700
アジャイルでの品質の進化 Agile in Motion vol.1/20241118 Hiroyuki Sato
shift_evolve
0
190
Oracle Cloud Infrastructureデータベース・クラウド:各バージョンのサポート期間
oracle4engineer
PRO
29
13k
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
3.9k
心が動くエンジニアリング ── 私が夢中になる理由
16bitidol
0
110
RubyのWebアプリケーションを50倍速くする方法 / How to Make a Ruby Web Application 50 Times Faster
hogelog
3
950
静的解析で実現した効率的なi18n対応の仕組みづくり
minako__ph
1
150
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
27
4.3k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
We Have a Design System, Now What?
morganepeng
50
7.2k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
16
2.1k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
430
Writing Fast Ruby
sferik
627
61k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Statistics for Hackers
jakevdp
796
220k
Rails Girls Zürich Keynote
gr2m
94
13k
Embracing the Ebb and Flow
colly
84
4.5k
Transcript
Copyright 2011 Toshiba Solutions Corporation 「情報爆発時代」 を勝ち抜くためのIT基盤技術とは? ~膨大な情報から最適解を引き出す 「SmartEDA®」 プラットフォームソリューション事業部
商品企画部 東芝ソリューション株式会社 栗田 雅芳
Copyright 2011 Toshiba Solutions Corporation 2 アジェンダ 1.情報爆発時代の到来 2.それを勝ち抜くためには? 3.そのため基盤技術とは?
4.デモ 5.大量データ高速イベント処理基盤 SmatEDA 6.適用例 7.まとめ
Copyright 2011 Toshiba Solutions Corporation 3 1.情報爆発時代の到来
Copyright 2011 Toshiba Solutions Corporation 4 情報爆発時代の到来 1975年 1990年 1995年
2000年 2005年 2010年 2015年 2020年 ~ ~ クラウド 2010~ Web 1995~2010 サーバ パソコン C/S 1980~1995 ミニコン ワークステーション ホスト 1965~1980 メインフレーム IC CARD 2020年 約35.2ゼッタ バイト 膨大な実世界データがリアルタイムに発生 2009年 約0.8ゼッタ バイト 2011年 約1.8ゼッタ バイト 2007年 約0.28 ゼッタバイト
Copyright 2011 Toshiba Solutions Corporation 5 ますます加速するスピード 株取引 数秒 →
数ms 天気予報 半日 → 5分間隔 (フォーキャスト) (ナウキャスト) 今(直近)の状況・変化を掴む 『きめ細かい』 『素早い』 データ活用の要求が増大 システム監視 検知から復旧まで 数時間 → 数分 在庫管理 発注まで 1週間/1日 → 数分 (リアルタイム発注)
Copyright 2011 Toshiba Solutions Corporation 6 2.それを勝ち抜くためには?
Copyright 2011 Toshiba Solutions Corporation 7 Sense Action Event Processing
情報爆発時代を勝ち抜くためには・・・ 直近の予 測 実世界のデータ いち早くチャンスやリスクをつかみビジネスや社会に新しい価値を創造する 『きめ細かい』 収集・分析 『素早い』 検知・判断 今の状況(変化や予兆)をいち早くつかみ、直近を予測し、瞬時に対処をおこなうこと 収集 検知 判断 分析
Copyright 2011 Toshiba Solutions Corporation 8 実世界データ 直近の予測で実現できる世界 直 近
の 予 測 Sense Event Processing Action 製造装置の リアルタイム監視 顧客動向の リアルタイム把握 リアルタイム 需要予測 飛躍的な製品の品質向上 レコメンデーションの最適化 顧客動向を把握・察知し、顧客の興味の ある商品をタイムリーに提示 (ショッピング、金融サービス) リアルタイム 渋滞監視・予測 広域道路上の数万台の車両の挙動、目 的地および道路状況を把握し、道路交 通の円滑化、CO2の削減を実現 渋滞しない道路 サプライチェーンの最適化 メーカー、卸、物流、小売をつなぐリアル タイムサプライチェーンを構築し、予測と 集束化による最適化を実現 さまざまなビジネスや社会に 新しい価値を創造 収集・分析 検知・判断 実現できる世界 製造ライン センサ RFID POSデータ SNS 行動ログ 道路センサ 車載機器 丸めていたセンサデータの全件処理する ことで最小単位での欠陥のリアルタイム 検出による不良品率のゼロの追求
Copyright 2011 Toshiba Solutions Corporation 9 3.そのための基盤技術とは?
Copyright 2011 Toshiba Solutions Corporation 10 デマンドドリブンからイベントドリブンへ BI レポーティング 監視ツール
意思決定支援 どんなときに 何をするべきか 処理要求 処理実行 処理結果 蓄積データ 蓄積データの可視化 •従来のコンピュータ処理の方式 (デマンドドリブン:人が判断して処理要求を発行する) 人の判断 処理実行系 •情報爆発時代のコンピュータ処理の方式 (イベントドリブン:出来事から処理すべきアクションを判断し自動実行) 蓄積量増大 レスポンス低下 意思決定スピード デマンド 人のインテリジェンスは、都度実行する処理の判断から、自動制御のためのルール作成に向けられる 蓄積データ 大量データ 相関分析、原因分析 データマイニング 収 集 イベント 意図がある要求 意図されない要求 処理要求 処理実行 処理結果 処理実行系 どんなときに 何をするべきか 処理実行系 イベントストリーム処理 イベント イベント イベント 複合イベント処理 検知ルール 判断ルール 検知・判断 ルール設定 分 析 収 集
Copyright 2011 Toshiba Solutions Corporation 11 イベントストリーム処理 (ESP:Event Stream Processing)
イベントストリーム(時系列データ) 現在 過去 データ 投入 プログラム ウィンドウ (データ範囲) イベントストリーム処理(現在から一定時間内のデータだけを高速に扱う処理) 指定した時間 (ウィンドウ) のデータだけをメモリに保持して処理 データが入ったとき、と、データが出たときに処理が起動される ウィンドウ内の、集計、統計、予測、パターンなどの検知が可能 5 5 8 4 4 5 3 3 1 10 6 6 7 3 5 5 8 3 1 10 6 3 平均5.33 7 偏差値0.59 5 5 8 3 1 10 6 3 7 3位 平均を0とした偏差値 ランキング データストリーム 現在 過去 データストリーム 現在 過去 集計・統計による検知 データ範囲 現在値 予測幅 変化率 (最小二乗法による一次近似) 予測値 時間 現在 未来 過去 予測による検知 5 5 8 4 4 5 3 3 1 10 6 6 7 3 5 8 5 3 1 10 6 7 3 時間内に データが 揃わなかったら 通知 データ 種類 指定範囲の データ データが揃ったら 都度通知 データストリーム 現在 過去 データストリーム 現在 過去 特定パターンの検知 データ範囲 時間 データ増減パターン (減・増・減・増) 通 知 通 知 変化パターンの検知 入った タイミング 出た タイミング
Copyright 2011 Toshiba Solutions Corporation 12 複合イベント処理 (CEP:Complex Event Processing)
外部情報 データベース SOAで他システムに連携 ユーザや監視員に通知 複合イベント処理 (イベントストリームで検知したイベントを複合的に判断) ルールベース イベントストリーム処理 イベント イベント イベント イベントA イベントB イベントC 時間軸 同時に発生 発生 発生 発生 発生 発生 発生 発生 発生 特定の順序で発生 特定の回数発生 デシジョンテーブル データグリッド デシジョンツリー 判断 イベントを受けたアプリケーションで処理 アクション
Copyright 2011 Toshiba Solutions Corporation 13 4.デモ
Copyright 2011 Toshiba Solutions Corporation 14 デモ: イベントストリーム処理(ESP)と複合イベント処理(CEP) イベントストリーム処理 複合イベント処理
指定時間範囲(ウィンドウ)のデータに対し、 平均、最大、最小、変化率、変化パターン、予測等の 演算を行い、特定の状態を検知する データソースごとに検知したイベントを、複数並列で 処理し、時間範囲の同時発生や変化パターンを検知 する。 デモ デモ
Copyright 2011 Toshiba Solutions Corporation 15 製造装置 イベントストリーム処理 保守システム 装置
圧力 時間 予測値 センサー 情報 イベントストリーム処理デモ ~ 製造装置の故障予兆の検知 ~ 圧力 センサー 通知 しきい値 現在値 イベントストリーム処理による監視 特定時間幅からリアルタイムに予測 値を算出し、予兆を監視 データベースには蓄積せず、センサ 情報を全件処理 従来の監視 単一指標によるしきい値監視 データベースに蓄積後に監視
Copyright 2011 Toshiba Solutions Corporation 16 複合イベント処理デモ ~ 工場全体の製造装置を監視 ~
イベントストリーム処理 イベントストリーム処理が個々の装置を監視 全体の装置を監視し、低レベルのアラートの中から 重要傷害予兆となる特定の組み合わせを判断 集中監視センター 通知 圧力 センサー 圧力 センサー 圧力 センサー 圧力 センサー 圧力 センサー 複合イベント処理 製造装置A 製造装置B 製造装置C 製造装置D 製造装置E アラートの量 ア ラ ー ト の 緊 急 度 ・ 重 要 度 重大 中程度 低レベル 上層部 監視エンジニア 保守要員 特定の組み合わせ 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値 装置 圧力 時間 予測値 しきい値 現在値
Copyright 2011 Toshiba Solutions Corporation 17 5.大量データ高速イベント処理基盤 SmartEDA
Copyright 2011 Toshiba Solutions Corporation 18 (1) センス(Sense) : 多種データソースからイベント情報を取得する
(2) イベント処理(EventProcessing) : イベントを収集・分析し、「特定の状況」を検知し、対処を判断する (3) アクション(Action) : 必要に応じた処理を実行あるいはサービスやプロセスと連携をおこなう ICカード センサー POS 業務端末 業務アプリケーション 業務 アプリケーション 生産システム Webサービス データベース メール通知 作業員通知 インターネット Event Driven Architecture (1) センス Sense (2)イベント処理 Event Processing (3) アクション Action 検知 判断 データ連携 アダプタ システム連携 SOA SmartEDAとは? イベントストリーム処理と複合イベント処理に対応した イベントドリブン型のアプリケーション基盤 収集 分析
Copyright 2011 Toshiba Solutions Corporation 19 分析ツール 住所変更 プラン変更 クレーム
通信 負荷 レスポンス CPU 使用量 待ち ジョブ数 システム情報 顧客情報 契約 利用状況 アプリ ログ 稼働率 工事 設備情報 売上 受注 見積 営業情報 故障 設備 メンテナンス リソース 増強 顧客対応 SmartEDA 1. さまざまなリアルタイムデータを 2. フレキシブルに組み合わせて 3. 特定の状態になったとき 4. アクションを実行します アクション リアルタイムビューワ SmartEDAの特長 収集力 分析力 適応力
Copyright 2011 Toshiba Solutions Corporation 20 SmartEDA上に手法と知見とサービスを展開 お客様 アルゴリズム トレード
装置情報 監視 EMS ヘルスケア センシング SmartEDA基盤 交通 証券 製造 装置 システム 医療 物流 エネルギー 専門的な 知見と情報 (コンテンツ) 大量データ 検知・判断 の基盤 分析手法 統計手法 画像認識 日本語処理 ・・・ 生産ライン 最適化 ・・・ サプライ チェーン 道路交通 監視制御 知見と情報を 活用した サービス データから知見 を得るための 手法と技術 SmartEDA 基盤部分 SmartEDA フレームワーク お客様や 事業者様と 創りあげる クラウドor オンプレミス でサービス
Copyright 2011 Toshiba Solutions Corporation 21 基盤製品、フレームワークおよび導入検討~構築~運用までの支援サービスを提供 設計支援 導入後 構築支援
導入検討フェーズ 構築フェーズ 運用フェーズ コンサルティング 上流設計支援 データ取得設計サービス ルール要件定義サービス POC検証サービス (プロトタイプ) 設計/構築支援 データ取得構築支援サービス ルール定義支援サービス システム連携支援構築サービス データ分析/BI連携支援サービス 基盤構築支援 インストールサービス チューニングサービス 製品教育サービス 性能評価サービス QAサービス 支 援 サ ー ビ ス SmartEDAフレームワーク 共通ソリューション システム監視ソリューション 業務見える化ソリューション 共通テンプレート 検知・判断テンプレート 方法論 設計・構築ガイドライン SmartEDAソリューションサービス 基 盤 製 品 フ レ ー ム ワ ー ク SmartEDA基盤製品
Copyright 2011 Toshiba Solutions Corporation 22 6.適応例
Copyright 2011 Toshiba Solutions Corporation 23 適用例:スマートコミュニティでの適用 ~社会の最適化 スマートコミュニティ スマートファシリティ
スマートグリッド 情報分析・可視化、ルール導出、プランニング 情報集約・統合 統 合 管 理 情 報 統 合 個 別 管 理 設 備 ・ 機 器 太陽光 蓄電 系統電力 BEMS HEMS FEMS 水道 交通 医療 SCiB SCiB 発生したばかりの情報のリアルタイム処理 電力需給の最適化 施設と都市のエネルギー管理 都市と暮らしの最適化 情報発生源 分散 大容量 データストア 最適化 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 センサ側 処理 SmartEDA/検知 (イベントストリーム処理) SmartEDA/判断 (複合イベント処理) SmartEDA/分析 SmartEDA/収集
Copyright 2011 Toshiba Solutions Corporation 24 スマートメータへの適用イメージ 大量データ イベントストリーム処理(ESP)/複合イベント処理(CEP) システム連携
分析→ルール メータデータ管理 フィールドサービスに連携 エネルギー管理に連携 スマートメータ
Copyright 2011 Toshiba Solutions Corporation 25 7.まとめ
Copyright 2011 Toshiba Solutions Corporation 26 まとめ これまで捨てていたデータ、活用していなかったデータ そこから有益な情報を引き出すことで 新たな価値が生まれます
SmartEDAはそれを実現する基盤です お客様のビジネスや社会の最適化をめざし、 いっしょに価値を創造させていただければと思います 情報爆発は、チャンスです
Copyright 2011 Toshiba Solutions Corporation 27 展示のご案内 (明日のカタチ コーナー) 情報の変化や予兆をリアルタイム検知・判断し、制御、通知、可視化します
変化に即応するスマート社会を実現 SmartEDA 秒間数千から数万件発生する多種多様なデータを処理 センサー、ICカードなど様々な情報ソースに対応し、装置や 施設の異常や、物流の停滞などの予兆を検知 システムやDBからビジネスイベントを取得 ソーシャルメディアなどのテキストデータから、当社独自の 日本語処理技術により有益な情報の取り込みが可能 ▪ 特 長 ▪ こんな活用方法があります EDA: Event Driven Architecture SmartEDAは、東芝ソリューション株式会社の登録商標です。 スマート社会における自然エネルギーの発電予測 システム障害の予兆検知 リアルタイムな需要予測によるサプライチェーン最適化 患者の動線把握による、待たされない病院の実現 証券売買の最適なタイミング判断 無駄なロットや待ちを撲滅。製造装置稼働率向上 ® 近似線 予測による検出 変化パターンの検出 相関関係の検出 外れ値の検出 <イベントストリーム処理> 故障 発送 棚卸 売上 入荷 修理 受注 在庫切れ 同時に発生 特定の順序で発生 センサ スマートメータ システム インターネット データベース RFID スマートフォン <複合イベント処理> 様々なイベントを複合的に判断 アクション センサイベント ビジネスイベント ソーシャルイベント 複合イベント処理 イベントストリーム処理 イベントストリーム処理 イベントストリーム処理 製造装置 売上 ニュース プラント 施設 物流 入退室 POS 在庫 品質 営業 口コミ 株価 Twitter 交通 DB DB DB テキ スト センサ センサ センサ RFID RFID •分析 •見える化 •KPI算出 予兆検知 自動制御 省エネ CO2削減 リスク 回避 コスト 削減 大量データ ぜひお立ち寄りください
Copyright 2011 Toshiba Solutions Corporation • SmartEDAは、東芝ソリューション株式会社の商標です。 • その他、本資料に記載されている社名及び商品名は、それぞれ各社が商標 または登録商標として使用している場合があります。
• 本内容は予告なく変更する場合があります。