機械学習で異常や障害予兆を検出

by Koji Ishida

Slide 1

Slide 1 text

機械学習で異常や障害予兆を検出 2016/12/12 Acroquest Technology Co., Ltd. 石田浩司

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

現場のエンジニアが語る機械学習による異常検知の実際 2016/12/12 Acroquest Technology Co., Ltd. 石田浩司

Slide 8

Slide 8 text

Slide 9

Slide 9 text

自己紹介 • 石田浩司（@kojiisd） ‒ Acroquest Technology Co., Ltd. ‒ IoTプラットフォーム開発エンジニア ‒ 2012/10～2015/10 ミャンマー支社赴任 ‒ JavaOne 2015 スピーカー ‒ JAWS-UG 横浜支部 ‒ AWS re:Invent 2016 自費組（初参加） Copyright © Acroquest Technology Co., Ltd. All rights reserved. 9 12/19 Kubernetes Advent Calendar書きます最近お気に入りのAWSサービス：CloudFormation

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

TBM CBM 人による検査１）人口減少→数的な問題・限界２）コストがかさむ３）見逃しなぜ異常検知が必要か？ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 13 設備保全 TBM:Time Based Maintenance CBM:Condition Based Maintenance 実際 IoT（システム）を使ってこれらの問題を解決したいまずはPoCからスタート IoTにおける異常検知の手法例

Slide 14

Slide 14 text

IoT＋異常検知の手法 1. 閾値判定 ① 既存でもよく利用される手法。簡単だが、「閾値に達しないがおかしい場合」の検知ができない ② 閾値で検知→検知した時には異常が「発生」してしまっている ③ 既存の手法のみで上記を解決しようとすると作り込みが必要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 14 PoCでは期間に制限が有り、達成困難 2. 機械学習 ① 時系列データからデータのパターンを学習 ② 異常なパターンを検知するようにする But… 顧客が持つイメージと実際の乖離

Slide 15

Slide 15 text

機械学習による異常検知は最終的に達成したい「ゴール」 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 15 エンジニアが持つ進め方のイメージ顧客が持つ進め方のイメージギャップデータ収集仮説検証フィードバック手法検討異常検知適用データ収集異常検知適用フィードバック何度も繰り返す何度も繰り返す何回か繰り返す機械学習適用機械学習適用

Slide 16

Slide 16 text

現場の声：まず何が必要か、検討したい 1. 実際に測定してみないとわからないことが多い ① 機械学習も解決「手法」の一つ。何が必要かをまずは整理したい。 – 教師有の機械学習であればなおさら、正解の定義やモデルの定義など、時間をかけて検討する必要がある。 2. 仮説→検証の繰り返しで適用の仕方を検討 ① ある程度の期間が必要 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 16 いきなり機械学習・異常検知ではなくまず準備・検討したい

Slide 17

Slide 17 text

仮説→検証を繰り返したい Copyright © Acroquest Technology Co., Ltd. All rights reserved. 17 エンジニアが持つ進め方のイメージ顧客が持つ進め方のイメージデータ収集仮説検証フィードバック手法検討異常検知適用データ収集異常検知適用フィードバック何度も繰り返す何度も繰り返す何回か繰り返す機械学習適用機械学習適用いきなりの適用は避けたいそんなに期間取れないよ？

Slide 18

Slide 18 text

Slide 19

Slide 19 text

仮説→検証を繰り返したい Copyright © Acroquest Technology Co., Ltd. All rights reserved. 19 エンジニアが持つ進め方のイメージ顧客が持つ進め方のイメージデータ収集仮説検証フィードバック手法検討異常検知適用データ収集異常検知適用フィードバック何度も繰り返す何度も繰り返す何回か繰り返す機械学習適用機械学習適用いきなりの適用は不可期間的に不可「PoCで開始」をよく言われてしまう現場でどのように進めたら良いか？

Slide 20

Slide 20 text

一旦初心に返る 1. 達成したいゴールは何か？ ① 発生している異常の「検知」、「予兆」 ② 「機械学習による異常検知」はあくまで手法 2. どのようなアプローチで解決できるか？ ① データの確保 – モノによっては異常データが存在しない。日本製のモノは丈夫。壊れないので異常データが取れない。インフラならなおさら。 ② 傾向分析 ③ 傾向に合わせた異常検知手法の検討 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 20 顧客も巻き込んで一緒に解決する

Slide 21

Slide 21 text

Case：製造工場ラインの突然停止を防げ（事件編） 1. 顧客からの要望 ① とある製造工場のラインが突然停止する日々 ② 原因不明。一部のラインの停止で全体に影響 ③ 異常状態の予兆検知をしたい 2. プロジェクト開始時の状況 ① 取得しているデータ – 正常（と思われる期間の）データ半日分 – 突然停止が発生した前後数時間分 ② センサは「とりあえず」４ヶ所つけた。計測に適した場所かどうかは顧客もわからない ③ PoCで開始。期間はとりあえず「1ヶ月」 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 21

Slide 22

Slide 22 text

Case：製造工場ラインの突然停止を防げ（解決編） 1. データの傾向分析 ① 異常状態と正常状態で傾向に差があり – 単位時間あたりのスパイクの数 – スパイク発生時のセンサが示した絶対値 2. 異常状態検知の手法の検討 ① 外れ値検知と複合イベント処理（CEP）で処理可能 3. これらをリアルタイムにデータを取得している処理に適用 Copyright © Acroquest Technology Co., Ltd. All rights reserved. 22 ここまで顧客がイメージしていた『機械学習』はなし

Slide 23

Slide 23 text

実際の流れ Copyright © Acroquest Technology Co., Ltd. All rights reserved. 23 1. データ受領後から顧客へのフィードバック速度に注力 ① PoC期間ではフィードバックの繰り返しと手法検討まで、と顧客とも合意した ② フィードバックのループは１週間単位で実施。フィードバック後の動きにも時間的余裕ができる 2. 何度も「仮説〜フィードバック」を繰り返すことで、顧客も自分たちも問題に対する理解が深まる。エンジニアが持つ進め方のイメージデータ収集仮説検証フィードバック手法検討異常検知適用何度も繰り返す何度も繰り返す機械学習適用

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

まとめ 1. 顧客とエンジニアが持っている異常検知プロセスの意識合わせが必要 ① プロジェクト開始時に齟齬を埋める 2. 最小限のリソースで高速にフィードバックループを回し、本当に現場に必要なソリューションを見出す ① フィードバックループを得られる「最小限のリソース」が鍵 3. 顧客とエンジニアが一体となってビジネスを成長させる意識が重要 ① 一緒にビジネスを進める姿勢に顧客も最初から巻き込む Copyright © Acroquest Technology Co., Ltd. All rights reserved. 28