Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
異常検知の最新事情と給与の話
Search
palloc
January 20, 2019
Technology
4
4.6k
異常検知の最新事情と給与の話
palloc
January 20, 2019
Tweet
Share
More Decks by palloc
See All by palloc
スタートアップでAIを使うときの壁
palloc
0
1.5k
Crypto講義資料
palloc
2
14k
Other Decks in Technology
See All in Technology
Bet "Bet AI" - Accelerating Our AI Journey #BetAIDay
layerx
PRO
4
1.7k
10年以上続くプロダクトで今取り組んでること、取り組もうとしていること
sansantech
PRO
2
110
Jamf Connect ZTNAとMDMで実現! 金融ベンチャーにおける「デバイストラスト」実例と軌跡 / Kyash Device Trust
rela1470
1
200
2時間で300+テーブルをデータ基盤に連携するためのAI活用 / FukuokaDataEngineer
sansan_randd
0
150
[OCI Technical Deep Dive] OracleのAI戦略(2025年8月5日開催)
oracle4engineer
PRO
1
170
Amazon S3 Vectorsは大規模ベクトル検索を低コスト化するサーバーレスなベクトルデータベースだ #jawsugsaga / S3 Vectors As A Serverless Vector Database
quiver
1
530
Infrastructure as Prompt実装記 〜Bedrock AgentCoreで作る自然言語インフラエージェント〜
yusukeshimizu
1
120
AIに目を奪われすぎて、周りの困っている人間が見えなくなっていませんか?
cap120
1
640
大規模イベントに向けた ABEMA アーキテクチャの遍歴 ~ Platform Strategy 詳細解説 ~
nagapad
0
230
Instant Apps Eulogy
cyrilmottier
1
110
LLM 機能を支える Langfuse / ClickHouse のサーバレス化
yuu26
9
2.2k
OPENLOGI Company Profile for engineer
hr01
1
38k
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
800
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Gamification - CAS2011
davidbonilla
81
5.4k
Practical Orchestrator
shlominoach
190
11k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Speed Design
sergeychernyshev
32
1.1k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Balancing Empowerment & Direction
lara
1
540
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
450
Designing for humans not robots
tammielis
253
25k
Transcript
Deepな異常検知の最新事情 伊東 道明
© 2018- ChillStack, Inc. 自己紹介 ◆ 所属 ◇ 法政大学 彌冨研究室
M1 ◇ クマ財団 2期生 ◇ (株)ChillStack 代表取締役 ◆ 好きなこと ◇ AIセキュリティ ◇ 100m
雑談
© 2018- ChillStack, Inc. 【雑談】経営者 vs エンジニア ◆ マウント合戦がアツく、何かと話題になる「年収」 ◆
エンジニアはよく薄給な会社と戦ってるイメージ イメージ) 年収400万しかもらってな いのおかしい!! 優秀なエンジニア 無能な経営陣 400万もあげれば十分だろ。 「ヤリガイ」を与えてるんだから!
© 2018- ChillStack, Inc. 【雑談】経営者視点での思考 初任給から年収5,000万円を定年退職までもらえたら、 エンジニアは最高効率で働いてくれる?
© 2018- ChillStack, Inc. 【雑談】労働の要因 ◆ 内発的動機づけ ◇ 達成感 ◇
仕事自体の楽しさ ◇ 自己の承認 ◆ 衛生要因 ◇ 給与 ◇ 職場の人間関係 ◇ 場所・機材などの環境 満足の原因 不満足の予防 詳細が気になる方は、以下のワードで検索してみてください ・デシ 心理学 実験 ・X理論 Y理論 ・ヴィクター ヴルーム 期待理論
© 2018- ChillStack, Inc. 【雑談】労働の要因 ◆ 内発的動機づけ ◇ 達成感 ◇
仕事自体の楽しさ ◇ 自己の承認 ◆ 衛生要因 ◇ 給与 ◇ 職場の人間関係 ◇ 場所・機材などの環境 満足の原因 不満足の予防 ブラックな上司や企業は大抵 片方しかみていない 詳細が気になる方は、以下のワードで検索してみてください ・デシ 心理学 実験 ・X理論 Y理論 ・ヴィクター ヴルーム 期待理論
って感じの内容を考えるのが 今の仕事の一つです
経営とか気になる方は是非懇親会で…
Deepな異常検知の最新事情 本題
© 2018- ChillStack, Inc. 異常検知手法 ◆ ホテリング法 ◆ ナイーブベイズ法 ◆
近傍法 ◆ OC-SVM ◆ 密度比推定 ◆ などなど k-meansとspectral clusteringを 使った異常検知の解説
© 2018- ChillStack, Inc. ディープな異常検知 ◆ CNN系を用いた2値分類による異常検知 ◇ 前回はこっち ◇
Web Application Firewall using Character-level Convolutional Neural Network ◆ GAN系を用いた異常検知 ◇ 今回はこっち
© 2018- ChillStack, Inc. GANとは ◆ 生成モデルの1種(Generative Adversarial Network) G
G(z) z x 潜在空間 観測空間 D 結果
© 2018- ChillStack, Inc. GANとは G G(z) z x 潜在空間
観測空間 D 結果 データを生成する種 (潜在変数) データ 生成器 生成データ 元データ 生成データ or 元データ か識別する識別器 GはDを騙せるように学習、 Dはちゃんと見分けられるように学習する
© 2018- ChillStack, Inc. GANの近年の成果 ◆ 人にサングラスをかけさせたり ◆ 馬をシマウマにしたり ◆
低画質な画像を超高画質にしたり ◆ めっちゃ高く売れる絵を描いちゃったり 他にも色々面白い成果を出している
© 2018- ChillStack, Inc. 【GANで異常検知】基本アイディア G G(z) z x 潜在空間
データ D 結 果 ◆ G は学習データの分布 p に従って画像を生成するモデル ◆ p に従ってサンプルしたx → G(z)≈x となる z が潜在空間に存在する ◆ p 内で低い確率 or 別の分布からサンプルしたx → 潜在空間に z が存在しない
© 2018- ChillStack, Inc. 【GANで異常検知】基本アイディア G G(z) z x 潜在空間
データ D 結 果 ◆ G(z)≈x となる z が存在しない時、x は異常 ◆ 存在しない is ? → G(z) と x がどれだけ離れているかを表す異常スコアが 閾値以上かどうかで判定
© 2018- ChillStack, Inc. AnoGAN ◆ GANで異常検知する手法 ◆ 基本的にさっきのアイディアを実用化した感じ ◆
Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery, IPMI 2017 ◆ https://arxiv.org/abs/1703.05921
© 2018- ChillStack, Inc. AnoGAN 1. 普通にGANを学習させる 2. 異常か知りたいデータ x
に一番似ている G(z) を作る z を探す 3. 異常スコアを LR と LD から計算する 4. 異常スコアが閾値を超えてたら異常 ※1 通称minmaxゲームってやつ ※1 ※2 ※2
© 2018- ChillStack, Inc. AnoGAN 1. 普通にGANを学習させる 2. 異常か知りたいデータ x
に一番似ている G(z) を作る z を探す 3. 異常スコアを LR と LD から計算する 4. 異常スコアが閾値を超えてたら異常 ※1 通称minmaxゲームってやつ ※1 ※2 ※2
© 2018- ChillStack, Inc. G(z) ≈ x となる z の探索
1. 初期値 z0 を決める 2. g(zn ) というモデル(論文内では確かfc)を作る 3. G(g(z0 )) と x の loss から g(zn ) の重みを更新 4. z1 ← g(z0 ) 5. 収束するまで 3, 4 を繰り返す G G(z) z x D 結 果 g
© 2018- ChillStack, Inc. G(z) ≈ x となる z の探索
1. 初期値 z0 を決める 2. g(zn ) というモデル(論文内では確かfc)を作る 3. G(g(z0 )) と x の loss から g(zn ) の重みを更新 4. z1 ← g(z0 ) 5. 収束するまで 3, 4 を繰り返す G G(z) z x D 結 果 g めっちゃ時間 かかる!
© 2018- ChillStack, Inc. Efficient GAN ◆ Bidirectional GAN のアイディアを利用し、
z の探索コストをほぼ無くした手法 ◆ Efficient GAN-Based Anomaly Detection ICLR worpshop 2018 ◆ https://arxiv.org/abs/1802.06222
© 2018- ChillStack, Inc. Efficient GAN ◆ 学習時に Encoder も一緒に学習する
G G(z) z x D 結果 E E(x) G(z), z x, E(x)
© 2018- ChillStack, Inc. Efficient GAN ◆ 潜在空間、観測空間それぞれで loss を計算
G G(z) z x D 結果 E E(x) G(z), z x, E(x)
© 2018- ChillStack, Inc. 何が嬉しいか ◆ Encoder を使う事で z を探索する必要がなくなる
◆ 速い G G(z) z x D 結果 E E(x) G(z), z x, E(x)
© 2018- ChillStack, Inc. 他にもいろいろ ◆ Adversarially Learned One-Class Classifier
for Novelty Detection ◇ オートエンコーダ使ったいい感じのやつ ◆ Anomaly Detection with Generative Adversarial Networks ◇ ADGANってやつ ◆ Anomaly detection with Wasserstein GAN ◇ WGAN使ってるやつ
© 2018- ChillStack, Inc. 株式会社ChillStack ◆ 異常検知プラットフォーム Stena を開発・提供 ◇
ゲームの悪質ユーザとかを検知 ◇ ログデータ解析からサービスの品質改良・自動化を支援 ◆ 不正ユーザに悩んでいる方 ◇ 低コスト高精度なシステムを提供します。ご相談ください! ◆ ログデータはあるが、有効活用するコストが割けない方 ◇ 有効活用できるシステムを共同研究・開発します。ご相談ください!