Hi, Cortana - Speaker Deck

Hi, Cortana

by yasulib

Slide 1

Slide 1 text

Hi, Cortana すみだセキュリティ勉強会 2018/04/30 yasulib 1

Slide 2

Slide 2 text

内容について •Cortanaとは •Cortanaが保存するデータ •Cortanaが送るデータ 2

Slide 3

Slide 3 text

Cortanaとは 3

Slide 4

Slide 4 text

Cortanaとは •Windows10に搭載されたデジタルエージェント • AIアシスタント 4 https://support.microsoft.com/ja-jp/help/17214/windows-10-what-is

Slide 5

Slide 5 text

今日話す内容 •Cortanaの保存するデータや通信に着目 • 正直、通信についてはよくわからない点も多いです •あんまり使い込めていないのでCortanaの便利さはまだよくわかっていません •Windows10を対象とさせてください • 他のOSでも動くようです • Windows 10 Mobile, Windows Phone8.1などなど 5

Slide 6

Slide 6 text

Cortanaとは •Windows10に搭載されたデジタルエージェント 6 入力方法は2種類・文字で入力・声で入力「コルタナさん、…」

Slide 7

Slide 7 text

類似製品 •Siri(Apple) •Amazon Echo •Google Home 7 https://store.google.com/jp/product/google_home https://www.amazon.co.jp/dp/B071LMG8BQ

Slide 8

Slide 8 text

Googleで検索すると 8

Slide 9

Slide 9 text

Googleで検索すると 9

Slide 10

Slide 10 text

コルタナさんに聞いてみた 10

Slide 11

Slide 11 text

コルタナさんに聞いてみた 11

Slide 12

Slide 12 text

カイル君って誰？ 12 http://waral.club/wp-content/uploads/2016/08/netsns_0046-1.jpg

Slide 13

Slide 13 text

コルタナさんに聞いてみた 13

Slide 14

Slide 14 text

面白かった・気になったもの 14 0÷0 は定義されていません

Slide 15

Slide 15 text

Cortanaが保存するデータ 15

Slide 16

Slide 16 text

フォルダパス C:¥Users¥¥AppData ¥Local¥Packages¥Microsoft.Windows.Cortana_XXXXX 16

Slide 17

Slide 17 text

2つのデータベースファイル IndexedDB.edb ¥AppData¥Indexed DB¥IndexedDB.edb CoratanaCoreDb.dat ¥LocalState¥ESEDatabase_CortanaCoreInstance¥CoratanaCoreDb.dat 17

Slide 18

Slide 18 text

IndexedDB.edb 18 fileコマンドで調べてみる

Slide 19

Slide 19 text

IndexedDB.edb •拡張子edbとは •edb : ESE DataBase •ESE : Extensible Storage Engine • edbはWindowsの至るところで使われている • IE, Edge • Windows Index Search • SRUM • Windows Update • Exchange • Active Directory • etc…(Cortana含む) 19

Slide 20

Slide 20 text

JET Blue 少し脱線して •JET : Joint Engine Technology • ESEの呼び名として使われることがある • ESE関係のAPIの名前は Jet* •JETには2種類ある（互換性はない） • JET Blue : ESE • JET Red : Microsoft Office Access 20 https://msdn.microsoft.com/EN-US/library/gg294078(v=exchg.10).aspx

Slide 21

Slide 21 text

ツール 21 • esentutl(Windows標準) • ESEDatabaseView • Libesedb • その他

Slide 22

Slide 22 text

Cortanaが保存するデータ 22 いくつか興味深いものをピックアップ •位置情報 •住所による通知 •リマインダ

Slide 23

Slide 23 text

位置情報 23

Slide 24

Slide 24 text

位置情報 24 Latitude(緯度) Longitude(経度) 35.68 139.76 少しずれてるので多分、丸の内あたり

Slide 25

Slide 25 text

住所による通知 25

Slide 26

Slide 26 text

リマインダ 26

Slide 27

Slide 27 text

Cortanaが送るデータ 27

Slide 28

Slide 28 text

Cortanaが送るデータ 28 基本、投影のみのためスライド削除

Slide 29

Slide 29 text

Cortanaが送るデータ次は音声入力について 29

Slide 30

Slide 30 text

音声入力音声入力時には音声をWebSocketで送っているように見える 30 GET https://websockets.platform.bing.com/ws/cu/v3 HTTP/1.1 (snip) Set-Cookie: CUCookie=AAAAABAAAAB6(snip); domain=bing.com; GET https://www.bing.com/speech_render? speech=1&input=2&form=WNSBOX&cc=JP&setlang=ja HTTP/1.1 Cookie: CUCookie=AAAAABAAAAB6(snip); HTTP/1.1 101 Switching Protocols （マイクで受けた音声の送信）「明日の天気」 HTTP/1.1 200 OK (snip) 明日の天気 - Bing

Slide 31

Slide 31 text

音声入力 WebSocketの通信 31

Slide 32

Slide 32 text

音声入力 WebSocketの通信 32 基本、投影のみのためスライド削除

Slide 33

Slide 33 text

音声入力 WebSocketの通信 33 明日明日の明日の手明日の天明日の天気音声データ音声データ音声データ音声データ

Slide 34

Slide 34 text

まとめ 34

Slide 35

Slide 35 text

まとめ •人によって取得されるデータの許容範囲は異なる •個人的に一番気になったのは音声データ • 意図しない音が入ってしまうかも • コルタナさんが聞く状態になるまではwebsocketで送られない（ように見える） • コルタナさんの音声認識の起動トリガ • 「コルタナさん」って話かける • Windows+Cを押す • コルタナさんの入力欄の右にあるマイクアイコンを押す • リスクを把握した上での使用が大事 • どういったリスクがあるかはより調べる必要がありそう 35

Slide 36

Slide 36 text

まとめもしご存知なら情報いただきたいです •音声を外部に送信するマルウェア •盗聴探知機に引っかからない盗聴器ソフトウェアの動作から悪意の有無を判断するのは難しいと思う 36

Slide 37

Slide 37 text

Thank you for your time :) 37