すみだセキュリティ勉強会2018その1 http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/
Hi, Cortanaすみだセキュリティ勉強会2018/04/30yasulib1
View Slide
内容について•Cortanaとは•Cortanaが保存するデータ•Cortanaが送るデータ2
Cortanaとは3
Cortanaとは•Windows10に搭載されたデジタルエージェント• AIアシスタント4https://support.microsoft.com/ja-jp/help/17214/windows-10-what-is
今日話す内容•Cortanaの保存するデータや通信に着目• 正直、通信についてはよくわからない点も多いです•あんまり使い込めていないのでCortanaの便利さはまだよくわかっていません•Windows10を対象とさせてください• 他のOSでも動くようです• Windows 10 Mobile, Windows Phone8.1などなど5
Cortanaとは•Windows10に搭載されたデジタルエージェント6入力方法は2種類・文字で入力・声で入力「コルタナさん、…」
類似製品•Siri(Apple)•Amazon Echo•Google Home7https://store.google.com/jp/product/google_homehttps://www.amazon.co.jp/dp/B071LMG8BQ
Googleで検索すると8
Googleで検索すると9
コルタナさんに聞いてみた10
コルタナさんに聞いてみた11
カイル君って誰?12http://waral.club/wp-content/uploads/2016/08/netsns_0046-1.jpg
コルタナさんに聞いてみた13
面白かった・気になったもの140÷0 は定義されていません
Cortanaが保存するデータ15
フォルダパスC:¥Users¥¥AppData¥Local¥Packages¥Microsoft.Windows.Cortana_XXXXX16
2つのデータベースファイルIndexedDB.edb¥AppData¥Indexed DB¥IndexedDB.edbCoratanaCoreDb.dat¥LocalState¥ESEDatabase_CortanaCoreInstance¥CoratanaCoreDb.dat17
IndexedDB.edb18fileコマンドで調べてみる
IndexedDB.edb•拡張子edbとは•edb : ESE DataBase•ESE : Extensible Storage Engine• edbはWindowsの至るところで使われている• IE, Edge• Windows Index Search• SRUM• Windows Update• Exchange• Active Directory• etc…(Cortana含む)19
JET Blue少し脱線して•JET : Joint Engine Technology• ESEの呼び名として使われることがある• ESE関係のAPIの名前は Jet*•JETには2種類ある(互換性はない)• JET Blue : ESE• JET Red : Microsoft Office Access20https://msdn.microsoft.com/EN-US/library/gg294078(v=exchg.10).aspx
ツール21• esentutl(Windows標準)• ESEDatabaseView• Libesedb• その他
Cortanaが保存するデータ22いくつか興味深いものをピックアップ•位置情報•住所による通知•リマインダ
位置情報23
位置情報24Latitude(緯度) Longitude(経度)35.68 139.76少しずれてるので多分、丸の内あたり
住所による通知25
リマインダ26
Cortanaが送るデータ27
Cortanaが送るデータ28基本、投影のみのためスライド削除
Cortanaが送るデータ次は音声入力について29
音声入力音声入力時には音声をWebSocketで送っているように見える30GET https://websockets.platform.bing.com/ws/cu/v3 HTTP/1.1(snip)Set-Cookie: CUCookie=AAAAABAAAAB6(snip); domain=bing.com;GET https://www.bing.com/speech_render?speech=1&input=2&form=WNSBOX&cc=JP&setlang=ja HTTP/1.1Cookie: CUCookie=AAAAABAAAAB6(snip);HTTP/1.1 101 Switching Protocols(マイクで受けた音声の送信)「明日の天気」HTTP/1.1 200 OK(snip)明日の天気 - Bing
音声入力WebSocketの通信31
音声入力WebSocketの通信32基本、投影のみのためスライド削除
音声入力WebSocketの通信33明日明日の明日の手明日の天明日の天気音声データ音声データ音声データ音声データ
まとめ34
まとめ•人によって取得されるデータの許容範囲は異なる•個人的に一番気になったのは音声データ• 意図しない音が入ってしまうかも• コルタナさんが聞く状態になるまではwebsocketで送られない(ように見える)• コルタナさんの音声認識の起動トリガ• 「コルタナさん」って話かける• Windows+Cを押す• コルタナさんの入力欄の右にあるマイクアイコンを押す• リスクを把握した上での使用が大事• どういったリスクがあるかはより調べる必要がありそう35
まとめもしご存知なら情報いただきたいです•音声を外部に送信するマルウェア•盗聴探知機に引っかからない盗聴器ソフトウェアの動作から悪意の有無を判断するのは難しいと思う36
Thank you for your time :)37