Hi, Cortana

すみだセキュリティ勉強会2018その1
http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/

Transcript

1. Hi, Cortana
   すみだセキュリティ勉強会
   2018/04/30
   yasulib
   1
   

   View Slide

2. 内容について
   •Cortanaとは
   •Cortanaが保存するデータ
   •Cortanaが送るデータ
   2
   

   View Slide

3. Cortanaとは
   3
   

   View Slide

4. Cortanaとは
   •Windows10に搭載されたデジタルエージェント
   • AIアシスタント
   4
   https://support.microsoft.com/ja-jp/help/17214/windows-10-what-is
   

   View Slide

5. 今日話す内容
   •Cortanaの保存するデータや通信に着目
   • 正直、通信についてはよくわからない点も多いです
   •あんまり使い込めていないのでCortanaの便利さはま
   だよくわかっていません
   •Windows10を対象とさせてください
   • 他のOSでも動くようです
   • Windows 10 Mobile, Windows Phone8.1などなど
   5
   

   View Slide

6. Cortanaとは
   •Windows10に搭載されたデジタルエージェント
   6
   入力方法は2種類
   ・文字で入力
   ・声で入力「コルタナさん、…」
   

   View Slide

7. 類似製品
   •Siri(Apple)
   •Amazon Echo
   •Google Home
   7
   https://store.google.com/jp/product/google_home
   https://www.amazon.co.jp/dp/B071LMG8BQ
   

   View Slide

8. Googleで検索すると
   8
   

   View Slide

9. Googleで検索すると
   9
   

   View Slide

10. コルタナさんに聞いてみた
    10
    

    View Slide

11. コルタナさんに聞いてみた
    11
    

    View Slide

12. カイル君って誰？
    12
    http://waral.club/wp-content/uploads/2016/08/netsns_0046-1.jpg
    

    View Slide

13. コルタナさんに聞いてみた
    13
    

    View Slide

14. 面白かった・気になったもの
    14
    0÷0 は定義されていません
    

    View Slide

15. Cortanaが保存するデータ
    15
    

    View Slide

16. フォルダパス
    C:¥Users¥¥AppData
    ¥Local¥Packages¥Microsoft.Windows.Cortana_XXXXX
    16
    

    View Slide

17. 2つのデータベースファイル
    IndexedDB.edb
    ¥AppData¥Indexed DB¥IndexedDB.edb
    CoratanaCoreDb.dat
    ¥LocalState¥ESEDatabase_CortanaCoreInstance¥CoratanaCoreDb.dat
    17
    

    View Slide

18. IndexedDB.edb
    18
    fileコマンドで調べてみる
    

    View Slide

19. IndexedDB.edb
    •拡張子edbとは
    •edb : ESE DataBase
    •ESE : Extensible Storage Engine
    • edbはWindowsの至るところで使われている
    • IE, Edge
    • Windows Index Search
    • SRUM
    • Windows Update
    • Exchange
    • Active Directory
    • etc…(Cortana含む)
    19
    

    View Slide

20. JET Blue
    少し脱線して
    •JET : Joint Engine Technology
    • ESEの呼び名として使われることがある
    • ESE関係のAPIの名前は Jet*
    •JETには2種類ある（互換性はない）
    • JET Blue : ESE
    • JET Red : Microsoft Office Access
    20
    https://msdn.microsoft.com/EN-US/library/gg294078(v=exchg.10).aspx
    

    View Slide

21. ツール
    21
    • esentutl(Windows標準)
    • ESEDatabaseView
    • Libesedb
    • その他
    

    View Slide

22. Cortanaが保存するデータ
    22
    いくつか興味深いものをピックアップ
    •位置情報
    •住所による通知
    •リマインダ
    

    View Slide

23. 位置情報
    23
    

    View Slide

24. 位置情報
    24
    Latitude(緯度) Longitude(経度)
    35.68 139.76
    少しずれてるので
    多分、丸の内あたり
    

    View Slide

25. 住所による通知
    25
    

    View Slide

26. リマインダ
    26
    

    View Slide

27. Cortanaが送るデータ
    27
    

    View Slide

28. Cortanaが送るデータ
    28
    基本、投影のみのためスライド削除
    

    View Slide

29. Cortanaが送るデータ
    次は音声入力について
    29
    

    View Slide

30. 音声入力
    音声入力時には音声をWebSocketで送っているように見える
    30
    GET https://websockets.platform.bing.com/ws/cu/v3 HTTP/1.1
    (snip)
    Set-Cookie: CUCookie=AAAAABAAAAB6(snip); domain=bing.com;
    GET https://www.bing.com/speech_render?
    speech=1&input=2&form=WNSBOX&cc=JP&setlang=ja HTTP/1.1
    Cookie: CUCookie=AAAAABAAAAB6(snip);
    HTTP/1.1 101 Switching Protocols
    （マイクで受けた音声の送信）「明日の天気」
    HTTP/1.1 200 OK
    (snip)
    明日の天気 - Bing
    

    View Slide

31. 音声入力
    WebSocketの通信
    31
    

    View Slide

32. 音声入力
    WebSocketの通信
    32
    基本、投影のみのためスライド削除
    

    View Slide

33. 音声入力
    WebSocketの通信
    33
    明日
    明日の
    明日の手
    明日の天
    明日の天気
    音声データ
    音声データ
    音声データ
    音声データ
    

    View Slide

34. まとめ
    34
    

    View Slide

35. まとめ
    •人によって取得されるデータの許容範囲は異なる
    •個人的に一番気になったのは音声データ
    • 意図しない音が入ってしまうかも
    • コルタナさんが聞く状態になるまではwebsocketで送られな
    い（ように見える）
    • コルタナさんの音声認識の起動トリガ
    • 「コルタナさん」って話かける
    • Windows+Cを押す
    • コルタナさんの入力欄の右にあるマイクアイコンを押す
    • リスクを把握した上での使用が大事
    • どういったリスクがあるかはより調べる必要がありそう
    35
    

    View Slide

36. まとめ
    もしご存知なら情報いただきたいです
    •音声を外部に送信するマルウェア
    •盗聴探知機に引っかからない盗聴器
    ソフトウェアの動作から悪意の有無を判断するのは難しいと思う
    36
    

    View Slide

37. Thank you for your time :)
    37
    

    View Slide