Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Hi, Cortana

yasulib
April 30, 2018

Hi, Cortana

すみだセキュリティ勉強会2018その1
http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/

yasulib

April 30, 2018
Tweet

More Decks by yasulib

Other Decks in Technology

Transcript

  1. Hi, Cortana
    すみだセキュリティ勉強会
    2018/04/30
    yasulib
    1

    View Slide

  2. 内容について
    •Cortanaとは
    •Cortanaが保存するデータ
    •Cortanaが送るデータ
    2

    View Slide

  3. Cortanaとは
    3

    View Slide

  4. Cortanaとは
    •Windows10に搭載されたデジタルエージェント
    • AIアシスタント
    4
    https://support.microsoft.com/ja-jp/help/17214/windows-10-what-is

    View Slide

  5. 今日話す内容
    •Cortanaの保存するデータや通信に着目
    • 正直、通信についてはよくわからない点も多いです
    •あんまり使い込めていないのでCortanaの便利さはま
    だよくわかっていません
    •Windows10を対象とさせてください
    • 他のOSでも動くようです
    • Windows 10 Mobile, Windows Phone8.1などなど
    5

    View Slide

  6. Cortanaとは
    •Windows10に搭載されたデジタルエージェント
    6
    入力方法は2種類
    ・文字で入力
    ・声で入力「コルタナさん、…」

    View Slide

  7. 類似製品
    •Siri(Apple)
    •Amazon Echo
    •Google Home
    7
    https://store.google.com/jp/product/google_home
    https://www.amazon.co.jp/dp/B071LMG8BQ

    View Slide

  8. Googleで検索すると
    8

    View Slide

  9. Googleで検索すると
    9

    View Slide

  10. コルタナさんに聞いてみた
    10

    View Slide

  11. コルタナさんに聞いてみた
    11

    View Slide

  12. カイル君って誰?
    12
    http://waral.club/wp-content/uploads/2016/08/netsns_0046-1.jpg

    View Slide

  13. コルタナさんに聞いてみた
    13

    View Slide

  14. 面白かった・気になったもの
    14
    0÷0 は定義されていません

    View Slide

  15. Cortanaが保存するデータ
    15

    View Slide

  16. フォルダパス
    C:¥Users¥¥AppData
    ¥Local¥Packages¥Microsoft.Windows.Cortana_XXXXX
    16

    View Slide

  17. 2つのデータベースファイル
    IndexedDB.edb
    ¥AppData¥Indexed DB¥IndexedDB.edb
    CoratanaCoreDb.dat
    ¥LocalState¥ESEDatabase_CortanaCoreInstance¥CoratanaCoreDb.dat
    17

    View Slide

  18. IndexedDB.edb
    18
    fileコマンドで調べてみる

    View Slide

  19. IndexedDB.edb
    •拡張子edbとは
    •edb : ESE DataBase
    •ESE : Extensible Storage Engine
    • edbはWindowsの至るところで使われている
    • IE, Edge
    • Windows Index Search
    • SRUM
    • Windows Update
    • Exchange
    • Active Directory
    • etc…(Cortana含む)
    19

    View Slide

  20. JET Blue
    少し脱線して
    •JET : Joint Engine Technology
    • ESEの呼び名として使われることがある
    • ESE関係のAPIの名前は Jet*
    •JETには2種類ある(互換性はない)
    • JET Blue : ESE
    • JET Red : Microsoft Office Access
    20
    https://msdn.microsoft.com/EN-US/library/gg294078(v=exchg.10).aspx

    View Slide

  21. ツール
    21
    • esentutl(Windows標準)
    • ESEDatabaseView
    • Libesedb
    • その他

    View Slide

  22. Cortanaが保存するデータ
    22
    いくつか興味深いものをピックアップ
    •位置情報
    •住所による通知
    •リマインダ

    View Slide

  23. 位置情報
    23

    View Slide

  24. 位置情報
    24
    Latitude(緯度) Longitude(経度)
    35.68 139.76
    少しずれてるので
    多分、丸の内あたり

    View Slide

  25. 住所による通知
    25

    View Slide

  26. リマインダ
    26

    View Slide

  27. Cortanaが送るデータ
    27

    View Slide

  28. Cortanaが送るデータ
    28
    基本、投影のみのためスライド削除

    View Slide

  29. Cortanaが送るデータ
    次は音声入力について
    29

    View Slide

  30. 音声入力
    音声入力時には音声をWebSocketで送っているように見える
    30
    GET https://websockets.platform.bing.com/ws/cu/v3 HTTP/1.1
    (snip)
    Set-Cookie: CUCookie=AAAAABAAAAB6(snip); domain=bing.com;
    GET https://www.bing.com/speech_render?
    speech=1&input=2&form=WNSBOX&cc=JP&setlang=ja HTTP/1.1
    Cookie: CUCookie=AAAAABAAAAB6(snip);
    HTTP/1.1 101 Switching Protocols
    (マイクで受けた音声の送信)「明日の天気」
    HTTP/1.1 200 OK
    (snip)
    明日の天気 - Bing

    View Slide

  31. 音声入力
    WebSocketの通信
    31

    View Slide

  32. 音声入力
    WebSocketの通信
    32
    基本、投影のみのためスライド削除

    View Slide

  33. 音声入力
    WebSocketの通信
    33
    明日
    明日の
    明日の手
    明日の天
    明日の天気
    音声データ
    音声データ
    音声データ
    音声データ

    View Slide

  34. まとめ
    34

    View Slide

  35. まとめ
    •人によって取得されるデータの許容範囲は異なる
    •個人的に一番気になったのは音声データ
    • 意図しない音が入ってしまうかも
    • コルタナさんが聞く状態になるまではwebsocketで送られな
    い(ように見える)
    • コルタナさんの音声認識の起動トリガ
    • 「コルタナさん」って話かける
    • Windows+Cを押す
    • コルタナさんの入力欄の右にあるマイクアイコンを押す
    • リスクを把握した上での使用が大事
    • どういったリスクがあるかはより調べる必要がありそう
    35

    View Slide

  36. まとめ
    もしご存知なら情報いただきたいです
    •音声を外部に送信するマルウェア
    •盗聴探知機に引っかからない盗聴器
    ソフトウェアの動作から悪意の有無を判断するのは難しいと思う
    36

    View Slide

  37. Thank you for your time :)
    37

    View Slide