Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Hi, Cortana

yasulib
April 30, 2018

Hi, Cortana

すみだセキュリティ勉強会2018その1
http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/

yasulib

April 30, 2018
Tweet

More Decks by yasulib

Other Decks in Technology

Transcript

  1. Hi, Cortana
    すみだセキュリティ勉強会
    2018/04/30
    yasulib
    1

    View full-size slide

  2. 内容について
    •Cortanaとは
    •Cortanaが保存するデータ
    •Cortanaが送るデータ
    2

    View full-size slide

  3. Cortanaとは
    3

    View full-size slide

  4. Cortanaとは
    •Windows10に搭載されたデジタルエージェント
    • AIアシスタント
    4
    https://support.microsoft.com/ja-jp/help/17214/windows-10-what-is

    View full-size slide

  5. 今日話す内容
    •Cortanaの保存するデータや通信に着目
    • 正直、通信についてはよくわからない点も多いです
    •あんまり使い込めていないのでCortanaの便利さはま
    だよくわかっていません
    •Windows10を対象とさせてください
    • 他のOSでも動くようです
    • Windows 10 Mobile, Windows Phone8.1などなど
    5

    View full-size slide

  6. Cortanaとは
    •Windows10に搭載されたデジタルエージェント
    6
    入力方法は2種類
    ・文字で入力
    ・声で入力「コルタナさん、…」

    View full-size slide

  7. 類似製品
    •Siri(Apple)
    •Amazon Echo
    •Google Home
    7
    https://store.google.com/jp/product/google_home
    https://www.amazon.co.jp/dp/B071LMG8BQ

    View full-size slide

  8. Googleで検索すると
    8

    View full-size slide

  9. Googleで検索すると
    9

    View full-size slide

  10. コルタナさんに聞いてみた
    10

    View full-size slide

  11. コルタナさんに聞いてみた
    11

    View full-size slide

  12. カイル君って誰?
    12
    http://waral.club/wp-content/uploads/2016/08/netsns_0046-1.jpg

    View full-size slide

  13. コルタナさんに聞いてみた
    13

    View full-size slide

  14. 面白かった・気になったもの
    14
    0÷0 は定義されていません

    View full-size slide

  15. Cortanaが保存するデータ
    15

    View full-size slide

  16. フォルダパス
    C:¥Users¥¥AppData
    ¥Local¥Packages¥Microsoft.Windows.Cortana_XXXXX
    16

    View full-size slide

  17. 2つのデータベースファイル
    IndexedDB.edb
    ¥AppData¥Indexed DB¥IndexedDB.edb
    CoratanaCoreDb.dat
    ¥LocalState¥ESEDatabase_CortanaCoreInstance¥CoratanaCoreDb.dat
    17

    View full-size slide

  18. IndexedDB.edb
    18
    fileコマンドで調べてみる

    View full-size slide

  19. IndexedDB.edb
    •拡張子edbとは
    •edb : ESE DataBase
    •ESE : Extensible Storage Engine
    • edbはWindowsの至るところで使われている
    • IE, Edge
    • Windows Index Search
    • SRUM
    • Windows Update
    • Exchange
    • Active Directory
    • etc…(Cortana含む)
    19

    View full-size slide

  20. JET Blue
    少し脱線して
    •JET : Joint Engine Technology
    • ESEの呼び名として使われることがある
    • ESE関係のAPIの名前は Jet*
    •JETには2種類ある(互換性はない)
    • JET Blue : ESE
    • JET Red : Microsoft Office Access
    20
    https://msdn.microsoft.com/EN-US/library/gg294078(v=exchg.10).aspx

    View full-size slide

  21. ツール
    21
    • esentutl(Windows標準)
    • ESEDatabaseView
    • Libesedb
    • その他

    View full-size slide

  22. Cortanaが保存するデータ
    22
    いくつか興味深いものをピックアップ
    •位置情報
    •住所による通知
    •リマインダ

    View full-size slide

  23. 位置情報
    23

    View full-size slide

  24. 位置情報
    24
    Latitude(緯度) Longitude(経度)
    35.68 139.76
    少しずれてるので
    多分、丸の内あたり

    View full-size slide

  25. 住所による通知
    25

    View full-size slide

  26. リマインダ
    26

    View full-size slide

  27. Cortanaが送るデータ
    27

    View full-size slide

  28. Cortanaが送るデータ
    28
    基本、投影のみのためスライド削除

    View full-size slide

  29. Cortanaが送るデータ
    次は音声入力について
    29

    View full-size slide

  30. 音声入力
    音声入力時には音声をWebSocketで送っているように見える
    30
    GET https://websockets.platform.bing.com/ws/cu/v3 HTTP/1.1
    (snip)
    Set-Cookie: CUCookie=AAAAABAAAAB6(snip); domain=bing.com;
    GET https://www.bing.com/speech_render?
    speech=1&input=2&form=WNSBOX&cc=JP&setlang=ja HTTP/1.1
    Cookie: CUCookie=AAAAABAAAAB6(snip);
    HTTP/1.1 101 Switching Protocols
    (マイクで受けた音声の送信)「明日の天気」
    HTTP/1.1 200 OK
    (snip)
    明日の天気 - Bing

    View full-size slide

  31. 音声入力
    WebSocketの通信
    31

    View full-size slide

  32. 音声入力
    WebSocketの通信
    32
    基本、投影のみのためスライド削除

    View full-size slide

  33. 音声入力
    WebSocketの通信
    33
    明日
    明日の
    明日の手
    明日の天
    明日の天気
    音声データ
    音声データ
    音声データ
    音声データ

    View full-size slide

  34. まとめ
    •人によって取得されるデータの許容範囲は異なる
    •個人的に一番気になったのは音声データ
    • 意図しない音が入ってしまうかも
    • コルタナさんが聞く状態になるまではwebsocketで送られな
    い(ように見える)
    • コルタナさんの音声認識の起動トリガ
    • 「コルタナさん」って話かける
    • Windows+Cを押す
    • コルタナさんの入力欄の右にあるマイクアイコンを押す
    • リスクを把握した上での使用が大事
    • どういったリスクがあるかはより調べる必要がありそう
    35

    View full-size slide

  35. まとめ
    もしご存知なら情報いただきたいです
    •音声を外部に送信するマルウェア
    •盗聴探知機に引っかからない盗聴器
    ソフトウェアの動作から悪意の有無を判断するのは難しいと思う
    36

    View full-size slide

  36. Thank you for your time :)
    37

    View full-size slide