Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Hi, Cortana
Search
yasulib
April 30, 2018
Technology
2
1.3k
Hi, Cortana
すみだセキュリティ勉強会2018その1
http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/
yasulib
April 30, 2018
Tweet
Share
More Decks by yasulib
See All by yasulib
HTTP2とHTTPヘッダインジェクションについて
yasulib
6
3.9k
Other Decks in Technology
See All in Technology
サイバーエージェントにおける生成AIのリスキリング施策の取り組み / cyber-ai-reskilling
cyberagentdevelopers
PRO
2
200
Java x Spring Boot Warm up
kazu_kichi_67
2
490
新R25、乃木坂46 Mobileなどのファンビジネスを支えるマルチテナンシーなプラットフォームの全体像 / cam-multi-cloud
cyberagentdevelopers
PRO
1
130
Jr. Championsになって、強く連携しながらAWSをもっと使いたい!~AWSに対する期待と行動~
amixedcolor
0
190
ネット広告に未来はあるか?「3rd Party Cookie廃止とPrivacy Sandboxの効果検証の裏側」 / third-party-cookie-privacy
cyberagentdevelopers
PRO
1
130
いまならこう作りたい AWSコンテナ[本格]入門ハンズオン 〜2024年版 ハンズオンの構想〜
horsewin
9
2.1k
急成長中のWINTICKETにおける品質と開発スピードと向き合ったQA戦略と今後の展望 / winticket-autify
cyberagentdevelopers
PRO
1
160
なんで、私がAWS Heroに!? 〜社外の広い世界に一歩踏み出そう〜
minorun365
PRO
6
1.1k
【若手エンジニア応援LT会】AWSで繋がり、共に成長! ~コミュニティ活動と新人教育への挑戦~
kazushi_ohata
0
180
Figma Dev Modeで進化するデザインとエンジニアリングの協働 / figma-with-engineering
cyberagentdevelopers
PRO
1
430
新卒1年目が向き合う生成AI事業の開発を加速させる技術選定 / ai-web-launcher
cyberagentdevelopers
PRO
7
1.5k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
49k
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
654
59k
Designing the Hi-DPI Web
ddemaree
280
34k
How to Think Like a Performance Engineer
csswizardry
19
1.1k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
Docker and Python
trallard
40
3.1k
A better future with KSS
kneath
238
17k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
364
22k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
What's new in Ruby 2.0
geeforr
342
31k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Transcript
Hi, Cortana すみだセキュリティ勉強会 2018/04/30 yasulib 1
内容について •Cortanaとは •Cortanaが保存するデータ •Cortanaが送るデータ 2
Cortanaとは 3
Cortanaとは •Windows10に搭載されたデジタルエージェント • AIアシスタント 4 https://support.microsoft.com/ja-jp/help/17214/windows-10-what-is
今日話す内容 •Cortanaの保存するデータや通信に着目 • 正直、通信についてはよくわからない点も多いです •あんまり使い込めていないのでCortanaの便利さはま だよくわかっていません •Windows10を対象とさせてください • 他のOSでも動くようです •
Windows 10 Mobile, Windows Phone8.1などなど 5
Cortanaとは •Windows10に搭載されたデジタルエージェント 6 入力方法は2種類 ・文字で入力 ・声で入力「コルタナさん、…」
類似製品 •Siri(Apple) •Amazon Echo •Google Home 7 https://store.google.com/jp/product/google_home https://www.amazon.co.jp/dp/B071LMG8BQ
Googleで検索すると 8
Googleで検索すると 9
コルタナさんに聞いてみた 10
コルタナさんに聞いてみた 11
カイル君って誰? 12 http://waral.club/wp-content/uploads/2016/08/netsns_0046-1.jpg
コルタナさんに聞いてみた 13
面白かった・気になったもの 14 0÷0 は定義されていません
Cortanaが保存するデータ 15
フォルダパス C:¥Users¥<account名>¥AppData ¥Local¥Packages¥Microsoft.Windows.Cortana_XXXXX 16
2つのデータベースファイル IndexedDB.edb ¥AppData¥Indexed DB¥IndexedDB.edb CoratanaCoreDb.dat ¥LocalState¥ESEDatabase_CortanaCoreInstance¥CoratanaCoreDb.dat 17
IndexedDB.edb 18 fileコマンドで調べてみる
IndexedDB.edb •拡張子edbとは •edb : ESE DataBase •ESE : Extensible Storage
Engine • edbはWindowsの至るところで使われている • IE, Edge • Windows Index Search • SRUM • Windows Update • Exchange • Active Directory • etc…(Cortana含む) 19
JET Blue 少し脱線して •JET : Joint Engine Technology • ESEの呼び名として使われることがある
• ESE関係のAPIの名前は Jet* •JETには2種類ある(互換性はない) • JET Blue : ESE • JET Red : Microsoft Office Access 20 https://msdn.microsoft.com/EN-US/library/gg294078(v=exchg.10).aspx
ツール 21 • esentutl(Windows標準) • ESEDatabaseView • Libesedb • その他
Cortanaが保存するデータ 22 いくつか興味深いものをピックアップ •位置情報 •住所による通知 •リマインダ
位置情報 23
位置情報 24 Latitude(緯度) Longitude(経度) 35.68 139.76 少しずれてるので 多分、丸の内あたり
住所による通知 25
リマインダ 26
Cortanaが送るデータ 27
Cortanaが送るデータ 28 基本、投影のみのためスライド削除
Cortanaが送るデータ 次は音声入力について 29
音声入力 音声入力時には音声をWebSocketで送っているように見える 30 GET https://websockets.platform.bing.com/ws/cu/v3 HTTP/1.1 (snip) Set-Cookie: CUCookie=AAAAABAAAAB6(snip); domain=bing.com;
GET https://www.bing.com/speech_render? speech=1&input=2&form=WNSBOX&cc=JP&setlang=ja HTTP/1.1 Cookie: CUCookie=AAAAABAAAAB6(snip); HTTP/1.1 101 Switching Protocols (マイクで受けた音声の送信)「明日の天気」 HTTP/1.1 200 OK (snip) <title>明日の天気 - Bing</title>
音声入力 WebSocketの通信 31
音声入力 WebSocketの通信 32 基本、投影のみのためスライド削除
音声入力 WebSocketの通信 33 明日 明日の 明日の手 明日の天 明日の天気 音声データ 音声データ
音声データ 音声データ
まとめ 34
まとめ •人によって取得されるデータの許容範囲は異なる •個人的に一番気になったのは音声データ • 意図しない音が入ってしまうかも • コルタナさんが聞く状態になるまではwebsocketで送られな い(ように見える) • コルタナさんの音声認識の起動トリガ
• 「コルタナさん」って話かける • Windows+Cを押す • コルタナさんの入力欄の右にあるマイクアイコンを押す • リスクを把握した上での使用が大事 • どういったリスクがあるかはより調べる必要がありそう 35
まとめ もしご存知なら情報いただきたいです •音声を外部に送信するマルウェア •盗聴探知機に引っかからない盗聴器 ソフトウェアの動作から悪意の有無を判断するのは難しいと思う 36
Thank you for your time :) 37