虹の写真をSNSに投稿することの危険性

2022/02/25(金) に 第１６回 初心者のためのセキュリティ勉強会（オンライン開催） で発表したスライドです。
https://sfb.connpass.com/event/238822/

■リンク
・写真内の太陽と影を用いた撮影時刻の推定(先月の発表スライド)
https://speakerdeck.com/meow_noisy/huakutotietukufalsekuizu
・『完全理解 小学理科』, 西村賢治(編著)
https://www.amazon.co.jp/dp/4578214079
・Using the Sun and the Shadows for Geolocation - bellingcat
https://www.bellingcat.com/resources/2020/12/03/using-the-sun-and-the-shadows-for-geolocation/
・虹 – Wikipedia
https://ja.wikipedia.org/wiki/虹
・雑科学ノート　－ 虹の話（その２）－
https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html

・osint.games(3月のCTF)
https://www.osint.games/

Transcript

1. 第16回 初心者のためのセキュリティ勉強会（オンライン開催） meow ( @meow_noisy) 2022/02/25(金) 公開版
2. 発表概要  SNSにアップロードした虹の写真は撮影場所を特定されやすい ということをケーススタディ2件を通して学ぶ
3. おしながき  先月のおさらいと虹の説明  ケーススタディ1  時間もおおまかな場所もわかっている場合の撮影場所の特定  ケーススタディ2(公開版)  時間も場所もぼかされている場合の撮影場所の特定  おわりに
4. 先月の発表のおさらい  写真内の影(太陽)の方向と場所が分かると、 『 SunCulc 』を用いて撮影日時を推定可能 1月9日の11:04 ということがわかる スカイツリーの展望台から撮影した写真 影の方向 と長さを 合わせる SunCulcの画面
5. 別の見方をすると  撮影時刻がわかっていると、写真内の影の方向を元に 撮影場所の方角が大まかにわかる 場所はわからないが、 9月16日 15:30に撮影された写真 SunCulcによると、その日時においては 日本では影は北東へと伸びていることがわかる 影
6. このテクニックはあまり使えなさそう?  Q.「撮影時刻なんて普通はわからないし、方角がわかって も具体的な撮影場所の特定はできないのでは」  確かに時刻の推定と比較すると、方角の推定テクニックは 効果が限定的  しかし、SNSに投稿された虹の写真の撮影場所を特定する 用途ならば、かなり強力に機能する
7. 虹について  大気中に浮遊する水滴の中を光が通過する際に、分散する ことで特徴的な模様が見られる大気光学現象  https://ja.wikipedia.org/wiki/虹 より https://ja.wikipedia.org/wiki/虹 より 太陽光 観測者 https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html より 雨滴
8. 虹の特徴  雨上がりに観測されやすい  虹も影同様、太陽の反対側に現れる  太陽の高度が低い時(朝or夕)に見える  きれいなので写真として映えやすい  SNSにアップロードされやすい 影 撮影場所を特定される情報が揃いやすい
9. ケーススタディ1 時間もおおまかな場所もわかっている場合の撮影場所の特定
10. 問題  右のツイートの写真の撮影地点を 座標レベルで推定したいとする  石垣島で撮られているとのこと  リアルタイムで上げているような ニュアンスの文章 https://twitter.com/chibalotte/status/1489037914423975941
11. 簡易調査  2022年2月3日の石垣島の天気を気象庁DBから調査  確かに午前8～9時ごろは雨上がり  場所はどこか  『2022年春季キャンプ日程について｜千葉ロッテマリーンズ』  https://www.marines.co.jp/news/detail/00007401.html  → “石垣市中央運動公園野球場”ということが公開されている  場所と撮影時刻は合っていそう  あとは、公園内を探索して具体的な撮影ポイントを 探るだけ
12. 後は簡単かと思いきや  Googleマップのストリートビューが公園内まで通っていない  公園内がどのような景観なのかまではわからない  → したがって、衛星写真を手がかりに推定を行う
13. SunCalcを使用して撮影された方向を推定  2022年2月3日9時47分 における 影の方向を知る  この方向に向かって写真を 撮っている 北
14. 写真内の物体を観察  写真内の具体的な物体を観察  階段  背の高い木
15. 以上の情報をふまえて  虹の出ている方角と撮影物を意識しながらGoogleマップの 衛星写真を確認 撮影方向 階段 背の高い木 北
16. 以上をふまえて  撮影地点を特定 階段 背の高い木 撮影地点
17. ケーススタディ1のおさらい  撮影された大まかな場所はわかっているが具体的な地点は わからず、ストリートビューも使えない状況を想定  一応、xINT CTF2021のDISK問のオマージュ  情報を収集・統合し、撮影地点の推定を行った  撮影時刻と虹(影)から撮影された方角を推定  写真の分析を行い、衛星写真と突き合わせを行う
18. 問題が簡単?  「撮影されたおおまかな場所も時刻もわかってるんだから 時間かければ撮影地点は総当りで分かるでしょ。」という 指摘があるかもしれない  → 次のケーススタディで、場所や時刻がぼかされている場 合について見ていく
19. ケーススタディ2(公開版) 時間も場所もぼかされている場合の撮影場所の特定
20. 問題  右のツイートの画像の撮影地点を 座標レベルで推定したいとする  ツイート日時はMM月DD日HH時mm分  しかし“この前”と書いてあるので いつの虹かは不明  影も写っていない  また、場所情報も不明  安易に特定されないように情報管理を しっかりされている印象 ツイッターの スクリーンショット 虹の写真
21. 撮影時刻推定をどうするか  気象庁DBを見るというアイディア  → 過去の気象データを調べるには先に位置情報を入力する 必要があるため非効率  一つ一つ地域を見ていくことはできるが 手間がかかる  また、虹が見えるタイミングに 必ずしも天気ステータスが 雨→晴というわけではない https://www.data.jma.go.jp/obd/stats/etrn/
22. 撮影時刻推定をどうするか  代替案: 他のユーザが似たような画像を地名付きで投稿し ていないかを検索する  Twitterの検索演算子を駆使し、ターゲットのツイートの 数日前で虹の画像を投稿しているツイートを検索する
23. 撮影時刻推定をどうするか  その結果、似たような景観の写真を別のユーザが投稿して いる  時刻や場所が添えられて投稿されている  どうやらmm月dd日 hh時mm分ころ <<場所>>で撮影され たものの可能性が高い  →時刻とおおまかな場所は絞り込めた。写真の分析に入る
24. 写真内に写っているものを観察  木  公園が近くにある?  街路灯の形  建物の形  高層  市内の可能性  信号  道路、交差点がある  標識  車が来る方向がわかる  どちらのサイドの歩道に立っているかがわかる お題の虹の写真
25. SunCalcを使用して撮影された方向を推定  mm月dd日 hh時mm分 <<場所>>の太陽と影の方位角を知 る  また虹と道路のなす角がそれっぽいので、 <<場所>>で撮 影されたものという確信度が高まる SunCulcの スクリーンショット
26. 建物を「画像で検索」  写真からビルの部分を切り取って画像で検索  そのままだと、似たような風景が列挙されるだけで手がかりになら ない もとの画像からビルの部分を 切り取った画像 Google 画像で検索 結果ページ (めぼしいものはヒットせず…)
27. 「画像で検索」のテクニック  画像で検索した後、テキストを加えると画像を絞り込むこ とができる  ここでは「 <<場所>> 」というワードをテキストフォームに与えて 再検索する  画像候補が<<場所>>に関連するものになる  スクロールして目検で画像を探す  「<<建物名>>」の画像がとても似ている Google画像検索 結果ページ <<建物名>>の写真
28. 撮影場所の特定  <<建物名>>近辺のストリートビューを確認  周りの景観が一致  そこから撮影場所を特定した 撮影地点の ストリートビュー お題の虹の写真
29. ケーススタディ2のおさらい  撮影場所、撮影時刻がぼかされている状況を想定  時刻と大まかな撮影場所の特定  他のツイートで類似した画像が場所情報付きで投稿されているので これを手がかりとして時刻と地域まで確定  情報を収集・統合し、撮影地点の推定を行った  地域に対して、周りの景色、SunCulcを元に、撮影できそうなポイ ントを衛星写真で確認  写真内の建物を、画像(+テキスト)で検索を行い特定 ここがSNSの怖いところ。 自分が自衛していても、 他人も自衛しているとは 限らない。
30. まとめ  ケーススタディを通して、虹をSNSに投稿することの 危険性を確認  虹は特定される情報が揃いやすい  方角+周りの景観から撮影場所を特定されてしまう  時間や場所をごまかしにくい  情報量の多いツイートと結びついてしまう  SNSで活動する際はくれぐれもお気をつけください
31. おまけ: 3月のOSINT CTF  osint.games  https://www.osint.games/  100問以上のOSINT問からなるCTF  SNS調査、写真の撮影場所の特定、ダークウェブの調査など  OSINTのエキスパートによって作問  3月1日より1ヶ月以上開催  商品は特に無い  参加費: 20$
32. 参考文献  『完全理解 小学理科』, 西村賢治(編著)  Using the Sun and the Shadows for Geolocation - bellingcat  https://www.bellingcat.com/resources/2020/12/03/using-the- sun-and-the-shadows-for-geolocation/  虹 – Wikipedia  https://ja.wikipedia.org/wiki/虹  雑科学ノート － 虹の話（その２）－  https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html
33. ご清聴ありがとうございました @meow_noisy