虹の写真をSNSに投稿することの危険性

Slide 1

Slide 1 text

第16回初心者のためのセキュリティ勉強会（オンライン開催） meow ( @meow_noisy) 2022/02/25(金) 公開版

Slide 2

Slide 2 text

発表概要  SNSにアップロードした虹の写真は撮影場所を特定されやすいということをケーススタディ2件を通して学ぶ

Slide 3

Slide 3 text

おしながき  先月のおさらいと虹の説明  ケーススタディ1  時間もおおまかな場所もわかっている場合の撮影場所の特定  ケーススタディ2(公開版)  時間も場所もぼかされている場合の撮影場所の特定  おわりに

Slide 4

Slide 4 text

先月の発表のおさらい  写真内の影(太陽)の方向と場所が分かると、『 SunCulc 』を用いて撮影日時を推定可能 1月9日の11:04 ということがわかるスカイツリーの展望台から撮影した写真影の方向と長さを合わせる SunCulcの画面

Slide 5

Slide 5 text

別の見方をすると  撮影時刻がわかっていると、写真内の影の方向を元に撮影場所の方角が大まかにわかる場所はわからないが、 9月16日 15:30に撮影された写真 SunCulcによると、その日時においては日本では影は北東へと伸びていることがわかる影

Slide 6

Slide 6 text

このテクニックはあまり使えなさそう?  Q.「撮影時刻なんて普通はわからないし、方角がわかっても具体的な撮影場所の特定はできないのでは」  確かに時刻の推定と比較すると、方角の推定テクニックは効果が限定的  しかし、SNSに投稿された虹の写真の撮影場所を特定する用途ならば、かなり強力に機能する

Slide 7

Slide 7 text

虹について  大気中に浮遊する水滴の中を光が通過する際に、分散することで特徴的な模様が見られる大気光学現象  https://ja.wikipedia.org/wiki/虹より https://ja.wikipedia.org/wiki/虹より太陽光観測者 https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html より雨滴

Slide 8

Slide 8 text

虹の特徴  雨上がりに観測されやすい  虹も影同様、太陽の反対側に現れる  太陽の高度が低い時(朝or夕)に見える  きれいなので写真として映えやすい  SNSにアップロードされやすい影撮影場所を特定される情報が揃いやすい

Slide 9

Slide 9 text

ケーススタディ1 時間もおおまかな場所もわかっている場合の撮影場所の特定

Slide 10

Slide 10 text

問題  右のツイートの写真の撮影地点を座標レベルで推定したいとする  石垣島で撮られているとのこと  リアルタイムで上げているようなニュアンスの文章 https://twitter.com/chibalotte/status/1489037914423975941

Slide 11

Slide 11 text

簡易調査  2022年2月3日の石垣島の天気を気象庁DBから調査  確かに午前8～9時ごろは雨上がり  場所はどこか  『2022年春季キャンプ日程について｜千葉ロッテマリーンズ』  https://www.marines.co.jp/news/detail/00007401.html  → “石垣市中央運動公園野球場”ということが公開されている  場所と撮影時刻は合っていそう  あとは、公園内を探索して具体的な撮影ポイントを探るだけ

Slide 12

Slide 12 text

後は簡単かと思いきや  Googleマップのストリートビューが公園内まで通っていない  公園内がどのような景観なのかまではわからない  → したがって、衛星写真を手がかりに推定を行う

Slide 13

Slide 13 text

SunCalcを使用して撮影された方向を推定  2022年2月3日9時47分における影の方向を知る  この方向に向かって写真を撮っている北

Slide 14

Slide 14 text

写真内の物体を観察  写真内の具体的な物体を観察  階段  背の高い木

Slide 15

Slide 15 text

以上の情報をふまえて  虹の出ている方角と撮影物を意識しながらGoogleマップの衛星写真を確認撮影方向階段背の高い木北

Slide 16

Slide 16 text

以上をふまえて  撮影地点を特定階段背の高い木撮影地点

Slide 17

Slide 17 text

ケーススタディ1のおさらい  撮影された大まかな場所はわかっているが具体的な地点はわからず、ストリートビューも使えない状況を想定  一応、xINT CTF2021のDISK問のオマージュ  情報を収集・統合し、撮影地点の推定を行った  撮影時刻と虹(影)から撮影された方角を推定  写真の分析を行い、衛星写真と突き合わせを行う

Slide 18

Slide 18 text

問題が簡単?  「撮影されたおおまかな場所も時刻もわかってるんだから時間かければ撮影地点は総当りで分かるでしょ。」という指摘があるかもしれない  → 次のケーススタディで、場所や時刻がぼかされている場合について見ていく

Slide 19

Slide 19 text

ケーススタディ2(公開版) 時間も場所もぼかされている場合の撮影場所の特定

Slide 20

Slide 20 text

問題  右のツイートの画像の撮影地点を座標レベルで推定したいとする  ツイート日時はMM月DD日HH時mm分  しかし“この前”と書いてあるのでいつの虹かは不明  影も写っていない  また、場所情報も不明  安易に特定されないように情報管理をしっかりされている印象ツイッターのスクリーンショット虹の写真

Slide 21

Slide 21 text

撮影時刻推定をどうするか  気象庁DBを見るというアイディア  → 過去の気象データを調べるには先に位置情報を入力する必要があるため非効率  一つ一つ地域を見ていくことはできるが手間がかかる  また、虹が見えるタイミングに必ずしも天気ステータスが雨→晴というわけではない https://www.data.jma.go.jp/obd/stats/etrn/

Slide 22

Slide 22 text

撮影時刻推定をどうするか  代替案: 他のユーザが似たような画像を地名付きで投稿していないかを検索する  Twitterの検索演算子を駆使し、ターゲットのツイートの数日前で虹の画像を投稿しているツイートを検索する

Slide 23

Slide 23 text

撮影時刻推定をどうするか  その結果、似たような景観の写真を別のユーザが投稿している  時刻や場所が添えられて投稿されている  どうやらmm月dd日 hh時mm分ころ <<場所>>で撮影されたものの可能性が高い  →時刻とおおまかな場所は絞り込めた。写真の分析に入る

Slide 24

Slide 24 text

写真内に写っているものを観察  木  公園が近くにある?  街路灯の形  建物の形  高層  市内の可能性  信号  道路、交差点がある  標識  車が来る方向がわかる  どちらのサイドの歩道に立っているかがわかるお題の虹の写真

Slide 25

Slide 25 text

SunCalcを使用して撮影された方向を推定  mm月dd日 hh時mm分 <<場所>>の太陽と影の方位角を知る  また虹と道路のなす角がそれっぽいので、 <<場所>>で撮影されたものという確信度が高まる SunCulcのスクリーンショット

Slide 26

Slide 26 text

建物を「画像で検索」  写真からビルの部分を切り取って画像で検索  そのままだと、似たような風景が列挙されるだけで手がかりにならないもとの画像からビルの部分を切り取った画像 Google 画像で検索結果ページ (めぼしいものはヒットせず…)

Slide 27

Slide 27 text

「画像で検索」のテクニック  画像で検索した後、テキストを加えると画像を絞り込むことができる  ここでは「 <<場所>> 」というワードをテキストフォームに与えて再検索する  画像候補が<<場所>>に関連するものになる  スクロールして目検で画像を探す  「<<建物名>>」の画像がとても似ている Google画像検索結果ページ <<建物名>>の写真

Slide 28

Slide 28 text

撮影場所の特定  <<建物名>>近辺のストリートビューを確認  周りの景観が一致  そこから撮影場所を特定した撮影地点のストリートビューお題の虹の写真

Slide 29

Slide 29 text

ケーススタディ2のおさらい  撮影場所、撮影時刻がぼかされている状況を想定  時刻と大まかな撮影場所の特定  他のツイートで類似した画像が場所情報付きで投稿されているのでこれを手がかりとして時刻と地域まで確定  情報を収集・統合し、撮影地点の推定を行った  地域に対して、周りの景色、SunCulcを元に、撮影できそうなポイントを衛星写真で確認  写真内の建物を、画像(+テキスト)で検索を行い特定ここがSNSの怖いところ。自分が自衛していても、他人も自衛しているとは限らない。

Slide 30

Slide 30 text

まとめ  ケーススタディを通して、虹をSNSに投稿することの危険性を確認  虹は特定される情報が揃いやすい  方角+周りの景観から撮影場所を特定されてしまう  時間や場所をごまかしにくい  情報量の多いツイートと結びついてしまう  SNSで活動する際はくれぐれもお気をつけください

Slide 31

Slide 31 text

おまけ: 3月のOSINT CTF  osint.games  https://www.osint.games/  100問以上のOSINT問からなるCTF  SNS調査、写真の撮影場所の特定、ダークウェブの調査など  OSINTのエキスパートによって作問  3月1日より1ヶ月以上開催  商品は特に無い  参加費: 20$

Slide 32

Slide 32 text

参考文献  『完全理解小学理科』, 西村賢治(編著)  Using the Sun and the Shadows for Geolocation - bellingcat  https://www.bellingcat.com/resources/2020/12/03/using-the- sun-and-the-shadows-for-geolocation/  虹 – Wikipedia  https://ja.wikipedia.org/wiki/虹  雑科学ノート－虹の話（その２）－  https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html

Slide 33

Slide 33 text

ご清聴ありがとうございました @meow_noisy