Slide 1

Slide 1 text

第16回 初心者のためのセキュリティ勉強会(オンライン開催) meow ( @meow_noisy) 2022/02/25(金) 公開版

Slide 2

Slide 2 text

発表概要  SNSにアップロードした虹の写真は撮影場所を特定されやすい ということをケーススタディ2件を通して学ぶ

Slide 3

Slide 3 text

おしながき  先月のおさらいと虹の説明  ケーススタディ1  時間もおおまかな場所もわかっている場合の撮影場所の特定  ケーススタディ2(公開版)  時間も場所もぼかされている場合の撮影場所の特定  おわりに

Slide 4

Slide 4 text

先月の発表のおさらい  写真内の影(太陽)の方向と場所が分かると、 『 SunCulc 』を用いて撮影日時を推定可能 1月9日の11:04 ということがわかる スカイツリーの展望台から撮影した写真 影の方向 と長さを 合わせる SunCulcの画面

Slide 5

Slide 5 text

別の見方をすると  撮影時刻がわかっていると、写真内の影の方向を元に 撮影場所の方角が大まかにわかる 場所はわからないが、 9月16日 15:30に撮影された写真 SunCulcによると、その日時においては 日本では影は北東へと伸びていることがわかる 影

Slide 6

Slide 6 text

このテクニックはあまり使えなさそう?  Q.「撮影時刻なんて普通はわからないし、方角がわかって も具体的な撮影場所の特定はできないのでは」  確かに時刻の推定と比較すると、方角の推定テクニックは 効果が限定的  しかし、SNSに投稿された虹の写真の撮影場所を特定する 用途ならば、かなり強力に機能する

Slide 7

Slide 7 text

虹について  大気中に浮遊する水滴の中を光が通過する際に、分散する ことで特徴的な模様が見られる大気光学現象  https://ja.wikipedia.org/wiki/虹 より https://ja.wikipedia.org/wiki/虹 より 太陽光 観測者 https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html より 雨滴

Slide 8

Slide 8 text

虹の特徴  雨上がりに観測されやすい  虹も影同様、太陽の反対側に現れる  太陽の高度が低い時(朝or夕)に見える  きれいなので写真として映えやすい  SNSにアップロードされやすい 影 撮影場所を特定される情報が揃いやすい

Slide 9

Slide 9 text

ケーススタディ1 時間もおおまかな場所もわかっている場合の撮影場所の特定

Slide 10

Slide 10 text

問題  右のツイートの写真の撮影地点を 座標レベルで推定したいとする  石垣島で撮られているとのこと  リアルタイムで上げているような ニュアンスの文章 https://twitter.com/chibalotte/status/1489037914423975941

Slide 11

Slide 11 text

簡易調査  2022年2月3日の石垣島の天気を気象庁DBから調査  確かに午前8~9時ごろは雨上がり  場所はどこか  『2022年春季キャンプ日程について|千葉ロッテマリーンズ』  https://www.marines.co.jp/news/detail/00007401.html  → “石垣市中央運動公園野球場”ということが公開されている  場所と撮影時刻は合っていそう  あとは、公園内を探索して具体的な撮影ポイントを 探るだけ

Slide 12

Slide 12 text

後は簡単かと思いきや  Googleマップのストリートビューが公園内まで通っていない  公園内がどのような景観なのかまではわからない  → したがって、衛星写真を手がかりに推定を行う

Slide 13

Slide 13 text

SunCalcを使用して撮影された方向を推定  2022年2月3日9時47分 における 影の方向を知る  この方向に向かって写真を 撮っている 北

Slide 14

Slide 14 text

写真内の物体を観察  写真内の具体的な物体を観察  階段  背の高い木

Slide 15

Slide 15 text

以上の情報をふまえて  虹の出ている方角と撮影物を意識しながらGoogleマップの 衛星写真を確認 撮影方向 階段 背の高い木 北

Slide 16

Slide 16 text

以上をふまえて  撮影地点を特定 階段 背の高い木 撮影地点

Slide 17

Slide 17 text

ケーススタディ1のおさらい  撮影された大まかな場所はわかっているが具体的な地点は わからず、ストリートビューも使えない状況を想定  一応、xINT CTF2021のDISK問のオマージュ  情報を収集・統合し、撮影地点の推定を行った  撮影時刻と虹(影)から撮影された方角を推定  写真の分析を行い、衛星写真と突き合わせを行う

Slide 18

Slide 18 text

問題が簡単?  「撮影されたおおまかな場所も時刻もわかってるんだから 時間かければ撮影地点は総当りで分かるでしょ。」という 指摘があるかもしれない  → 次のケーススタディで、場所や時刻がぼかされている場 合について見ていく

Slide 19

Slide 19 text

ケーススタディ2(公開版) 時間も場所もぼかされている場合の撮影場所の特定

Slide 20

Slide 20 text

問題  右のツイートの画像の撮影地点を 座標レベルで推定したいとする  ツイート日時はMM月DD日HH時mm分  しかし“この前”と書いてあるので いつの虹かは不明  影も写っていない  また、場所情報も不明  安易に特定されないように情報管理を しっかりされている印象 ツイッターの スクリーンショット 虹の写真

Slide 21

Slide 21 text

撮影時刻推定をどうするか  気象庁DBを見るというアイディア  → 過去の気象データを調べるには先に位置情報を入力する 必要があるため非効率  一つ一つ地域を見ていくことはできるが 手間がかかる  また、虹が見えるタイミングに 必ずしも天気ステータスが 雨→晴というわけではない https://www.data.jma.go.jp/obd/stats/etrn/

Slide 22

Slide 22 text

撮影時刻推定をどうするか  代替案: 他のユーザが似たような画像を地名付きで投稿し ていないかを検索する  Twitterの検索演算子を駆使し、ターゲットのツイートの 数日前で虹の画像を投稿しているツイートを検索する

Slide 23

Slide 23 text

撮影時刻推定をどうするか  その結果、似たような景観の写真を別のユーザが投稿して いる  時刻や場所が添えられて投稿されている  どうやらmm月dd日 hh時mm分ころ <<場所>>で撮影され たものの可能性が高い  →時刻とおおまかな場所は絞り込めた。写真の分析に入る

Slide 24

Slide 24 text

写真内に写っているものを観察  木  公園が近くにある?  街路灯の形  建物の形  高層  市内の可能性  信号  道路、交差点がある  標識  車が来る方向がわかる  どちらのサイドの歩道に立っているかがわかる お題の虹の写真

Slide 25

Slide 25 text

SunCalcを使用して撮影された方向を推定  mm月dd日 hh時mm分 <<場所>>の太陽と影の方位角を知 る  また虹と道路のなす角がそれっぽいので、 <<場所>>で撮 影されたものという確信度が高まる SunCulcの スクリーンショット

Slide 26

Slide 26 text

建物を「画像で検索」  写真からビルの部分を切り取って画像で検索  そのままだと、似たような風景が列挙されるだけで手がかりになら ない もとの画像からビルの部分を 切り取った画像 Google 画像で検索 結果ページ (めぼしいものはヒットせず…)

Slide 27

Slide 27 text

「画像で検索」のテクニック  画像で検索した後、テキストを加えると画像を絞り込むこ とができる  ここでは「 <<場所>> 」というワードをテキストフォームに与えて 再検索する  画像候補が<<場所>>に関連するものになる  スクロールして目検で画像を探す  「<<建物名>>」の画像がとても似ている Google画像検索 結果ページ <<建物名>>の写真

Slide 28

Slide 28 text

撮影場所の特定  <<建物名>>近辺のストリートビューを確認  周りの景観が一致  そこから撮影場所を特定した 撮影地点の ストリートビュー お題の虹の写真

Slide 29

Slide 29 text

ケーススタディ2のおさらい  撮影場所、撮影時刻がぼかされている状況を想定  時刻と大まかな撮影場所の特定  他のツイートで類似した画像が場所情報付きで投稿されているので これを手がかりとして時刻と地域まで確定  情報を収集・統合し、撮影地点の推定を行った  地域に対して、周りの景色、SunCulcを元に、撮影できそうなポイ ントを衛星写真で確認  写真内の建物を、画像(+テキスト)で検索を行い特定 ここがSNSの怖いところ。 自分が自衛していても、 他人も自衛しているとは 限らない。

Slide 30

Slide 30 text

まとめ  ケーススタディを通して、虹をSNSに投稿することの 危険性を確認  虹は特定される情報が揃いやすい  方角+周りの景観から撮影場所を特定されてしまう  時間や場所をごまかしにくい  情報量の多いツイートと結びついてしまう  SNSで活動する際はくれぐれもお気をつけください

Slide 31

Slide 31 text

おまけ: 3月のOSINT CTF  osint.games  https://www.osint.games/  100問以上のOSINT問からなるCTF  SNS調査、写真の撮影場所の特定、ダークウェブの調査など  OSINTのエキスパートによって作問  3月1日より1ヶ月以上開催  商品は特に無い  参加費: 20$

Slide 32

Slide 32 text

参考文献  『完全理解 小学理科』, 西村賢治(編著)  Using the Sun and the Shadows for Geolocation - bellingcat  https://www.bellingcat.com/resources/2020/12/03/using-the- sun-and-the-shadows-for-geolocation/  虹 – Wikipedia  https://ja.wikipedia.org/wiki/虹  雑科学ノート - 虹の話(その2)-  https://hr-inoue.net/zscience/topics/rainbow2/rainbow2.html

Slide 33

Slide 33 text

ご清聴ありがとうございました @meow_noisy