urlscan.io 超入門 - Speaker Deck

urlscan.io 超入門

by am7cinnamon

Slide 1

Slide 1 text

urlscan.io 超入門しなもん (@am7cinnamon) Powerful Web Scanner Free ▶Let’s Try ★Tutorial

Slide 2

Slide 2 text

Agenda ・urlscan.io とは・トップページ・スキャンしてみよう・Search してみよう・ユーザ登録のメリット・urlscan.io の弱点・あわせて使いたいサービス・スキャンする際の注意点・まとめ

Slide 3

Slide 3 text

urlscan.io とは

Slide 4

Slide 4 text

urlscan.io とは・web ページをスキャンして分析できるオンラインサービス・URL を送信すると、代わりにその web ページにアクセスして、得られた様々な情報を教えてくれる・危険なサイトでも安全に調査できる・ドメインや IP アドレスを調べることも可能・無料で利用できる※1 ・商用利用もできる※2 ・運営しているのはドイツの会社・URL: https://urlscan.io/ ※2 大量のクエリ実行、多数のスキャン実行、商用サービスへの統合については問い合わせが必要 ※1 有料版もあるが高額なので本スライドでは扱わない。筆者も使ったことがない

Slide 5

Slide 5 text

トップページ

Slide 6

Slide 6 text

トップページ

Slide 7

Slide 7 text

トップページ – 解説① 標準の web スキャンドメイン、IP アドレス、ハッシュ値などで検索ここに URL を入力スキャン実行 (Visibility によって色が変わる) スキャンオプション (次頁で解説)

Slide 8

Slide 8 text

トップページ – 解説② ”Options” を押したところ・Visibility 3種類から選べる - Public 送信したURL やスキャン結果がトップページや他人の検索結果に表示される - Unlisted スキャン情報はページに表示されないが、セキュリティ会社や研究者に提供される - Private スキャン情報は基本的に他者から見えず、一定時間後削除されるスキャンするページの性質 (機微な情報の有無など) で使い分けよう

Slide 9

Slide 9 text

トップページ – 解説③ ”Options” を押したところ・User Agent ユーザーエージェントを選択できるアクセス元の端末やブラウザによって挙動の変わる web ページを調べるのに使える下図のようなリストから選ぶので丸暗記する必要はないが、自分で一から設定することも可能

Slide 10

Slide 10 text

トップページ – 解説④ ”Options” を押したところ・HTTP referer リファラ (遷移元ページのURL) を選択できる特定のページからの遷移以外では正体を見せない web ページも存在するので、それを調べるのに使える……と思われる (その特定のページがわかれば)

Slide 11

Slide 11 text

トップページ – 解説④ ・Recent scans 最近スキャンされた URL ここに表示してほしくない場合は Private か Unlisted でスキャンしよう下部には現在の状態と過去 24時間のスキャン数が出ている

Slide 12

Slide 12 text

スキャンしてみよう

Slide 13

Slide 13 text

スキャンしてみようスキャンは簡単で、検索窓に調べたい web ページの URL を入力して ”○○ Scan“ ボタンを押すだけ今回は https://am7cinnamon.hatenablog.com/ をスキャン特に機微な情報などはなく、スキャンしていることが他人に見えてもまったく問題ないので、今回は Public Scan

Slide 14

Slide 14 text

スキャンしてみようスキャンには少し時間がかかる

Slide 15

Slide 15 text

スキャンしてみよう – Summary① これがスキャン結果の “Summary” (概要) の画面とにかく大量の情報が出てくる＆リンクをたどってさらなる調査ができるのが urlscan.io のメリットこの色の文字をクリックすると詳細情報が出てきたり、Search 画面へ飛べたりする

Slide 16

Slide 16 text

スキャンしてみよう – Summary② ・共通の情報ドメイン、IP アドレス、URL 入力した URL と実際に行き着いた URL が違う場合は、後者が “Effective URL” として併記される (左図にはない) urlscan.io が判定した悪意のあるサイト (主にフィッシングサイト) の場合はここに “Malicios Activity!” の表示が出る (左下図)。本当は危険なサイトなのに何も出ないこともあるので過信は禁物

Slide 17

Slide 17 text

スキャンしてみよう – Summary② ・Lookup VirusTotal、SecurityTrails、 Domaintools といった外部サービスで検索し、さらに詳しく調査できる・Go To その URL に実際にアクセスする。怪しいサイトの場合はやめておいた方が無難・Report 削除依頼。まず使わない・Rescan もう一度スキャンするリンク先の例

Slide 18

Slide 18 text

スキャンしてみよう – Summary③ ・Summary この色の文字はリンクになっていてクリックするだけでドメインや IP アドレスなどについてさらなる調査ができるリンク先

Slide 19

Slide 19 text

スキャンしてみよう – Summary④ ・urlscan.io Verdict urlscan.io が判定した悪意のあるサイト (主にフィッシングサイト) の場合は赤い表示が出る (左下図) 初回のスキャンでも判定できる場合があるのが凄いところ本当は危険なサイトなのに何も出ないこともあるので過信は禁物 Google Safe Browsing の判定も見られる「このドメインをスキャンするのは初めて」「悪意がある」「ターゲットにしている (詐称している) ブランドは楽天」

Slide 20

Slide 20 text

スキャンしてみよう – Summary⑤ ・Screenshot web ページの外観が見られるこれだけでどんなサイトか察しがつく場合もあるので意外と重要画像クリックで拡大 “Full Image” で全画面表示 “Live Screenshot” でスキャンした時点と現在のスクリーンショットを比較できる

Slide 21

Slide 21 text

スキャンしてみよう – Summary⑥ ・Domain & IP information ドメインや IP アドレス、証明書に関する様々な情報が見られるもちろん、この色の文字はリンクになっているので気になったらすぐ調べられる IP/ASNs IP Detail (Sub)Domains Domain Tree Links Certificates

Slide 22

Slide 22 text

スキャンしてみよう – Summary⑥ ・Detected technologies そのページに関連する技術が出てくるサーバソフト、DBMS、ライブラリ、 CMS、CDN、アクセス解析…… ・Stats HTTPS リクエストの数やレスポンスサイズなどの概要

Slide 23

Slide 23 text

スキャンしてみよう –HTTP① “HTTP” ボタンをクリックしたところそのページを表示する際に発生した HTTP トランザクション (リクエスト &レスポンス) が一覧で見られる右上の”Everything/HTML/…” をクリックすると、特定の種類のコンテンツだけ表示できる

Slide 24

Slide 24 text

スキャンしてみよう –HTTP② 各列右側の虫めがねのボタンをクリックすると展開されて詳しい情報が出てくる

Slide 25

Slide 25 text

スキャンしてみよう –HTTP③ この状態で “Show headers” を押すと、HTTP リクエストヘッダ＆レスポンスヘッダが見られる “Download” でコンテンツをダウンロードしたり “Go To” で実際にアクセスすることもできる

Slide 26

Slide 26 text

スキャンしてみよう –HTTP③ “Check archive.org” を押すと、インターネットアーカイブの “Wayback Machine”※ におけるその URL の保存履歴を見ることができるここから、過去の特定時期におけるそのページの状態を確認することもできる ※ https://web.archive.org/

Slide 27

Slide 27 text

スキャンしてみよう –Link “Link” ボタンをクリックしたところ異なるオリジン※へのリンクの一覧が見られる ※ オリジン：URL の「スキーム」「ホスト」「ポート」の組み合わせ

Slide 28

Slide 28 text

スキャンしてみよう –Behaviour “Behaviour” ボタンをクリックしたところ・JavaScript Global Variables ・Cookies ・Console Messages ・Security Headers が見られるスクロールすると Cookies などが見られる

Slide 29

Slide 29 text

スキャンしてみよう –Similar “Similar” ボタンをクリックしたところ同様の構造を持つのに、ホストされているインフラが異なるサイト (同一のキットで作成されたフィッシングサイトなど) の一覧が見られる実験的な機能なので、うまくいくかもしれないし結果が無意味かもしれないとのこと

Slide 30

Slide 30 text

スキャンしてみよう –その他の機能そのほか、・Indicators ・DOM ・Content などの画面がある

Slide 31

Slide 31 text

スキャンしてみよう –URL スキャン結果のページは一意の URL を持つので、これをコピー＆ペーストすることでスキャン結果を他の人と共有できる Twitter 投稿に貼り付けることもできる

Slide 32

Slide 32 text

Search してみよう

Slide 33

Slide 33 text

Search してみよう web スキャンと並ぶ urlscan.io の重要な機能が “Search” ・ドメイン名・IP アドレス・ファイル名・ハッシュ値 (SHA-256) ・AS 番号で検索して、当てはまるスキャン結果を一覧表示できる “URL：”に続くこの色の文字をクリックするとスキャン結果に飛ぶ

Slide 34

Slide 34 text

Search してみようここでは例として、ドメイン amazoncssu[.]xyz※ を Search する検索窓の “*” を消して、ドメインを入力し、”Search” ボタンを押すなお、これは本当に存在したフィッシングサイトのドメインなので直接アクセスするのは危険 (本資料作成時点で現存しないが) ※ [] は間違ってアクセスしてしまうのを防ぐために挿入しているもので、実際の Search 画面では入力しない

Slide 35

Slide 35 text

Search してみよう –検索結果検索結果が出てきた約 2ヶ月前※に 14回スキャンされていることがわかるひとまず上から見ていこう 1列目の “www.amazoncssu[.]xyz” をクリック ※ 本資料作成時から見て

Slide 36

Slide 36 text

Search してみよう –過去のスキャン結果① このスキャンを実施した時点で、ドメインは存在したもののこの URL (パス) そのものには何もなかったようだ “HTTP” 画面を見ると、 “404 Not Found” が返ってきていることがわかる検索結果に戻って、2列目の “www.amazoncssu[.]xyz/pc/” で再挑戦！

Slide 37

Slide 37 text

Search してみよう –過去のスキャン結果② 今度は Amazon のログイン画面に似た画面が出てきたこのスキャンが実施された 2020/10/5 の時点で、 Amazon をかたるフィッシングサイトがあったことがわかる urlscan.io も・悪意があるサイトである・Amazon を詐称していると判定できている

Slide 38

Slide 38 text

Search してみよう –さらなる調査① ここで IP アドレス “198.211.10[.]20” をクリックすると…… どちらをクリックしても結果は同じ

Slide 39

Slide 39 text

Search してみよう –さらなる調査② IP アドレスの詳細ページが出てくる一見してわかることは、・Amazon っぽいドメイン名だらけ・スクリーンショットが全部 Amazon のログイン画面このように、1つの IP アドレスに複数のフィッシングサイトが紐付いていることはよくある今回は Amazon 詐称しかなかったが複数のブランドを詐称するサイトが紐付いている場合もある

Slide 40

Slide 40 text

Search してみよう –さらなる調査③ ”HTTP” 画面を見ると、HTML や CSS、JS など、全部で 9つの HTTP トランザクションがあったことがわかる

Slide 41

Slide 41 text

Search してみよう –さらなる調査④ ここで 1列目の HTML について、右端の虫めがねボタンで展開後、表示されるハッシュ値をクリックすると……

Slide 42

Slide 42 text

Search してみよう –さらなる調査⑤ 大量の偽 Amazon っぽいサイトのスキャン結果がヒット！同じ HTML を返すということは、同じフィッシングキットを使っているなど、何らかの関係があるのかも？ ※ HTML ファイルではなく、画像や JS ファイルで試しても多数の偽 Amazon が出てくる

Slide 43

Slide 43 text

Search してみよう –さらなる調査⑥ もちろん検索結果の URL 部分はリンクになっているので、クリックすればスキャン結果が見られるこのように、複雑なコマンドなど必要とせず・検索窓に値を入力する・リンクをクリックするだけで直感的かつ簡単に調査ができるのが urlscan.io の大きな魅力

Slide 44

Slide 44 text

Search してみよう –さらなる調査⑦ “Similar” 画面を見ると、同様の構造を持つフィッシングサイトを多数見つけられる今回紹介した限りでも・IP アドレス・ファイルのハッシュ値・同じ構造のサイトと 3種類のアプローチで関連するフィッシングサイトを調査できることになる

Slide 45

Slide 45 text

ユーザ登録のメリット

Slide 46

Slide 46 text

ユーザ登録のメリット urlscan.io はそのままでも使えるが、ユーザ登録するともっと便利になる登録にはメールアドレスが必要だが、フリーメールアドレスで大丈夫最近のスキャン履歴 (Private Scan 含む) を見たり、多数の URL を一括送信したりできるマイページ

Slide 47

Slide 47 text

ユーザ登録のメリット登録後、コメントを付して申請すると API key が入手でき、他のサービスから urlscan.io を呼び出して使えるようになる※1 筆者は Firefox アドオン※2 “Mitaka” (https://github.com/ninoseki/mitaka) で使用している urlscan.io に限らず様々な検索サービスを右クリックメニューから呼び出せるので、URL・ドメイン・ IP アドレスなどの調査に非常に便利ここに API key が表示される ※2 Chrome でもエクステンションとして利用可能 ※1 回数制限があるが、無料プランでも Public Scan で 5,000/day、Private Scan で 50/day 使えるのでそれほど困らない

Slide 48

Slide 48 text

urlscan.io の弱点

Slide 49

Slide 49 text

urlscan.io の弱点① 非常に便利な urlscan.io だが、万能ではない弱点①：スキャンに時間がかかるスキャンには数秒～十数秒程度の時間がかかるイライラすることもあるが、その分豊富な情報を持ってきてくれるので大目に見よう

Slide 50

Slide 50 text

urlscan.io の弱点② 弱点②：スキャンしたかったのとは違うサイトをスキャンしてることがある悪性と思われるサイトを見たいのに、飛ばされた正規のサイトをスキャンしている場合など左の例は、楽天をかたるフィッシングサイトを調べたいのに、なぜかリダイレクトされた正規の楽天のページをスキャンしてしまっている (この例では、直接アクセスするとリダイレクトされず、フィッシングサイトにつながった) これを調べたかったのに正規の rakuten.co.jp に飛ばされてしまった

Slide 51

Slide 51 text

urlscan.io の弱点② 別の例偽のタイヤ通販サイトなのだが、 urlscan.io では Yahoo にリダイレクトされて正体がわからない一方、別の代理アクセスサービス aguse GATEWAYではちゃんと偽通販サイトが表示されているこれは偽サイトが日本以外からのアクセスは Yahoo に飛ばすようにしているため (aguse の運営は日本の企業) 海外のサービスなので、日本狙いのサイトにはやや弱い urlscan.io aguse GATEWAY ※ 参考「大量出現したニセ通販サイトを探る」 https://am7cinnamon.hatenablog.com/entry/research-on-fake-ecommerce-sites

Slide 52

Slide 52 text

あわせて使いたいサービス

Slide 53

Slide 53 text

あわせて使いたいサービス aguse https://www.aguse.jp/ 日本のアグスネット株式会社が運営している web スキャナ urlscan.io 同様、使い方は単に検索窓に URL を入力してボタンを押すだけ urlscan.io とは得られる情報が違うので併用推奨日本ターゲットのサイトにも強い (urlscan.io と比べて) 一方、urlscan.io が得意とする IP アドレスやドメインなどの調査は苦手 urlscan.io をスキャンしたところ

Slide 54

Slide 54 text

あわせて使いたいサービス aguse GATEWAY https://gw.aguse.jp/ aguse のサービスの 1つ代理アクセスし、結果を画像として表示する単なるスクリーンショットではなくリンクを叩いて遷移先の画面を表示することもできる※ urlscan.io に GW 越しにアクセスしたところ ※ リンクは aguse 側で審査して問題がないものだけ画像に重ねてるということなので、危険なリンクは操作できないかもしれない

Slide 55

Slide 55 text

スキャンする際の注意点

Slide 56

Slide 56 text

スキャンする際の注意点スキャンする前に、URL に個人情報などが含まれていないか必ず確認すること Public Scan では、送信した URL やスキャン結果を他人に見られてしまう特にフィッシングメールなどに記載された URL の場合、メールアドレスや ID などの情報を含んでいることがよくあるので、そのままスキャンするとメールアドレスなどが他人に丸見えになってしまう Public Scan では送信した URL は一覧に表示されてしまう

Slide 57

Slide 57 text

スキャンする際の注意点 Private Scan でも、サイトの運営者 (≒攻撃者、犯罪者) には誰が調べてるのかわかってしまうつまり、「このアドレスは生きてる」ということがばれてしまう一概にはいえないが、・URL 中にメールアドレスや ID が入っている・”?” ”id=” などに続いて謎の文字列が指定されているなどの場合は、それらを削るかでっち上げのアドレス・文字列に書き換えてスキャンすることたとえ Private Scan でも、こういう URL はそのままじゃダメ ※ 参考「こういう時はaguse/aguse Gatewayでもアクセスしちゃいけない」 https://shigeo-t.hatenablog.com/entry/2014/11/22/094900

Slide 58

Slide 58 text

まとめ

Slide 59

Slide 59 text

まとめ・urlscan.io は誰でも使える・直感的に使える web スキャナ・URL・ドメイン・IP アドレス・ハッシュ値など多様な調べ方ができる・豊富な情報量と再検索が容易な UI が魅力・様々な立場のユーザに対応 - 悪性サイトを調査・追跡するセキュリティアナリスト - サイトの挙動や構成が気になる web プログラマー、デザイナー - 不審なリンク付きのメールを受け取った一般の人 - etc. ・きっとあなたにも使い道があるはず！