owaspkyushulocalchaptermeeting7th

Transcript

1. OWASP Kyushu Local Chapter Meeting 7th Depressed One Step Web scraping 2016年12月14日 @nwiizo
2. アジェンダ • はじめに • OWASP BWAとは • 情報を取得してみよう • 自動ログインしてみよう • ログイン後ページでの情報を取得してみよう • レスポンスヘッダーのチェック • まとめ
3. はじめに • Python3を使ってハンズオン 自動ログインツールの生成 簡易診断ツールの作成 • くれぐれも自分の管理下以外のサーバには 行わないように • 猛者が暇しない為の問題も用意しています
4. OWASP BWAとは • OWASP Broken Web Applocations Project • 意図して脆弱なアプリケーションを集めた仮 想マシンを提供しているプロジェクト • 今回は、ここにあるWebアプリを対象に使う
5. 実行環境(Python3) • 2020年に公式のPython2の開発/保守が終了 します。 Python3 でやるより2の方が幸せ になれることが多いけどな！！
6. Python3に対する勘違い • モジュールが対応していない。 • 文字や数字の振る舞いが違いすぎない？？ • そもそもいろんな挙動が違いすぎる。 Python3でも相当するモジュールは存在する場合が多い 申し訳ありません。 ごめんなさい
7. OWASP BWAの起動 • ダウンロードしたovaをVirtualboxで起動 • 仮想ネットワークの設定でネットワークを「ホ ストオンリーアダプター」に変更しておく(外部 に公開ぜず設定自分だけ見れるという)
8. ブラウザでアクセス • http://[イメージのIPアドレス]/WackoPickoにア クセス • WackoPicko 脆弱性のあるWebサイト 画像の共有 画像の売買 etc
9. タイトルの取得 • 任意のWebページのタイトルを取得するプロ グラムの作成 • WackoPickoのタイトルを取得して標準出力に 出力してください
10. 使用するライブラリ • HTMLの取得のために urllibを使用する。 • HTMLを解析するために BeautifulSoupを使用する。
11. get_header.py import urllib from bs4 import BeautifulSoup url = "http://192.168.16.128/WackoPicko/" page = urllib.request.urlopen(url).read() page_title = BeautifulSoup(page,"html.parser") print(**********.title.string)
12. 任意の情報の取得 • Titleの情報をとってくるスクリプトを書きました。 • 今回は、そのページにあるリンクを集めるス クリプトを作ってみましょう !!
13. get_href.py url = "http://192.168.16.128/WackoPicko/" page = urllib.request.urlopen(url) s_p = page.read() s = BeautifulSoup(s_p,"html.parser") a_list = s.findAll(“*") for a in a_list: print (a.get(“****"))
14. [追加]入力フォームの探索 • Titleもaタグの情報も集めることができました。 • 次にログインフォームの入力にどのようなも のがあるのか探索してみましょう
15. [追加]get_input.py url = "http://192.168.16.128/WackoPicko/users/login.php" page = urllib.request.urlopen(url) s_p = page.read() s = BeautifulSoup(s_p,"html.parser") for form in s.findAll(“*****"): print(form.get(“****"))
16. 自動ログインの実装 • 入力すべき値はすべてわかっている前提で の自動ログインを行う HTMLを解析し て必要な情報 を取得 取得したデータ を元にログイン ページにログイ ン情報を送信 ログイン成功
17. IDとパスワード • 最初のページ http://[IP_address]/ の WackoPickoのブックマークをクリック • ログイン情報などが記載されています。 はい、便利
18. HTMLの解析(手動) http://[ip_address]/WackoPicko/users/login.php <h2>Login</h2> <table style="width:320px" cellspacing="0"> <form action="/WackoPicko/users/login.php" method="POST"> <tr><td>Username :</td><td> <input type="text" name="username" /></td></tr> <tr><td>Password :</td><td> <input type="password" name="password" /></td></tr> <tr><td><input type="submit" value="login" /></td><td> <a href="/WackoPicko/users/register.php">Register</a></td></tr> 送信先 ユーザー名 パスワード
19. 使用するライブラリ • POSTリクエストを送信するためにrequestsを 使う • pip3 install requests
20. Auto_login.py import requests payload = {"username":"scanner1","password":"scanner1"} r = requests.post("http://192.168.16.128/WackoPicko/users/login.php") print(r.text)
21. 課題1 • BeautifulSoupなどを使ってログインできたか を確認しましょう
22. 課題2 • ユーザを変えるたびにソースコードの変更を 行うのは手間 • 実行時のコマンドライン引数にログイン情報 を入力できるようにしましょう
23. まとめ • Python3を使って特定の情報の取得、ログイ ンの自動化などWebスクレイピングの入門を 行いました。 • 各種モジュールにはもっと便利な機能があり 自分でカスタマイズしていきましょう。 • くれぐれも管理していないWebサイトに行わな い事。
24. 謝辞 • 発表の機会を下さった。OWASP Kyushu Chapter Leader 服部さんには深く感謝申し上げたいと思 います。 • 無粋な学生に快く会場を貸してくださった BETASOFT 竹田様。会場の設定が何度も間違っ ていてすみません。心より御礼申し上げます。 • このスライドの多くは実習の時間を使って作成し ました。共同実習者の水田くんには大変、迷惑 をかけました。