Pythonでスクレイピングしてみた twitter: @4lek3 github: alek-3

自己紹介 ・アレク（@4lek3） ・SIer ・Javaメイン ・Python初心者（去年末から始めた） ・業務での使用経験なし

なぜPython？ ・Webアプリ開発はJavaだけだとしんどい ・軽い ・人気≒情報が豊富

なぜLT？ ・とあるブログ記事 　Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで 　「コミュニティに参加してみる」 ・”初めてのLT枠”

今回発表するもの ・スクレイピング ・オンライン対戦麻雀天鳳 ・1試合ごとの対戦成績が取得できる 　・今回は861戦分 ・その結果をまとめる

戦績

HTMLの中身

分析項目 ・1位～4位の合計回数 ・直近100戦の1～4位の回数の推移 　・最初は成績が悪く、終盤は良いことは知っている ・csvファイルに出力 ⇒https://github.com/alek-3/tenhou-scraping-py

出力ファイル ・csvファイル（下の画像は編集用のxlsx）

出力結果

問題点 ・遅い気がする 　・処理全体で2分かかる 　・パース処理に時間が費やされている ・「これは遅いので改善できますよ」というフィードバックをもらう

改善前 # 対戦番号の1位～4位のプレーヤー名の idを作成する。 id_first = '#rptMain_ctl' + str_count + '_lblPLAYER1' id_second = '#rptMain_ctl' + str_count + '_lblPLAYER2' id_third = '#rptMain_ctl' + str_count + '_lblPLAYER3' id_fourth = '#rptMain_ctl' + str_count + '_lblPLAYER4' # 対戦番号の1位～4位のプレーヤー名を抽出する。 text_first = soup.select(id_first)[0].getText() text_second = soup.select(id_second)[0].getText() text_third = soup.select(id_third)[0].getText() text_fourth = soup.select(id_fourth)[0].getText()

BeautifulSoup ・マニュアルサイトを見る ・find_all()メソッドが使えそう 　・とりあえずspanタグがついているものは全部取得

HTMLの中身（もう一度）

改善後 # 対戦情報をすべて抽出 spans = soup.find_all('span') for i in spans: # 以下内容を抽出して順位集計する処理

改善結果 ・bs4メソッド呼び出し回数：3000回以上→1回 ・全体の処理時間：2分→数秒

教訓 ・プログラムを書いてフィードバックをもらおう 　・フィードバックをいただけることに感謝 ・気軽にLT出よう 　・機会をいただけることに感謝