PythonによるWebスクレイピング入門

UTMC ( http://www.komaba.utmc.or.jp/ ) にて行ったプレゼンテーションです。
スクレイピング、HTML、Pythonの基礎を話したあと、東京大学教養学部前期教養のお知らせページをスクレイピングするコードを解説し、ちょっとした発展課題に取り組んでもらいました。

Transcript

1. による Webスクレイピング入門 uc
2. 今日話すこと スクレイピングとは HTMLとは Pythonとは 前期教養のお知らせをスクレイピングする 実践してみよう
3. スクレイピングとは ウェブサイトの情報をプログラムによって抜き出して 加工すること
4. スクレイピングとAPIによるアクセスの違い スクレイピング データ提供元はプログラムによるアクセスを想定していない HTMLなど表示用のデータしか利用できない →必要なデータを抜き出して加工する必要がある APIによるアクセス データ提供元がプログラムによるアクセスを想定している XMLやJSONなどプログラムに扱いやすい構造のデータを利用できる
5. スクレイピング vs API 可能ならAPIを利用しよう APIを提供しているようなサービスはだいたいスクレイピングを禁止している /robots.txtを見ればプログラムによるアクセスを許可しているかがわかる スクレイピングによるアクセスが頻繁すぎてアクセス先に負荷をかけると BAN・訴訟・逮捕もありえるので注意
6. 前期教養のお知らせ http://www.c.u-tokyo.ac.jp/zenki/news/index.html の構造を調べてみよう Windowsの人 F12キー か Ctrl + Shift + I Macの人 ⌘ + option + I
7. HTMLとは HyperText Markup Languageの略 HyperText 文字だけでなくリンクや画像も入れられるすごいテキスト Markup Language 文章構造を記述するための言語 cf. プログラミング言語 リンクや画像を入れたり、文章構造を記述するためにタグが用いられる タグは<タグ名>のように記述される
8. HTMLの要素 <a href=”https://www.google.com/”>Google</a> <a>要素 <a>開始タグ <a>終了タグ <a>要素のhref属性 ↓ これがこう表示される Google
9. HTML主要タグ <div> ページの部品を区別するなど <span> 文章の一部を区別するなど <h▪> 見出し (▪ = 1, 2, 3, 4, 5, 6) <p> パラグラフ <a> リンク <img> 画像 <ol>, <ul> 箇条書き <li> 箇条書きの項目 <table> 表
10. CSSについて かつてはHTMLのタグでフォントや文字の色、文字寄せなどを決めていた 現在はHTMLには文章構造のみを記述し、見た目はCSS (Cascading Style Sheets) で記述することになっている
11. Pythonとは お手軽プログラミング言語 大体のことは短くおしゃれに書ける ライブラリが豊富 最初から付いている標準ライブラリだけでも十分強力 外部ライブラリを使えば機械学習もお手の物 マルチパラダイム いろんなプログラミング言語のおいしいところをつまみ食い
12. Pythonのダメなところ 遅い PyPyとか使えば速くもできるけどお手軽ではなくなる 間違った記述の記事が多い なるべく公式ドキュメントを見るようにしよう
13. Pythonをインストールしよう https://www.python.org/ からPython3をインストール 2019/09/27現在の最新版は3.7.4 ターミナルに $ python -V (以後Macはpythonの代わりにpython3コマンドを使用) と打ってインストールしたバージョンと一致しているか確認 $ python と打つと対話環境が起動する
14. 変数・算術演算子 数 >>> x = 1 >>> x + 2.34 3.34 文字列 >>> s = “It’s ” >>> t = ‘showtime!’ >>> s + t It’s showtime!
15. リスト >>> l = [1, 3.14, ‘abc’] >>> l[1] 3.14 >>> l.append([7, 8]) >>> l [1, 3.14, ‘abc’, [7, 8]] >>> len(l) 4
16. 辞書 >>> d = {‘name’: ‘hiroshi’, ‘age’: 35} >>> d[‘name’] ‘hiroshi’ >>> d.update(job=’office worker’) >>> d {‘name’: ‘hiroshi’, ‘age’: 35, ‘job’: ‘office worker’}
17. if文 >>> if 1 > 2: ... print(‘1 is greater than 2.’) ... else: ... print(‘1 is not greater than 2.’) ... 1 is not greater than 2.
18. in演算子 bool演算子 >>> if 2 in [1, 2, 3]: ... print(‘2 in [1, 2, 3] == True’) 2 in [1, 2, 3] == True >>> ‘工業’ in ‘東京工業大学’ and ’工業’ not in ‘東京大学’ True
19. for文 >>> members = [‘scott’, ‘Virgil’, ‘Alan’, ‘Gordon’, ‘John’] >>> for member in members: ... print(member) ... Scott Virgil Alan Gordon John
20. こんなforはやめよう >>> for i in range(len(members)): >>> print(members[i]) for文の中でインデックスを使いたいときは? >>> for i, member in enumerate(members): ... print(str(i+1) + ‘: ‘ + member) ... 1: Scott 2: Virgil 3: Alan 4: Gordon 5: John
21. 関数 >>> def add1(num): ... return num + 1 ... >>> add1(3) 4
22. クラス >>> class Dog(): ... def __init__(self, name): ... self.name = name ... def bark(self): ... print(‘I am ‘ + self.name) ... >>> dog = Dog(‘sushi’) >>> print(dog.name) sushi >>> dog.bark() I am sushi
23. ライブラリのインポート モジュール ライブラリとして利用できるソースコードが書かれたファイル パッケージ モジュールを集めたフォルダ インポート パッケージやモジュールをプログラムで使えるようにすること
24. ライブラリのインポート import tkinter import tkinter as tk import tkinter.filedialog from tkinter import ttk, filedialog from tkinter.filedialog import (FileDialog as FD, askdirectory as ad, N, NS, NSEW)
25. 仮想環境を作成する やらなくても基本的に問題なし $ python -m venv zenkinews $ cd zenkinews $ Scripts\activate (Windows) $ source zenkinews/bin/activate (Mac)
26. BeautifulSoupをインストールしよう Anacondaとか使ってる人はpipを使うと環境が崩壊するよ! $ pip3 install beautifulsoup4 pip Pythonのパッケージマネージャ BeautifulSoup Pythonの外部モジュールの1つ PythonでHTMLを解析するのに役立つ
27. お知らせページをスクレイピングしてみよう プログラムをダウンロード プログラムを実行 $ python3 zenki_news.py ターミナルにお知らせがずらっと出たら成功
28. プログラムのソースコード from urllib.request import urlopen from bs4 import BeautifulSoup url = 'http://www.c.u-tokyo.ac.jp/zenki/news/index.html' html = urlopen(url) soup = BeautifulSoup(html, 'html.parser') div = soup.find('div', id='newslist2') dds = div.find_all('dd') for dd in dds: print(dd.a.text)
29. その気になればimport以外は1行で書ける from urllib.request import urlopen from bs4 import BeautifulSoup print(‘\n’.join(dd.a.text for dd in BeautifulSoup(urlopen('http://www.c.u-tokyo.ac.jp/zenki/news/index.html'), 'html.parser').find('div', id='newslist2').find_all('dd')))
30. プログラムを1文ずつ解説します
31. from urllib.request import urlopen urllibパッケージのrequestモジュールからurlopen関数をインポートする urllibパッケージは標準ライブラリなので最初から入っている
32. from bs4 import BeautifulSoup bs4モジュールからBeautifulSoupクラスをインポートする
33. url = 'http://www.c.u-tokyo.ac.jp/...' url変数にお知らせのURL文字列を代入
34. html = urlopen(url) インポートしたurlopen関数を使って、お知らせページのHTMLを取得する html変数にはお知らせページのHTMLソースが文字列として代入される
35. soup = BeautifulSoup(html, 'html.parser') 取得したHTMLを、BeautifulSoupクラスがhtml.parserモジュールを使って soupインスタンスに変換する html.parser Pythonに最初から入っている標準モジュールの1つ。 HTMLをタグと中身に分けてくれる。(トークン化) パーサーというよりレキサー。 soup HTMLをPythonのオブジェクトに変換したもの。 HTMLをパースしたDOMツリー。
36. 阿部寛のホームページのソース <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=x-sjis"> <title>阿部寛のホームページ </title> </head> <frameset cols=18,82> <frame src=menu.htm marginheight=0 marginwidth=0 scrolling=auto name=left> <frame src=top.htm marginheight=0 marginwidth=0 scrolling=auto name=right> </frameset><noframes></noframes> http://abehiroshi.la.coocan.jp/
37. そのsoupのイメージ soup .head .meta [‘http-equiv’] = ‘Content-Type’ [‘content’] = ‘text/html; charset=x-sjis’ .title .string = ‘阿部寛のホームページ ’ .frameset [‘cols’] = [18, 82] .frame [‘src’] = ‘menu.htm’ [‘marginheight’] = 0 [‘marginwidth’] = 0 [‘scrolling’] = ‘auto’ [‘name’] = ‘left’
38. 例 阿部寛のホームページのタイトルを知りたい ↓ soup.head.title.string または soup.find(‘title’).string
39. div = soup.find('div', id='newslist2') soupの中からid属性が “newslist2” の <div> 要素を検索して抜き出す
40. dds = div.find_all('dd') 先ほど抜き出した<div>要素の中から、<dd>要素をすべて抜き出す
41. ddsの内容 dds[0] .a [‘href’] = ‘http://www.c.u-tokyo.ac.jp/zenki/news/kyoumu/2019SS2_tuishi_nittei.pdf’ [‘target’] = ‘_blank’ .string = ‘2019年度Sセメスター(S2ターム)追試験時間割（再掲）’ .img [‘src’] = ‘http://www.c.u-tokyo.ac.jp/zenki/news/kyoumu/images/common/icon_pdf.gif’ dds[1] .a [‘href’] = ‘http://www.c.u-tokyo.ac.jp/zenki/news/kyoumu/20190924engineering.pdf’ [‘target’] = ‘_blank’ .string = ‘【工学部より】2020年度工学部システム創成学科 進学内定の学生各位’ .img [‘src’] = ‘http://www.c.u-tokyo.ac.jp/zenki/news/kyoumu/images/common/icon_pdf.gif’ dds[2] .a [‘href’] = ‘http://www.c.u-tokyo.ac.jp/zenki/news/kyoumu/firstyear/2019/0920170054.htm .string = 留年・降年による英語二列の履修について
42. for dd in dds: print(dd.a.text) 見つかった<dd>要素それぞれについて、<a>要素のテキストを出力する なぜstringでなくtext? <a>要素の中に他の要素が複数含まれているとstringはNoneになる textは中のタグを無視してくれる
43. soupの実態 soup.bodyのようにしてbody要素にアクセスできるが、soupがbody属性を 持っているわけではない Pythonのオブジェクトの存在しない属性を参照しようとすると、そのクラスの __getattr__メソッドが呼ばれ、その戻り値が属性の値として戻ってくる これを利用して存在しない属性にアクセスできるようにしている タグ属性にはsoup.body[‘id’]でアクセスできるが、これも__getitem__メ ソッドを使っている
44. 実践してみよう それぞれのお知らせのリンク先のアドレスを出力してみよう それぞれのお知らせの左にある日付を出力してみよう 日付とお知らせをセットで出力してみよう 1年生向けのお知らせだけ出力してみよう 結果をファイルに保存してみよう 適当な新聞のトップニュースを出力してみよう
45. それぞれのお知らせのリンク先のアドレス print(dd.a.text) ↓ print(dd.a[‘href’])
46. お知らせの左にある日付 dds = div.find_all(‘dd’) ↓ dts = div.find_all(‘dt’) または dts = div(‘dt’)
47. 日付とお知らせをセットで出力 for dt, dd in zip(div(‘dt’), div(‘dd’)): print(dt.text + ‘, ‘ + dd.a.text) zip 複数のリストをまとめてforで参照できる関数
48. 1年生向けのお知らせだけ出力 for dt, dd in zip(div(‘dt’), div(‘dd’)): if ‘firstyear’ in dt(‘img’)[1][‘src’]: print(dd.a.text)
49. 結果をファイルに保存 from pathlib import Path ︙ ︙ dds = div.find_all(‘dd’) with Path(‘result.txt’).open(‘w’) as f: for dd in dds: f.write(dd.a.text + ‘\n’) pathlib ファイルパスをスマートに扱える標準モジュール
50. 次のステップ 定期的にアクセスして監視したい mapleにプログラムを設置してcronで定期実行 得られたデータをSNSに投稿したい RequestsライブラリでOAuth認証・APIを叩く
51. おわり 仮想環境を使った人はお片付けしましょう $ deactivate