Mining Interest Topics from Plurk by Using Python

Transcript

1. Mining Interest Topics from Plurk by Using Python Ken@CSE.tw
2. About Me * Ken Lee * @echain * Developer at Synology Inc. * Worked for NCTU CSCC * Just graduated from NCTU
3. 很久很久以前...
4. D-1268 #GoPlurk
6. >>> import Java Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named Java
7. >>> import Java Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named Java >>> >>> import PHP Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named PHP
8. D-848 NSC College Student Creative Research Award
10. D-701 #ECPlurk
11. >>> from multiprocessing import Process >>> import multiprocessing.connection >>> import MySQLdb >>> import re >>> import urllib2
12. >>> from multiprocessing import Process >>> import multiprocessing.connection >>> import MySQLdb >>> import re >>> import urllib2 >>> >>> import ecspy >>> from matplotlib import pyplot
15. D-270 Happy b-day to Taeyeon
27. D-260 Happy b-day to Emily
28. 「開工!!! 先把資料撈回來。」 \(▔□▔")/
29. # pacman -S python2-pip # cd /usr/bin # ln -s pip2 pip # pip install plurk-oauth $ python2 >>> from PlurkAPI import PlurkAPI
30. 「嗚… 系工作站有資源 限制，multiprocessing 會用掉一堆記憶體。」 \(▔□▔")/
31. # pip install gevent $ python2 >>> from gevent import monkey >>> from gevent.pool import Pool >>> from gevent.queue import Queue
32. 「砍站的速度不太理想， 似乎是因為 oauth2 用 的 httplib 效能很差。」 \(▔□▔")/
33. # pip install urllib3 $ python2 >>> import urllib3 >>> urllib3.connection_from_url()
34. D-230 Happy b-day to Jessica
35. 「噗哈哈哈… 朋友和粉絲的關聯 終於重新爬完了。」 (・ω・。)
37. MariaDB [plurk]> SHOW TABLE STATUS; +---------+-----------+------------+ | Name | Data | Index | +---------+-----------+------------+ | fans | 233720343 | 901548032 | | friends | 421496919 | 1625860096 | | users | 189420940 | 79509504 | +---------+-----------+------------+
38. 「索引的大小比資料 還要肥是怎樣？」 ヾ（ﾟ▽ﾟ*)ノ
39. # pacman -S redis # pip install redis $ python2 >>> import redis >>> from retry import retry
40. 「A Multi-Level Aggregation Method for optimizing modularity; Louvain method」 ヾ（ﾟ▽ﾟ*)ノ
41. 「糟糕，用 CPython 跑 @jserv 的 test case 要七分半才跑得完。」 ヾ（ﾟ▽ﾟ*)ノ
42. # pacman -S pypy # pypy get-pip.py # pip install networkx $ pypy >>> import networkx >>> import community
43. 「讚，現在最慢三十秒就 可以人肉 @jserv 了。」 ヾ（ﾟ▽ﾟ*)ノ
44. D-188 Happy b-day to Yoona
45. 「報告老師，實驗室的 儲存空間不夠了。」 (￣﹁￣)
46. 老師說：「要有機器。」 就有了機器。 (￣﹁￣)
48. 「現在有二十台機器可以 用，來玩玩看新的砍站 架構吧！」 (￣﹁￣)
49. # pacman -S zeromq # pip install pyzmq # pip install msgpack-python $ python2 >>> import zmq >>> import msgpack
51. 「呃… CPU 使用率怎麼會 這麼高? I/O bound 變 成 CPU bound 了 ?!」 ಠ_ಠ
52. $ free -h total used Mem: 15G 15G -/+ buffers/cache: 8.9G Swap: 251M 3.8M $ cat /proc/cpuinfo ... model name: Dual Core AMD Opteron(tm) Processor 270 ...
53. 「骨董 CPU 不意外… 算 HMAC-SHA1 和解 JSON 花太多時間。」 (´・ω・`)
54. # pacman -S openssl # pip install ujson $ python2 >>> import hmac_sha1 >>> import ujson
55. D-159 Happy b-day to Seohyun
56. 「用 MySQL 存噗文有 點不太直覺，來試試很 潮的 MongoDB。」 (￣﹁￣)
57. 「20 = (1+9) * 2 = 兩隊少女時代 + 兩位經紀人」 \⊙▽⊙/
58. 「那就把這些機器組成 Replicated Sharded MongoDB cluster 吧。」 ‧★,:*:‧\(￣▽￣)/‧:*‧°★*
61. 「噗文全部抓回來了， 可是內容夾雜了英文、 中文和火星文…」 ヾ（ﾟ▽ﾟ*)ノ
62. 「CKIP 在學校的 mirror 被入侵關機中。」 \(▔□▔")/ 「而且 CKIP 看不懂英 文，只能斷中文詞。」
63. 「自幹斷詞系統。」 ヾ（ﾟ▽ﾟ*)ノ
64. # pip install regex # pip install marisa-trie # pip install sqlalchemy $ python2 >>> import regex >>> import marisa_trie >>> import sqlalchemy
65. D-120 Happy b-day to Helena
66. 老師說：「系統的網頁 前端不要用 PHP 寫。」 Σヽ(ﾟД ﾟ; )ﾉ
68. 「現在放棄的話， 就要準備去當兵囉。」 _(:3」∠)_
69. # pacman -S mod_wsgi2 # pacman -S memcached # pip install flask $ python2 >>> from gevent.wsgi \ import WSGIServer >>> import flask
70. 老師說：「系統要能同 時讓多人連線使用，算 community 要夠快。」 Σヽ(ﾟД ﾟ; )ﾉ
72. 「我們實驗室的工作站 只有 16 核心可以用。」 ヾ（ﾟ▽ﾟ*)ノ
73. 「團結就是力量。」 \⊙▽⊙/
74. $ yaourt -S rabbitmq # pip install celery $ python2 >>> import celery
77. D-55 National Day of Taiwan
78. 「論文快寫完了，來幫這次 做的系統取個名字。」 (￣﹁￣)
79. 「Social Networking Service Discovery (SNSD) system」 ヾ（ﾟ▽ﾟ*)ノ
80. 「好巧！少女時代的簡寫 也是 SNSD 耶！」 \⊙▽⊙/
81. $ whois snsd.tw Domain Name: snsd.tw Contact: Ken Lee Ken@CSE.tw Record expires on 2013-10-11 (YYYY-MM-DD) Record created on 2012-10-10 (YYYY-MM-DD) Registration Service Provider: APT
82. D-31 Happy b-day to Anne
89. D-7 Thesis oral presentation
93. D-Day Graduated!!!
96. 結論
97. * 可嘗試使用 NoSQL 來解決問題 * 不夠快？寫 C-extension * 跟 C 不熟？那就交給 pypy 吧！ * pypi 上的套件很多，多看多比較 * 要感謝的人太多了，就感謝 * 少女時代吧！