Mining Interest Topics from Plurk by Using Python - Taipei.py

Transcript

1. Mining Interest Topics from Plurk by Using Python Ken@CSE.tw
2. About Me * Ken Lee * @echain * Developer at Synology Inc. * Worked for NCTU CSCC * Just graduated from NCTU
4. 在演唱會用生命應援 燒聲中... 請見諒 orz
5. 很久很久以前...
6. D-1268 #GoPlurk
8. >>> import Java Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named Java
9. >>> import Java Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named Java >>> >>> import PHP Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named PHP
10. D-848 NSC College Student Creative Research Award
12. D-701 #ECPlurk
13. >>> from multiprocessing import Process >>> import multiprocessing.connection >>> import MySQLdb >>> import re >>> import urllib2
14. >>> from multiprocessing import Process >>> import multiprocessing.connection >>> import MySQLdb >>> import re >>> import urllib2 >>> >>> import ecspy >>> from matplotlib import pyplot
17. D-270 Happy b-day to Taeyeon
29. D-260 Happy b-day to Emily
30. 「開工!!! 先把資料撈回來。」 \(▔□▔")/
31. # pacman -S python2-pip # cd /usr/bin # ln -s pip2 pip # pip install plurk-oauth $ python2 >>> from PlurkAPI import PlurkAPI
32. 「嗚… 系工作站有資源 限制，multiprocessing 會用掉一堆記憶體。」 \(▔□▔")/
33. # pip install gevent $ python2 >>> from gevent import monkey >>> from gevent.pool import Pool >>> from gevent.queue import Queue
34. 「砍站的速度不太理想， 似乎是因為 oauth2 用 的 httplib 效能很差。」 \(▔□▔")/
35. # pip install urllib3 $ python2 >>> import urllib3 >>> urllib3.connection_from_url()
36. D-230 Happy b-day to Jessica
37. 「噗哈哈哈… 朋友和粉絲的關聯 終於重新爬完了。」 (・ω・。)
39. MariaDB [plurk]> SHOW TABLE STATUS; +---------+-----------+------------+ | Name | Data | Index | +---------+-----------+------------+ | fans | 233720343 | 901548032 | | friends | 421496919 | 1625860096 | | users | 189420940 | 79509504 | +---------+-----------+------------+
40. 「索引的大小比資料 還要肥是怎樣？」 ヾ（ﾟ▽ﾟ*)ノ
41. # pacman -S redis # pip install redis $ python2 >>> import redis >>> from retry import retry
42. 「A Multi-Level Aggregation Method for optimizing modularity; Louvain method」 ヾ（ﾟ▽ﾟ*)ノ
43. 「糟糕，用 CPython 跑 @jserv 的 test case 要七分半才跑得完。」 ヾ（ﾟ▽ﾟ*)ノ
44. # pacman -S pypy # pypy get-pip.py # pip install networkx $ pypy >>> import networkx >>> import community
45. 「讚，現在最慢三十秒就 可以人肉 @jserv 了。」 ヾ（ﾟ▽ﾟ*)ノ
46. D-188 Happy b-day to Yoona
47. 「報告老師，實驗室的 儲存空間不夠了。」 (￣﹁￣)
48. 老師說：「要有機器。」 就有了機器。 (￣﹁￣)
50. 「現在有二十台機器可以 用，來玩玩看新的砍站 架構吧！」 (￣﹁￣)
53. # pacman -S zeromq # pip install pyzmq # pip install msgpack-python $ python2 >>> import zmq >>> import msgpack
56. import redis from time import time r = redis.Redis() def execute(uid): try: _t = int(time() + 300) r.zadd('WIP', uid, _t) CRAWL_FOR_THE_TARGET_AND_STORE(uid) r.sadd('DONE', uid) r.zrem('WIP', uid) except: r.zrem('WIP', uid)
57. def fetch_targets(): targets = [] _t = int(time()) for _ in r.zrangebyscore('WIP', 0, _t): targets.append(_) for _ in xrange(9): target = r.lpop('TODO') targets.append(target) return targets def add_todo(uid): if r.zscore('WIP', uid) is None \ and not r.sismember('DONE', uid): r.rpush('TODO', uid)
58. 「呃… CPU 使用率怎麼會 這麼高? I/O bound 變 成 CPU bound 了 ?!」 ಠ_ಠ
59. $ free -h total used Mem: 15G 15G -/+ buffers/cache: 8.9G Swap: 251M 3.8M $ cat /proc/cpuinfo ... model name: Dual Core AMD Opteron(tm) Processor 270 ...
60. 「骨董 CPU 不意外… 算 HMAC-SHA1 和解 JSON 花太多時間。」 (´・ω・`)
61. # pacman -S openssl # pip install ujson $ python2 >>> import hmac_sha1 >>> import ujson
62. D-159 Happy b-day to Seohyun
63. 「用 MySQL 存噗文有 點不太直覺，來試試很 潮的 MongoDB。」 (￣﹁￣)
64. 「20 = (1+9) * 2 = 兩隊少女時代 + 兩位經紀人」 \⊙▽⊙/
65. 「那就把這些機器組成 Replicated Sharded MongoDB cluster 吧。」 ‧★,:*:‧\(￣▽￣)/‧:*‧°★*
68. 「噗文全部抓回來了， 可是內容夾雜了英文、 中文和火星文…」 ヾ（ﾟ▽ﾟ*)ノ
69. 「CKIP 在學校的 mirror 被入侵關機中。」 \(▔□▔")/ 「而且 CKIP 看不懂英 文，只能斷中文詞。」
70. 「自幹斷詞系統。」 ヾ（ﾟ▽ﾟ*)ノ
72. SNSD Taeyeon Bo Peep Bo Peep Twinkle YoonA Gee Girls Generation PSY Gangnam Style
75. # pip install regex # pip install marisa-trie # pip install sqlalchemy $ python2 >>> import regex >>> import marisa_trie >>> import sqlalchemy
76. D-120 Happy b-day to Helena
77. 老師說：「系統的網頁 前端不要用 PHP 寫。」 Σヽ(ﾟД ﾟ; )ﾉ
79. 「現在放棄的話， 就要準備去當兵囉。」 _(:3」∠)_
80. # pacman -S memcached # pip install flask # pip install gunicorn $ python2 >>> import flask
81. 老師說：「系統要能同 時讓多人連線使用，算 community 要夠快。」 Σヽ(ﾟД ﾟ; )ﾉ
83. 「我們實驗室的工作站 只有 16 核心可以用。」 ヾ（ﾟ▽ﾟ*)ノ
84. 「團結就是力量。」 \⊙▽⊙/
85. $ yaourt -S rabbitmq # pip install celery $ python2 >>> import celery
88. from kombu import Queue CELERY_QUEUES = ( Queue('default', routing_key='pypy'), Queue('bsd', routing_key='python27'), ) CELERY_DEFAULT_QUEUE = 'default' CELERY_DEFAULT_ROUTING_KEY = 'pypy' CELERY_ROUTES = { 'tasks.communities': { 'queue': 'default', 'routing_key': 'pypy', }, } linux1 $ celery worker -Q default --autoscale=16,8 bsd1 $ celery worker -Q bsd --autoscale=16,8 random $ celery worker -Q default,bsd --autoscale=20,2
89. D-55 National Day of Taiwan
90. 「論文快寫完了，來幫這次 做的系統取個名字。」 (￣﹁￣)
91. 「Social Networking Service Discovery (SNSD) system」 ヾ（ﾟ▽ﾟ*)ノ
92. 「好巧！少女時代的簡寫 也是 SNSD 耶！」 \⊙▽⊙/
93. $ whois snsd.tw Domain Name: snsd.tw Contact: Ken Lee Ken@CSE.tw Record expires on 2013-10-11 (YYYY-MM-DD) Record created on 2012-10-10 (YYYY-MM-DD) Registration Service Provider: APT
94. D-31 Happy b-day to Anne
101. D-7 Thesis oral presentation
105. D-Day Graduated!!!
108. 結論
109. * 可嘗試使用 NoSQL 來解決問題
110. * 可嘗試使用 NoSQL 來解決問題 * 不夠快？寫 C-extension
111. * 可嘗試使用 NoSQL 來解決問題 * 不夠快？寫 C-extension * 跟 C 不熟？那就交給 pypy 吧！
112. * 可嘗試使用 NoSQL 來解決問題 * 不夠快？寫 C-extension * 跟 C 不熟？那就交給 pypy 吧！ * pypi 上的套件很多，多看多比較
113. * 可嘗試使用 NoSQL 來解決問題 * 不夠快？寫 C-extension * 跟 C 不熟？那就交給 pypy 吧！ * pypi 上的套件很多，多看多比較 * 要感謝的人太多了，就感謝 * 少女時代吧！