连接中的幂律——季柞

Transcript

1. 5 AVC 季札/@oldj 2012-12-25 5 AVC
3. 剧组成员 季札 鱼相
4. 前情提要
5. 前情提要 第 1 集 黄金矿工系统介绍 第 2 集 反馈系统与用户体验 第 3 集 数据源头：埋点那些事 第 4 集 网站分析中的平均数
6. 上回讲到... 0 50 100 150 200 250 table(cut(d2, seq(from = 0, to = 500, by = 5))) (0,5] (55,60] (125,130] (205,210] (285,290] (365,370] (445,450] 页面停留时间
7. 前情提要 第 1 集 黄金矿工系统介绍 第 2 集 反馈系统与用户体验 第 3 集 数据源头：埋点那些事 第 4 集 网站分析中的平均数 本集 Ready? Go!
8. 正片开始
9. 福尔摩斯
10. 跳舞的小人
12. 0.00%$ 2.00%$ 4.00%$ 6.00%$ 8.00%$ 10.00%$ 12.00%$ 14.00%$ e$ t$ a$ o$ i$ n$ s$ h$ r$ d$ l$ c$ u$ m$ w$ f$ g$ y$ p$ b$ v$ k$ j$ x$ q$ z$ 英文字母频率
14. 排名 词 计数 1 the 56271872 2 of 33950064 3 and 29944184 4 to 25956096 5 in 17420636 6 I 11764797 7 that 11073318 8 was 10078245 9 his 8799755 10 he 8397205 现代英语中使用最多的10个单词
15. 0" 10000000" 20000000" 30000000" 40000000" 50000000" 60000000" 70000000" 80000000" 90000000" the" and" in" that" his" it" is" as" you" be" on" by" have" from" him" all" they" my" me" their" an" them" who" been" no" there" more" up" do" your" has" could" than" some" @me" about" its" now" liAle" can" made" us" a" before" two" see" over" down" first" good" 0" 10000000" 20000000" 30000000" 40000000" 50000000" 60000000" 70000000" 80000000" 90000000" the" and" in" that" his" it" is" as" you" be" on" by" have" from" him" all" they" my" me" their" an" them" who" been" no" there" more" up" do" your" has" could" than" some" @me" about" its" now" liAle" can" made" us" a" before" two" see" over" down" first" good" y = 8E+07x-0.947
    0" 10000000" 20000000" 30000000" 40000000" 50000000" 60000000" 70000000" 80000000" 90000000" the" and" in" that" his" it" is" as" you" be" on" by" have" from" him" all" they" my" me" their" an" them" who" been" no" there" more" up" do" your" has" could" than" some" @me" about" its" now" liAle" can" made" us" a" before" two" see" over" down" first" good"
16. Zipf 定律
17. Zipf 定律 在自然语言的语料库里，一个单词出现的 频率与它在频率表里的排名成反比。
18. 频 率 排名 y x Zipf 定律 y = a x
19. y = ax−1
20. y = ax−b ( a > 0, b > 0 ) 幂律
21. P(d = k) ∝ 1 kγ 更严谨一些的公式
22. 幂律无处不在
23. 来看看 KISSY 源码
24. 1、遍历KISSY源码目录所有 js 文件； 2、找出所有匹配正则 \w+ 的词； 3、统计这些词的出现次数。
25. 排名 词 出现次数 1 function 8437 2 var 6312 3 self 6120 4 if 5473 5 0 4525 6 return 4242 7 1 4057 8 S 3751 9 this 3452 10 expect 2947
26. 0" 2000" 4000" 6000" 8000" 10000" 12000" 14000" 16000" func,on" self" 0" 1" this" get" i" a" 2" KISSY" div" value" param" node" new" data" name" TRUE" t" FALSE" element" com" in" on" test" d" is" set" p" body" b" html" document" _self" elem" cfg" null" width" object" x" String" not" base" n" leL" input" r" remove" Node" be" 0" 2000" 4000" 6000" 8000" 10000" 12000" 14000" 16000" func,on" self" 0" 1" this" get" i" a" 2" KISSY" div" value" param" node" new" data" name" TRUE" t" FALSE" element" com" in" on" test" d" is" set" p" body" b" html" document" _self" elem" cfg" null" width" object" x" String" not" base" n" leL" input" r" remove" Node" be" y = 13692x−0.704
27. y = 13692x−0.704
28. y = ax−b
29. KISSY CSS 中的词频
30. 排名 词 出现次数 1 0 3899 2 background 1763 3 ks 1688 4 left 1446 5 top 1138 6 color 1017 7 margin 987 8 width 893 9 border 829 10 height 768
31. 0" 500" 1000" 1500" 2000" 2500" 3000" 3500" 4000" 4500" 0" le*" margin" height" posi6on" 1" bu9on" padding" webkit" font" repeat" 10px" zoom" 2px" moz" sub" filter" com" text" e6e6e6" size" url" line" opacity" li" ms" ver6cal" cal" gmail" o" header" 14px" no" wrap" 0" 500" 1000" 1500" 2000" 2500" 3000" 3500" 4000" 4500" 0" le*" margin" height" posi6on" 1" bu9on" padding" webkit" font" repeat" 10px" zoom" 2px" moz" sub" filter" com" text" e6e6e6" size" url" line" opacity" li" ms" ver6cal" cal" gmail" o" header" 14px" no" wrap" y = 4156.1x−0.734
32. y = 4156.1x−0.734
33. y = ax−b
34. 0" 500000" 1000000" 1500000" 2000000" 2500000" this" var" a" 1" get" self" S" d" D" s" node" f" is" FALSE" on" 2" h" el" r" m" js" object" build" div" String" style" y" item" that" q" w" html" key" string" assets: *.js
35. 我们每天编写的代 码符合某种模式。 幂律
36. 除了代码...
37. download
39. 0" 50000" 100000" 150000" 200000" 250000" 300000" 350000" 400000" 450000" 500000" 1" 3" 5" 7" 9" 11" 13" 15" 17" 19" 21" 23" 25" 27" 29" 31" 33" 35" 37" 39" 41" 43" 45" 47" 49" 51" 53" 55" 57" 59" 61" 63" 65" 67" 69" 71" 73" 75" 77" 79" 81" 83" 85" 87" 89" 91" 93" 95" 97" 99" 0" 50000" 100000" 150000" 200000" 250000" 300000" 350000" 400000" 450000" 500000" 1" 3" 5" 7" 9" 11" 13" 15" 17" 19" 21" 23" 25" 27" 29" 31" 33" 35" 37" 39" 41" 43" 45" 47" 49" 51" 53" 55" 57" 59" 61" 63" 65" 67" 69" 71" 73" 75" 77" 79" 81" 83" 85" 87" 89" 91" 93" 95" 97" 99" y = 459055x−0.552
40. y = ax−b
41. 化妆品
43. 0" 5000" 10000" 15000" 20000" 25000" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11" 12" 13" 14" 15" 16" 17" 18" 19" 20" 21" 22" 23" 24" 25" 26" 27" 28" 29" 30" 0" 5000" 10000" 15000" 20000" 25000" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11" 12" 13" 14" 15" 16" 17" 18" 19" 20" 21" 22" 23" 24" 25" 26" 27" 28" 29" 30" y = 19784x−0.53
44. 为什么？
45. Albert-László Barabási
46. 网络节点
47. 随机网络
48. 中央化的网络
49. 无尺度网络
50. 无尺度网络
51. 无尺度网络的特征 大部分节点只有少量连结，某些节点却 拥有与其他节点的大量连结。
52. 随机网络 vs 无尺度网络
53. 无尺度网络形成条件（BA模型） 1、增长； 2、优先连接。
54. 无尺度网络的形成
55. 网络 节点 连接 组织代谢 参与消化食物以释放能量 的分子 参与相同的生化反应 好莱坞 演员 出演同一部电影 因特网 路由器 光纤及其它物理连接 蛋白质调控网络 协助调控细胞活动的蛋白 质 蛋白质之间的相互作用 研究合作 科学家 合作撰写论文 性关系 人 性接触 万维网 网页 连接地址 无尺度网络的例子
56. 那么...
57. 维弗雷多·帕累托
58. 80 / 20 法则
59. y x 20% 80% 20% 80% 80 / 20 法则
60. 最后...
61. 2.735 20.859 480.924 16.031 70.682 11.672 11.625 8.422 25.156 16.640 28.703 50.172 22.500 32.968 33.859 890.730 8.801 2207.547 17.270 4.796 20.113 2.594 19.578 11.735 14.672 17.047 175.546 46.031 210.338 40.460 1.553 53.195 55.171 65.889 59.195 248.719 106.326 4.562 21.064 25.498 11.000 6.547 48.906 29.422 6.308 20.281 333.479 23.514 74.697 83.208 138.892 4.078 6.203 32.473 32.766 8.337 35.578 36.391 73.063 3.424 22.544 33.797 3.116 59.250 36.727 18.937 59.609 20.926 13.622 22.256 8.281 3.610 15.437 5.427 7.328 2486.680 3.797 18.094 64.656 96.774 51.219 18.207 12.094 44.453 20.562 21.844 173.520 77.969 60.218 84.360 134.651 20.000 53.890 117.797 24.703 97.000 8.204 54.000 1373.062 62.855 43.031 55.437 31.462 25.344 25.344 379.031 12.064 156.516 65.656 962.890 48.065 15.675 45.269 3686.384 8.000 47.938 5.486 59.140 60.562 45.282 114.063 14.557 39.781 5.468 61.000 8.166 653.990 55.860 74.891 53.282 258.422 17.433 5.594 23.687 49.469 53.594 2.391 80.191 1.306 4810.657 117.000 220.050 45.307 48.500 89.062 22.242 118.907 10.301 171.390 79.985 96.313 222.998 344.577 207.936 0.203 55.750 52.031 14.907 43.980 26.453 0.687 3.153 102.938 5677.484 112.797 51.700 9.031 189.410 12.359 19.280 64.987 20.662 1045.719 1937.641 102.531 1047.907 1102.229 794.640 178.000 56.610 112.296 7.395 79.687 1052.985 138.203 2.578 84.078 598.875 105.593 246.494 126.485 148.906 9.422 97.243 6.404 85.797 22.547 1121.238 39.006 70.547 21.882 35.906 4010.265 84.363 95.626 16.611 116.476 43.141 15.016 2.754 47.170 152.547 175.219 4.338 15.563 1.878 2.410 172.718 7.972 7.421 651.226 26.140 44.867 36.359 12.763 9.406 402.953 2.656 40.984 155.000 34.110 49.544 3.563 15.625 552.548 60.055 11.883 4421.436 15.516 96.000 7.674 466.672 140.444 26.968 9.302 313.388 52.000 24.799 11.156 9.562 26.656 65.641 176.921 26.484 314.364 61.039 8.775 204.266 1110.500 23.704 10.484 113.750 221.711 436.605 20.438 322.991 202.922 19.250 13.234 2.418 27.029 630.937 214.140 7.687 195.109 11.126 34.375 35.312 7.017 19.105 31.657 32.547 6.765 20.128 77.273 60.234 73.710 298.000 38.218 12.841 61.390 61.375 1.485 20.652 2728.047 17.168 663.781 23.121 71.141 6.375 21.256 96.641 546.923 2.758 116.047 ... 用户在网页上的停留时间
62. 0 200 400 600 800 table(cut(x, seq(from = 0, to = 2000, by = 20))) (0,20] (280,300] (600,620] (920,940] (1.38e+03,1.4e+03] (1.98e+03,2e+03]
63. 排名 区间 计数 1 0~19 827 2 20~39 378 3 40~59 212 4 60~79 151 5 80~99 96 6 100~119 86 7 120~139 46 8 160~179 37 9 240~259 31 10 180~199 29
64. 0" 200" 400" 600" 800" 1000" 1200" 0~19" 40~59" 80~99" 120~139" 240~259" 140~159" 220~239" 420~439" 300~319" 320~339" 540~559" 440~459" 480~499" 360~379" 620~639" 1040~1059" 640~659" 380~399" 780~799" 1020~1039" 520~539" 820~839" 1060~1079" 1100~1119" 1560~1579" 0" 200" 400" 600" 800" 1000" 1200" 0~19" 40~59" 80~99" 120~139" 240~259" 140~159" 220~239" 420~439" 300~319" 320~339" 540~559" 440~459" 480~499" 360~379" 620~639" 1040~1059" 640~659" 380~399" 780~799" 1020~1039" 520~539" 820~839" 1060~1079" 1100~1119" 1560~1579" y = 1010.6x−1.525
65. 内容回顾
66. 内容回顾 1、幂律无处不在； 2、幂律的形成原因； 3、幂律的应用。
67. Thanks! to be continued...