次世代搜尋引擎戰爭

應林珮瑜學姊邀請，於元智大學資訊傳播研究所 Seminar 分享。

Transcript

1. 次世代搜尋引擎戰爭
   蔡秉諺
   Yahoo Search 資深工程師
   網頁前端工程師
   1 / 53
   

   View Slide

2. 移民網路的
   第一代
   第二代
   第三代
   2 / 53
   1 / 53
   

   View Slide

3. 2 / 53
   今天的內容
   搜尋產業歷史與現況
   搜尋產業如何賺錢
   你該知道的搜尋引擎運作模式
   網頁前端工程師
   3 / 53
   

   View Slide

4. 3 / 53
   1989 World Wide Web (WWW)
   1994 Jerry Yang & David Filo
   網站好多 好難找 來幫網站建個目錄好了
   Jerry and David's Guide to the World Wide Web
   Yahoo
   http://web.archive.org/web/19961017235908/http://www.yahoo.com/
   http://dir.yahoo.com/
   4 / 53
   

   View Slide

5. 4 / 53
   搜尋引擎
   全文檢索
   不是新技術 冷門
   資料文獻 古文經典 圖書館
   圖書資訊學系 圖書館系
   全文檢索 + Crawler + Ranking = 搜尋引擎
   5 / 53
   

   View Slide

6. 5 / 53
   搜尋引擎 1994 - 1998
   AltaVista Excite Inktomi Overture InfoSeek …
   http://en.wikipedia.org/wiki/Search_engine
   http://searchenginehistory.com
   6 / 53
   

   View Slide

7. 6 / 53
   Google
   1998
   目前來看 勝出原因 PageRank
   網站越多人連越高分 被高分網站連更高分
   http://ilpubs.stanford.edu:8090/422/
   現在沒那麼簡單了
   7 / 53
   

   View Slide

8. 7 / 53
   2000 - 2002
   Yahoo Google 是夥伴
   Yahoo 目錄找不到的 用 Yahoo Search 找
   Yahoo Search - Powered by Google
   http://web.archive.org/web/20010701001021/http://www.yahoo.com/
   Yahoo 發現不對勁
   Yahoo 想買 Google
   8 / 53
   

   View Slide

9. 8 / 53
   Yahoo 買 Inktomi Overture AltaVista
   Yahoo 擁有自己的搜尋技術
   9 / 53
   

   View Slide

10. 9 / 53
    微軟
    MSN Search 1998
    Live Search 2006
    Bing 2008
    10 / 53
    

    View Slide

11. 10 / 53
    Yahoo 2004 - 2008
    科技公司？ 媒體公司？
    微軟試圖併購 Yahoo
    Yahoo 與 Google 廣告同盟 被政府反壟斷否決
    11 / 53
    

    View Slide

12. 11 / 53
    媒體公司
    Yahoo & Bing 2009
    Yahoo Search - Powered by Bing
    http://tw.search.yahoo.com/search?p=DVD
    10 年
    5 年 可重議
    12 / 53
    

    View Slide

13. 12 / 53
    科技公司
    2012 Marissa Mayer
    Google 前副總裁
    Yahoo CEO
    13 / 53
    

    View Slide

14. 13 / 53
    以上是歷史 再來講現在
    有沒有問題？
    14 / 53
    

    View Slide

15. 14 / 53
    搜尋引擎 不只是搜尋引擎
    什麼時候會用搜尋引擎？
    15 / 53
    

    View Slide

16. 15 / 53
    2009 Wolfram Alpha
    http://www.wolframalpha.com
    Answer Engine
    16 / 53
    

    View Slide

17. 16 / 53
    Bing 2008
    Partner with Wolfram Alpha
    Search Filter
    http://tw.search.yahoo.com/search?p=yzu
    17 / 53
    

    View Slide

18. 17 / 53
    Search Engine
    Decision Engine
    Answer Engine
    以前是越快連出去越好
    現在 在這就停了 不用連出去
    與傳統網站搶生意
    18 / 53
    

    View Slide

19. 18 / 53
    DD - Direct Display
    直接顯示
    http://tw.search.yahoo.com/search?p=統一發票
    http://tw.search.yahoo.com/search?p=宜蘭景點
    http://tw.search.yahoo.com/search?p=電影
    http://tw.search.yahoo.com/search?p=台北天氣
    http://tw.search.yahoo.com/search?p=英國藍
    http://tw.search.yahoo.com/search?p=31 USD
    http://tw.search.yahoo.com/search?p=10000 / 31
    http://tw.search.yahoo.com/search?p=王建民
    19 / 53
    

    View Slide

20. 19 / 53
    DD
    目前只在美國推出
    http://search.yahoo.com/search?p=pizza+sunnyvale
    http://search.yahoo.com/search?p=Yankees
    目前只在美國 Tablet 推出
    http://tw.search.yahoo.com/tablet/s?p=san+francisco+weather
    20 / 53
    

    View Slide

21. 20 / 53
    哪些 Yahoo 做的？ 哪些 Bing 做的？
    Bing 提供 廣告 & 網頁 圖片 影片 新聞 搜尋結果
    其他 Yahoo 自己做
    DD ︑其他搜尋︑網頁呈現
    http://tw.search.yahoo.com/search?p=Kobe+Bryant
    21 / 53
    

    View Slide

22. 21 / 53
    無時無刻不搜尋
    Yahoo! 奇摩首頁
    Chrome 、 Android 、 Google Glass 、 Google Driverless Car
    Google 付給 Mozilla 3 年 10 億美金
    Google 付給 Apple 1 年 10 億美金
    微軟 IE 、 Windows 、 Windows Phone
    22 / 53
    

    View Slide

23. 22 / 53
    個人化 自然語言化
    Apple Sri
    Google Now
    Facebook Graph Search
    Yahoo 美國首頁
    23 / 53
    

    View Slide

24. 23 / 53
    行動優先
    Yahoo 買 Summly
    Yahoo 買 Aviate
    Mobile ︑ Tablet 版搜尋網頁
    Yahoo 新聞 App
    24 / 53
    

    View Slide

25. 24 / 53
    台灣香港在地化
    StatCounter
    Desktop + Tablet + Mobile 搜尋引擎市占比
    美國 Google 80% Yahoo 10% Bing 10%
    英國 Google 90% Bing 5% Yahoo 3%
    法國 Google 95% Yahoo 2.5% Bing 2.5%
    日本 Google 60% Yahoo 35%
    中國 Baidu 60% 360 25%
    南韓 Naver 50% Google 50%
    台灣 Google 60% Yahoo 35%
    香港 Google 70% Yahoo 28%
    25 / 53
    

    View Slide

26. 25 / 53
    以上是搜尋引擎的現在
    有沒有問題？
    26 / 53
    

    View Slide

27. 26 / 53
    搜尋產業靠什麼賺錢？
    廣告
    搜尋關鍵字廣告
    當使用者搜尋特定關鍵字 出現的廣告
    與使用者搜尋高度相關
    27 / 53
    

    View Slide

28. 27 / 53
    Overture
    1998
    道德
    專利
    28 / 53
    

    View Slide

29. 28 / 53
    搜尋關鍵字廣告什麼時候要付錢？
    點了才要付錢
    Display AD 看了就要付錢
    Search AD 點了才要付錢
    點擊率
    Display AD 0.1% - 0.2%
    Search AD 第一筆 > 10% 依序遞減
    29 / 53
    

    View Slide

30. 29 / 53
    RPS = Revenue / Pageviews = Coverage * CTR * PPC
    RPS -> Revenue Per Search
    CTR -> Click Though Rate
    PPC -> Pay Per Click
    怎麼讓 Revenue 變大？
    Pageviews 變大 最無害
    其它？
    明晚八點 民視 風水世家 精彩大結局
    30 / 53
    

    View Slide

31. 30 / 53
    PPC
    Pneumoconiosis 矽肺症
    DUI - Driving under the influence
    DWI - Driving while intoxicated
    Drunken driving
    Personal injury 人身損害
    31 / 53
    

    View Slide

32. 31 / 53
    拼 PPC ？
    其它關鍵字
    SEO
    32 / 53
    

    View Slide

33. 32 / 53
    又一個段落
    搜尋產業怎麼賺錢？
    有問題嗎？
    33 / 53
    

    View Slide

34. 33 / 53
    你該知道的搜尋引擎運作模式
    34 / 53
    

    View Slide

35. 34 / 53
    Crawler
    從一個網頁抓起 把網頁裡的連結加入待抓名單
    User-Agent: Googlebot / bingbot
    與 Crawler 溝通 - robot.txt
    完全沒被連的網頁 搜尋引擎不會知道
    35 / 53
    

    View Slide

36. 35 / 53
    主動告知搜尋引擎
    Bing Webmaster Tools
    Google Webmasters
    36 / 53
    

    View Slide

37. 36 / 53
    網頁抓完 建 Inverted Index
    反向索引
    某某詞 出現在哪幾個網頁
    踹共 出現在 A B C D E 網頁
    37 / 53
    

    View Slide

38. 37 / 53
    斷詞
    英文 空白分隔 字典
    中文 n-gram 2-gram
    元智大學 元智 智大 大學
    踹共
    38 / 53
    

    View Slide

39. 38 / 53
    TF-IDF
    term frequency–inverse document frequency
    http://www.yzu.edu.tw
    名稱 更多 內容 資格 元智 大學 招生
    更多 內容 名稱 資格 招生 大學 元智
    39 / 53
    

    View Slide

40. 39 / 53
    你寫的網頁搜尋引擎看得懂嗎？
    你有專為搜尋引擎寫網頁嗎？
    你寫網頁的時候有考慮搜尋引擎？
    40 / 53
    

    View Slide

41. 40 / 53
    http://www.infocom.yzu.edu.tw/
    41 / 53
    

    View Slide

42. 41 / 53
    基本上
    圖片上的字看不懂
    42 / 53
    

    View Slide

43. 42 / 53
    http://www.jsl.com.tw/poetree/
    43 / 53
    

    View Slide

44. 43 / 53
    基本上
    Flash 裡的字看不懂
    44 / 53
    

    View Slide

45. 44 / 53
    https://www.google.com/maps
    45 / 53
    

    View Slide

46. 45 / 53
    基本上
    JavaScript 看不懂
    46 / 53
    

    View Slide

47. 46 / 53
    搜尋引擎要處理的資料非常大量
    無法為單一網站客製化 除非你夠重要
    你夠重要嗎？ 幾乎沒有人夠重要
    47 / 53
    

    View Slide

48. 47 / 53
    Semantic HTML
    48 / 53
    

    View Slide

49. 48 / 53
    搜尋引擎部分到此為止
    有沒有問題？
    49 / 53
    

    View Slide

50. 49 / 53
    網頁前端工程師
    水電工 裝潢師傅
    UED 給我們設計圖 按圖牽網路線 水電 馬桶 電燈 … 佈置得漂漂亮亮
    PM 或客戶就是屋主
    瀏覽器就是屋子 每間都說格局方正 但就是有奇奇怪怪的地方
    還要顧及舊屋翻修
    https://tw.search.yahoo.com/search?p=英國藍
    50 / 53
    

    View Slide

51. 50 / 53
    網頁前端工程師
    入門容易 精通難 需要經驗累積
    非本科系多 沒有學校教 直到 …
    http://ccsp.ntumobile.org
    51 / 53
    

    View Slide

52. 51 / 53
    如果還想進一步了解
    JosephJ
    https://speakerdeck.com/josephj/f2e-the-keystone
    https://speakerdeck.com/josephj/f2e-for-enterprise
    Kuro Hsu
    http://www.slideshare.net/kurotanshi/coscup-2013-24903977
    52 / 53
    

    View Slide

53. 52 / 53
    Front-End Developers Taiwan
    https://www.facebook.com/groups/f2e.tw/
    http://www.f2e.tw/
    g0v
    http://g0v.tw/
    53 / 53
    

    View Slide