$30 off During Our Annual Pro Sale. View Details »

次世代搜尋引擎戰爭

 次世代搜尋引擎戰爭

應林珮瑜學姊邀請,於元智大學資訊傳播研究所 Seminar 分享。

Ping-Yen Tsai

April 18, 2014
Tweet

More Decks by Ping-Yen Tsai

Other Decks in Technology

Transcript

  1. 次世代搜尋引擎戰爭
    蔡秉諺
    Yahoo Search 資深工程師
    網頁前端工程師
    1 / 53

    View Slide

  2. 移民網路的
    第一代
    第二代
    第三代
    2 / 53
    1 / 53

    View Slide

  3. 2 / 53
    今天的內容
    搜尋產業歷史與現況
    搜尋產業如何賺錢
    你該知道的搜尋引擎運作模式
    網頁前端工程師
    3 / 53

    View Slide

  4. 3 / 53
    1989 World Wide Web (WWW)
    1994 Jerry Yang & David Filo
    網站好多 好難找 來幫網站建個目錄好了
    Jerry and David's Guide to the World Wide Web
    Yahoo
    http://web.archive.org/web/19961017235908/http://www.yahoo.com/
    http://dir.yahoo.com/
    4 / 53

    View Slide

  5. 4 / 53
    搜尋引擎
    全文檢索
    不是新技術 冷門
    資料文獻 古文經典 圖書館
    圖書資訊學系 圖書館系
    全文檢索 + Crawler + Ranking = 搜尋引擎
    5 / 53

    View Slide

  6. 5 / 53
    搜尋引擎 1994 - 1998
    AltaVista Excite Inktomi Overture InfoSeek …
    http://en.wikipedia.org/wiki/Search_engine
    http://searchenginehistory.com
    6 / 53

    View Slide

  7. 6 / 53
    Google
    1998
    目前來看 勝出原因 PageRank
    網站越多人連越高分 被高分網站連更高分
    http://ilpubs.stanford.edu:8090/422/
    現在沒那麼簡單了
    7 / 53

    View Slide

  8. 7 / 53
    2000 - 2002
    Yahoo Google 是夥伴
    Yahoo 目錄找不到的 用 Yahoo Search 找
    Yahoo Search - Powered by Google
    http://web.archive.org/web/20010701001021/http://www.yahoo.com/
    Yahoo 發現不對勁
    Yahoo 想買 Google
    8 / 53

    View Slide

  9. 8 / 53
    Yahoo 買 Inktomi Overture AltaVista
    Yahoo 擁有自己的搜尋技術
    9 / 53

    View Slide

  10. 9 / 53
    微軟
    MSN Search 1998
    Live Search 2006
    Bing 2008
    10 / 53

    View Slide

  11. 10 / 53
    Yahoo 2004 - 2008
    科技公司? 媒體公司?
    微軟試圖併購 Yahoo
    Yahoo 與 Google 廣告同盟 被政府反壟斷否決
    11 / 53

    View Slide

  12. 11 / 53
    媒體公司
    Yahoo & Bing 2009
    Yahoo Search - Powered by Bing
    http://tw.search.yahoo.com/search?p=DVD
    10 年
    5 年 可重議
    12 / 53

    View Slide

  13. 12 / 53
    科技公司
    2012 Marissa Mayer
    Google 前副總裁
    Yahoo CEO
    13 / 53

    View Slide

  14. 13 / 53
    以上是歷史 再來講現在
    有沒有問題?
    14 / 53

    View Slide

  15. 14 / 53
    搜尋引擎 不只是搜尋引擎
    什麼時候會用搜尋引擎?
    15 / 53

    View Slide

  16. 15 / 53
    2009 Wolfram Alpha
    http://www.wolframalpha.com
    Answer Engine
    16 / 53

    View Slide

  17. 16 / 53
    Bing 2008
    Partner with Wolfram Alpha
    Search Filter
    http://tw.search.yahoo.com/search?p=yzu
    17 / 53

    View Slide

  18. 17 / 53
    Search Engine
    Decision Engine
    Answer Engine
    以前是越快連出去越好
    現在 在這就停了 不用連出去
    與傳統網站搶生意
    18 / 53

    View Slide

  19. 18 / 53
    DD - Direct Display
    直接顯示
    http://tw.search.yahoo.com/search?p=統一發票
    http://tw.search.yahoo.com/search?p=宜蘭景點
    http://tw.search.yahoo.com/search?p=電影
    http://tw.search.yahoo.com/search?p=台北天氣
    http://tw.search.yahoo.com/search?p=英國藍
    http://tw.search.yahoo.com/search?p=31 USD
    http://tw.search.yahoo.com/search?p=10000 / 31
    http://tw.search.yahoo.com/search?p=王建民
    19 / 53

    View Slide

  20. 19 / 53
    DD
    目前只在美國推出
    http://search.yahoo.com/search?p=pizza+sunnyvale
    http://search.yahoo.com/search?p=Yankees
    目前只在美國 Tablet 推出
    http://tw.search.yahoo.com/tablet/s?p=san+francisco+weather
    20 / 53

    View Slide

  21. 20 / 53
    哪些 Yahoo 做的? 哪些 Bing 做的?
    Bing 提供 廣告 & 網頁 圖片 影片 新聞 搜尋結果
    其他 Yahoo 自己做
    DD ︑其他搜尋︑網頁呈現
    http://tw.search.yahoo.com/search?p=Kobe+Bryant
    21 / 53

    View Slide

  22. 21 / 53
    無時無刻不搜尋
    Yahoo! 奇摩首頁
    Chrome 、 Android 、 Google Glass 、 Google Driverless Car
    Google 付給 Mozilla 3 年 10 億美金
    Google 付給 Apple 1 年 10 億美金
    微軟 IE 、 Windows 、 Windows Phone
    22 / 53

    View Slide

  23. 22 / 53
    個人化 自然語言化
    Apple Sri
    Google Now
    Facebook Graph Search
    Yahoo 美國首頁
    23 / 53

    View Slide

  24. 23 / 53
    行動優先
    Yahoo 買 Summly
    Yahoo 買 Aviate
    Mobile ︑ Tablet 版搜尋網頁
    Yahoo 新聞 App
    24 / 53

    View Slide

  25. 24 / 53
    台灣香港在地化
    StatCounter
    Desktop + Tablet + Mobile 搜尋引擎市占比
    美國 Google 80% Yahoo 10% Bing 10%
    英國 Google 90% Bing 5% Yahoo 3%
    法國 Google 95% Yahoo 2.5% Bing 2.5%
    日本 Google 60% Yahoo 35%
    中國 Baidu 60% 360 25%
    南韓 Naver 50% Google 50%
    台灣 Google 60% Yahoo 35%
    香港 Google 70% Yahoo 28%
    25 / 53

    View Slide

  26. 25 / 53
    以上是搜尋引擎的現在
    有沒有問題?
    26 / 53

    View Slide

  27. 26 / 53
    搜尋產業靠什麼賺錢?
    廣告
    搜尋關鍵字廣告
    當使用者搜尋特定關鍵字 出現的廣告
    與使用者搜尋高度相關
    27 / 53

    View Slide

  28. 27 / 53
    Overture
    1998
    道德
    專利
    28 / 53

    View Slide

  29. 28 / 53
    搜尋關鍵字廣告什麼時候要付錢?
    點了才要付錢
    Display AD 看了就要付錢
    Search AD 點了才要付錢
    點擊率
    Display AD 0.1% - 0.2%
    Search AD 第一筆 > 10% 依序遞減
    29 / 53

    View Slide

  30. 29 / 53
    RPS = Revenue / Pageviews = Coverage * CTR * PPC
    RPS -> Revenue Per Search
    CTR -> Click Though Rate
    PPC -> Pay Per Click
    怎麼讓 Revenue 變大?
    Pageviews 變大 最無害
    其它?
    明晚八點 民視 風水世家 精彩大結局
    30 / 53

    View Slide

  31. 30 / 53
    PPC
    Pneumoconiosis 矽肺症
    DUI - Driving under the influence
    DWI - Driving while intoxicated
    Drunken driving
    Personal injury 人身損害
    31 / 53

    View Slide

  32. 31 / 53
    拼 PPC ?
    其它關鍵字
    SEO
    32 / 53

    View Slide

  33. 32 / 53
    又一個段落
    搜尋產業怎麼賺錢?
    有問題嗎?
    33 / 53

    View Slide

  34. 33 / 53
    你該知道的搜尋引擎運作模式
    34 / 53

    View Slide

  35. 34 / 53
    Crawler
    從一個網頁抓起 把網頁裡的連結加入待抓名單
    User-Agent: Googlebot / bingbot
    與 Crawler 溝通 - robot.txt
    完全沒被連的網頁 搜尋引擎不會知道
    35 / 53

    View Slide

  36. 35 / 53
    主動告知搜尋引擎
    Bing Webmaster Tools
    Google Webmasters
    36 / 53

    View Slide

  37. 36 / 53
    網頁抓完 建 Inverted Index
    反向索引
    某某詞 出現在哪幾個網頁
    踹共 出現在 A B C D E 網頁
    37 / 53

    View Slide

  38. 37 / 53
    斷詞
    英文 空白分隔 字典
    中文 n-gram 2-gram
    元智大學 元智 智大 大學
    踹共
    38 / 53

    View Slide

  39. 38 / 53
    TF-IDF
    term frequency–inverse document frequency
    http://www.yzu.edu.tw
    名稱 更多 內容 資格 元智 大學 招生
    更多 內容 名稱 資格 招生 大學 元智
    39 / 53

    View Slide

  40. 39 / 53
    你寫的網頁搜尋引擎看得懂嗎?
    你有專為搜尋引擎寫網頁嗎?
    你寫網頁的時候有考慮搜尋引擎?
    40 / 53

    View Slide

  41. 40 / 53
    http://www.infocom.yzu.edu.tw/
    41 / 53

    View Slide

  42. 41 / 53
    基本上
    圖片上的字看不懂
    42 / 53

    View Slide

  43. 42 / 53
    http://www.jsl.com.tw/poetree/
    43 / 53

    View Slide

  44. 43 / 53
    基本上
    Flash 裡的字看不懂
    44 / 53

    View Slide

  45. 44 / 53
    https://www.google.com/maps
    45 / 53

    View Slide

  46. 45 / 53
    基本上
    JavaScript 看不懂
    46 / 53

    View Slide

  47. 46 / 53
    搜尋引擎要處理的資料非常大量
    無法為單一網站客製化 除非你夠重要
    你夠重要嗎? 幾乎沒有人夠重要
    47 / 53

    View Slide

  48. 47 / 53
    Semantic HTML
    48 / 53

    View Slide

  49. 48 / 53
    搜尋引擎部分到此為止
    有沒有問題?
    49 / 53

    View Slide

  50. 49 / 53
    網頁前端工程師
    水電工 裝潢師傅
    UED 給我們設計圖 按圖牽網路線 水電 馬桶 電燈 … 佈置得漂漂亮亮
    PM 或客戶就是屋主
    瀏覽器就是屋子 每間都說格局方正 但就是有奇奇怪怪的地方
    還要顧及舊屋翻修
    https://tw.search.yahoo.com/search?p=英國藍
    50 / 53

    View Slide

  51. 50 / 53
    網頁前端工程師
    入門容易 精通難 需要經驗累積
    非本科系多 沒有學校教 直到 …
    http://ccsp.ntumobile.org
    51 / 53

    View Slide

  52. 51 / 53
    如果還想進一步了解
    JosephJ
    https://speakerdeck.com/josephj/f2e-the-keystone
    https://speakerdeck.com/josephj/f2e-for-enterprise
    Kuro Hsu
    http://www.slideshare.net/kurotanshi/coscup-2013-24903977
    52 / 53

    View Slide

  53. 52 / 53
    Front-End Developers Taiwan
    https://www.facebook.com/groups/f2e.tw/
    http://www.f2e.tw/
    g0v
    http://g0v.tw/
    53 / 53

    View Slide