$30 off During Our Annual Pro Sale. View Details »

「台灣報紙新聞」與「台灣即時新聞」

 「台灣報紙新聞」與「台灣即時新聞」

Ping-Yen Tsai

December 02, 2017
Tweet

More Decks by Ping-Yen Tsai

Other Decks in Technology

Transcript

  1. 「台灣報紙新聞」與
    「台灣即時新聞」
    蔡秉諺

    View Slide

  2. 2015
    春節 2/18 - 2/23
    228 2/27 - 3/1
    9 天

    View Slide

  3. 「台北市政府報紙新聞」與
    「台北市政府即時新聞」

    View Slide

  4. View Slide

  5. 2014-12-25

    View Slide

  6. 輿論

    View Slide

  7. Google News ?
    漏新聞

    View Slide

  8. 你們到底要什麼?

    View Slide

  9. 報紙彙整
    六大報頭條
    其它要聞
    台北市新聞
    同一新聞事件 Group
    記者姓名
    相關局處
    新聞內文
    Word 檔

    View Slide

  10. 即時監看
    網路即時新聞
    台北市相關
    15 分更新一次

    View Slide

  11. 我:開始打嘴砲

    View Slide

  12. 韶:能不能做個 DEMO ?
    我: …………………

    View Slide

  13. View Slide

  14. 「原」碩士論文
    最後沒做

    View Slide

  15. 「 DEMO 」
    https://vexed.me/daily/taipei
    https://vexed.me/realtime/taipei

    View Slide


  16. Crawl

    View Slide

  17. RSS
    報社
    類別
    標題
    描述
    網址
    時間
    順序

    View Slide

  18. 新聞內頁
    作者
    次類別
    內文
    圖片說明

    View Slide


  19. Parse

    View Slide


  20. Group

    View Slide

  21. 怎麼知道兩篇新聞
    在講同件事?
    原來我一點都不了解我自己

    View Slide

  22. 自己都不了解自己
    還要教機器?

    View Slide

  23. 同關鍵字
    同新聞事件

    View Slide

  24. 關鍵字
    Keyword

    View Slide

  25. 斷詞 詞庫
    jieba 結巴

    View Slide

  26. 踹共

    View Slide

  27. 2-Gram
    中正大學 → 中正、正大、大學

    View Slide

  28. 停止字
    \n \r \t . ; : ? ! ( ) [ ] { } \ < > - _
    @ # $ % & ~ | \ / ` ^ + = * 。 、
    … . 「 」 《 》 〈 〉 【 】 ★ → ,。
    :!; …
    好吧,就這樣!
    → 好吧、就這、這樣
    Stop Words

    View Slide

  29. 不同位置
    不同分數
    次類別 → 80
    標題 → 100
    內文 → 80 60 40 20 10 5
    圖片說明 → 50 30 10 5
    分數加總

    View Slide

  30. 前 100 名 25 同
    前 400 名 80 同
    鄰居 + 前 400 名 50 同
    → 同報社、類別、次類別
    同關鍵字
    同新聞事件
    分數受文長影響、名次不受

    View Slide

  31. 排序
    Sort

    View Slide

  32. 新聞事件
    { 間, 內 }
    排序

    View Slide

  33. 怎麼知道
    這篇新聞重要?
    原來我一點都不了解我自己

    View Slide

  34. 自己都不了解自己
    還要教機器?

    View Slide

  35. 報社編輯決定
    誰重要
    頭版頭最重要
    工人智慧
    RSS 報社 類別 順序

    View Slide

  36. 六大報
    自由、聯合、蘋果、中時
    工商、經濟
    ​越多報導
    越重要

    View Slide

  37. ​新聞事件內排序

    先比類別、再比順序
    要聞 200
    政治 100
    國際 80
    社會 30
    地方 30
    生活 30
    財經 30
    評論 20
    投訴 20
    娛樂 10

    View Slide

  38. ​新聞事件間排序
    ​類別分數相加、排序相加
    ​先比類別分數、越大越好
    ​再比排序和、越小越好

    View Slide


  39. Filter

    View Slide

  40. 台北市政府相關
    兩層 Filter
    一層 Positive
    一層 Negative
    Count >= 5

    View Slide

  41. ​台北市政府
    相關局處
    一層 Positive Filter
    目前無 Negative
    Count >= 1

    View Slide

  42. 雜訊
    Noise

    View Slide

  43. Noise
    廣編特輯
    一週大事
    ​英文新聞
    ​星座理財
    ...
    雜訊

    View Slide

  44. 做完了!?
    演算法? AI? 機器學習?
    80 → 100 難

    View Slide

  45. 即時 RSS Aggregator + Filter

    View Slide

  46. 副產品 台灣
    https://vexed.me/daily
    https://vexed.me/realtime

    View Slide

  47. 現實
    自由時報 8 點更新
    偶爾吐搥
    Parse 記者 → 大坑

    View Slide

  48. 現況 daily/taipei 半年
    realtime/taipei 至今

    View Slide

  49. 北市府放棄
    Daily
    政治 100 → 30
    國際 80 → 2000
    中時 扣分

    View Slide

  50. 經驗 不要用 Pthreads
    3-Gram 、 4-Gram 無效
    作者分析無效

    View Slide

  51. 心得
    Feeling

    View Slide

  52. View Slide

  53. 工程師爽無用
    現實會打醒你
    即時 > 報紙

    View Slide

  54. 9 天、再也不想動

    View Slide

  55. 釐清問題難

    View Slide

  56. 輿論產業
    政治公關
    網軍

    View Slide

  57. 系友會
    https://facebook.com/groups/CCUCSIE.alumni
    中正大學資工系友會

    View Slide

  58. Q & A

    View Slide