「台灣報紙新聞」與「台灣即時新聞」

Transcript

1. 「台灣報紙新聞」與
   「台灣即時新聞」
   蔡秉諺
   

   View Slide

2. 2015
   春節 2/18 - 2/23
   228 2/27 - 3/1
   9 天
   

   View Slide

3. 「台北市政府報紙新聞」與
   「台北市政府即時新聞」
   

   View Slide

4. View Slide

5. 2014-12-25
   

   View Slide

6. 輿論
   

   View Slide

7. Google News ?
   漏新聞
   

   View Slide

8. 你們到底要什麼？
   

   View Slide

9. 報紙彙整
   六大報頭條
   其它要聞
   台北市新聞
   同一新聞事件 Group
   記者姓名
   相關局處
   新聞內文
   Word 檔
   

   View Slide

10. 即時監看
    網路即時新聞
    台北市相關
    15 分更新一次
    

    View Slide

11. 我：開始打嘴砲
    

    View Slide

12. 韶：能不能做個 DEMO ？
    我： …………………
    

    View Slide

13. View Slide

14. 「原」碩士論文
    最後沒做
    

    View Slide

15. 「 DEMO 」
    https://vexed.me/daily/taipei
    https://vexed.me/realtime/taipei
    

    View Slide

16. 抓
    Crawl
    

    View Slide

17. RSS
    報社
    類別
    標題
    描述
    網址
    時間
    順序
    

    View Slide

18. 新聞內頁
    作者
    次類別
    內文
    圖片說明
    

    View Slide

19. 拆
    Parse
    

    View Slide

20. 群
    Group
    

    View Slide

21. 怎麼知道兩篇新聞
    在講同件事？
    原來我一點都不了解我自己
    

    View Slide

22. 自己都不了解自己
    還要教機器？
    

    View Slide

23. 同關鍵字
    同新聞事件
    

    View Slide

24. 關鍵字
    Keyword
    

    View Slide

25. 斷詞 詞庫
    jieba 結巴
    

    View Slide

26. 踹共
    

    View Slide

27. 2-Gram
    中正大學 → 中正、正大、大學
    

    View Slide

28. 停止字
    \n \r \t . ; : ? ! ( ) [ ] { } \ < > - _
    @ # $ % & ~ | \ / ` ^ + = * 。 、
    … ． 「 」 《 》 〈 〉 【 】 ★ → ，。
    ：！； …
    好吧，就這樣！
    → 好吧、就這、這樣
    Stop Words
    

    View Slide

29. 不同位置
    不同分數
    次類別 → 80
    標題 → 100
    內文 → 80 60 40 20 10 5
    圖片說明 → 50 30 10 5
    分數加總
    

    View Slide

30. 前 100 名 25 同
    前 400 名 80 同
    鄰居 + 前 400 名 50 同
    → 同報社、類別、次類別
    同關鍵字
    同新聞事件
    分數受文長影響、名次不受
    

    View Slide

31. 排序
    Sort
    

    View Slide

32. 新聞事件
    { 間, 內 }
    排序
    

    View Slide

33. 怎麼知道
    這篇新聞重要？
    原來我一點都不了解我自己
    

    View Slide

34. 自己都不了解自己
    還要教機器？
    

    View Slide

35. 報社編輯決定
    誰重要
    頭版頭最重要
    工人智慧
    RSS 報社 類別 順序
    

    View Slide

36. 六大報
    自由、聯合、蘋果、中時
    工商、經濟
    ​越多報導
    越重要
    

    View Slide

37. ​新聞事件內排序
    ​
    先比類別、再比順序
    要聞 200
    政治 100
    國際 80
    社會 30
    地方 30
    生活 30
    財經 30
    評論 20
    投訴 20
    娛樂 10
    

    View Slide

38. ​新聞事件間排序
    ​類別分數相加、排序相加
    ​先比類別分數、越大越好
    ​再比排序和、越小越好
    

    View Slide

39. 篩
    Filter
    

    View Slide

40. 台北市政府相關
    兩層 Filter
    一層 Positive
    一層 Negative
    Count >= 5
    

    View Slide

41. ​台北市政府
    相關局處
    一層 Positive Filter
    目前無 Negative
    Count >= 1
    

    View Slide

42. 雜訊
    Noise
    

    View Slide

43. Noise
    廣編特輯
    一週大事
    ​英文新聞
    ​星座理財
    ...
    雜訊
    

    View Slide

44. 做完了!?
    演算法？ AI？ 機器學習？
    80 → 100 難
    

    View Slide

45. 即時 RSS Aggregator + Filter
    

    View Slide

46. 副產品 台灣
    https://vexed.me/daily
    https://vexed.me/realtime
    

    View Slide

47. 現實
    自由時報 8 點更新
    偶爾吐搥
    Parse 記者 → 大坑
    

    View Slide

48. 現況 daily/taipei 半年
    realtime/taipei 至今
    

    View Slide

49. 北市府放棄
    Daily
    政治 100 → 30
    國際 80 → 2000
    中時 扣分
    

    View Slide

50. 經驗 不要用 Pthreads
    3-Gram 、 4-Gram 無效
    作者分析無效
    

    View Slide

51. 心得
    Feeling
    

    View Slide

52. View Slide

53. 工程師爽無用
    現實會打醒你
    即時 > 報紙
    

    View Slide

54. 9 天、再也不想動
    

    View Slide

55. 釐清問題難
    

    View Slide

56. 輿論產業
    政治公關
    網軍
    

    View Slide

57. 系友會
    https://facebook.com/groups/CCUCSIE.alumni
    中正大學資工系友會
    

    View Slide

58. Q & A
    

    View Slide