WEB記事要約チャットボット

Transcript

1. WEB記事要約BOT 0 2023/07
2. | 背景 1 -アンケート- 「皆さんがよく見るニュースサイトはどこですか？」
3. | 背景 2 -アンケート- 「皆さんがよく見るニュースサイトはどこですか？」 例えば... などなど
4. | 背景 3 ちょっと多すぎない？
5. | 背景 4 自作Bot
6. | システム詳細 5 形態素解析 私 は マルコフ連鎖 エキスパートシステム
7. | システム詳細（動作イメージ） 6 岸田総理の支持率に関する記事を知りた いです。 あなた ~ トーク画面 ~
8. | システム詳細（動作イメージ） 7 岸田総理の支持率に関する記事を知りた いです。 2023年7月のNNN・読売新聞の世論調査によれば、 岸田内閣の支持率は35％で前回より6ポイント低く 政権発足以来最低でした。マイナンバーカードへの 対応についても支持が低く、トラブル解決に対する 信頼も低いようです。また、健康保険証廃止への反 対派が58％で賛成派を上回り、少子化対策や物価高 への政府の対応も評価されていないことが分かりま した。 参照元：YahooNews Bot あなた ~ トーク画面 ~
9. 記事URL 記事内容 タイトル（分かち書き） | システム詳細(前処理) 8 前処理としてニュース記事をスクレイピングし、CSVファイルに書き込んでいる 記事URL 記事内容 タイトル（分かち書き） https://ki... 今月21日... 日本 岸田 総理 https://kisida.news.yahoo.co.jp 岸田氏が新総理に就任、 日本の指導者に決定 日本の自民党は、党内選挙にて岸田文雄氏が新 しい総理大臣に選出されることが正式に決定し ました。これにより、岸田氏は日本の新しい指 導者となります。 岸田氏は、党内での激しい選挙戦を勝ち抜き、 経験豊富な政治家としての手腕が高く評価され ました。選挙結果が発表された瞬間、党員たち からは拍手と歓声が湧き起こり、党本部は一体 感と期待に包まれました。 新総理は就任に際し、以下のようなコメントを 発表しています。 news
10. | システム詳細(前処理) 9 前処理としてニュース記事をスクレイピングし、CSVファイルに読み込んでいる 記事URL 記事内容 タイトル（分かち書き） https://ki... 今月21日... 日本 岸田 総理 https://ya... 昨日未明... 不審 死 見つかる https://su... 今週の天... 気象 情報 7 https://ne... アメリカ... 何故 国境 渡る ︙ ︙ ︙ ︙ ︙ 約100記事
11. | システム詳細 10 システム ユーザー 形態素解析 私 は 記事を特定 文章要約
12. | システム詳細 11 形態素解析 私 は タイトル NNNと読売新聞が今月 21日から23日まで 行った世論調査で、 岸田内閣を「支持する」 と答えた人は6月の 前回調査より6ポイント 下がり、35パーセント と過去最低。 分かち書き NNN / と / 読売新聞 / が / 今月 / 21 / 日 / から / 23 / 日 /まで / 行った / 世論 / 調査 / で、/ 岸田内閣 / を / 「 / 支持 / する / 」/ と / 答えた / 人 / は / 6 / 月 / の / 前回 / 調査 / より / 6 / ポイント / 下がり / 、 / 35 / パーセント / と / 過去 / 最低 / 。 リスト化 NNN , 読売新聞 , 今月 , 21 , 日 , 23 , 日 , 行った , 世論 , 調査 , 岸田内閣 , 支持 , する , 答えた , 人 , 6 , 月 , 前回 , 調査 , 6 , ポイント , 下がり , 35 , パーセント, 過去, 最低 辞書変数へ保存
13. | システム詳細 12 システム ユーザー 形態素解析 私 は 記事を特定 文章要約
14. | システム詳細 13 システム ユーザー 記事を特定 文章要約 エキスパートシステムを用いて... ユーザーの文章から 記事を特定する。 マルコフ連鎖を用いて... 記事の内容から 連続出現頻度をカウントする。
15. 記事を特定 ユーザーの入力 岸田内閣の支持率は 過去最低なのですか？ 辞書変数 記事URL 記事内容 タイトル（分かち書き） https://ki... 日本の... 日本 岸田 総理 https://ya... 昨日未明... 不審 死 見つかる https://su... 今週の天... 気象 情報 7 https://ne... アメリカ... 何故 国境 渡る ︙ ︙ ︙ ︙ ︙ ココを見る | システム詳細 14 記事要約へ 日本 岸田 日本, 岸田 ... 存在する！
16. | システム詳細 15 出現頻度をカウント 記事内容 日本の自民党は、党内選挙にて 岸田文雄氏が新しい総理大臣に 選出されることが正式に決定し ました。これにより、岸田氏は 日本の新しい指導者となります。 ︙ 2-gramで 出現頻度をカウント 文章要約 よって…
17. 文章要約 | システム詳細 16 出現頻度をカウント 記事内容 日本の自民党は、党内選挙にて 岸田文雄氏が新しい総理大臣に 選出されることが正式に決定し ました。これにより、岸田氏は 日本の新しい指導者となります。 ︙ [空白] [空白] 出現度から マルコフ連鎖を用い 文章生成を行う
18. 花火 文章要約 | システム詳細 17 ユーザー 福井県の花火大会 について 辞書変数 花火 復活 コスト 花火 復活 コスト 辞書変数に存在する単語を持ってくる
19. 文章要約 | システム詳細 18 辞書変数に存在する単語を持ってくる 質問内容の単語 から文章を生成する事ができることにより ※ コーパスは記事内容 自然な（知識のある）会話を再現する！
20. | システム詳細（成果物） 19 ~ DEMO ~ https://github.com/nogikun/LINEbot_News_Summarizer?tab=readme-ov-file#2-demo
21. | システム詳細（生成例①） 20 入力↓ 出力↓ 要約ができている！
22. | システム詳細（生成例②） 21 入力↓ 出力↓ 要約ができてない！
23. | システム詳細（生成例） 22 -考察- 良くない点 良かった点 マルコフ連鎖での文章生成 一定の確率で要約した 文章が生成される そもそも性能に限界がある
24. | 工夫した点 23 連続出現頻度をカウントするアルゴリズムを少し変えることで 実行速度を大幅に短縮している 変更前 変更後 0秒 12秒 実行時間が、
25. | まとめ 24 ・ニュース記事をスクレイピングし、CSVファイルに読み込む ・ニュース記事のタイトルを分かち書きし、辞書変数に保存 ・ユーザーの文章から記事を特定する ・記事の内容から連続出現頻度をカウントする 要約ができる！ 一定の確率で・・・
26. 25 ご清聴ありがとうございました