眠気を覚ます方法を見つける

Transcript

1. @Doarakko 眠気を覚ます方法を見つける
2. ・2019年12月入社（2社目） ・エンジニア歴1.5年 　- 仕事: Go, PHP（たまに） 　- 趣味: Python, C++ ・AtCoder 緑 ・海外サッカーをよく見ます 誰？
3. とあるランキング 404
4. Google 検索でのクリック数 Top 5 の検索キーワード（直近 3 ヶ月） = どんな検索キーワードで外資就活ドットコムを訪れているのか 404
5. 1分で睡魔を退治する方法 https://gaishishukatsu.com/archives/7145
6. 外資就活ドットコムで検索すると...
7. @Doarakko 眠気を覚ます方法を見つける
8. 人間が読めば... ・眠気覚まし ・目を覚ます方法 ・眠気を覚ます方法 ・目が覚める方法 ・... 1分で睡魔を退治する方法
9. なんとなく文章の意味を理解して検索して欲しい AI を導入します
10. ベクトル検索
11. ベクトル 2.4 3.2 -8.3 0.3 ... 10.2 20.4 -29.7 3.1
12. テキストのベクトル化 サッカー観たい モデル 2.4 0.3 ... -29.7 3.1
13. テキストのベクトル化 モデルの性能に依存 ピザうまい さすがメッシ サッカー観たい ボールコントロールが大切 眠気覚まし 目を覚ます方法 眠気を覚ます方法
14. 何らかの方法でスコアリング（順位付け） テキスト スコア 目を覚ます方法 89.4 眠気覚まし 84.5 眠気を覚ます方法 80.2 ... ... サッカー観たい 20.2 さすがメッシ 10.0 ボールコントロールが大切 3.5 検索キーワード：目を覚ましたい 2.4 0.3 ... -29.7 3.1
15. ベクトル検索
16. ベクトル変換に使用するモデル BERT 　・2018年に Google が公開した自然言語処理のモデル 　・複数のベンチマークで SOTA（State of the Art）を達成 　・以降 BERT をベースにいろいろなモデルが誕生 　・元論文：https://arxiv.org/abs/1810.04805 を日本語 Wikipedia で学習させたものを使用 学習済みモデルの公開元： https://yoheikikuta.github.io/bert-japanese
17. Elasticsearch とベクトル検索 ベクトルフィールド コサイン類似度（ベクトル検索でのスコアリングに使用）
18. 全体の流れ 0. 検索対象のテキストをベクトル化して Elasticsearch に登録 1. 検索キーワードを入力 2. 検索キーワードをベクトル化 3. ベクトル化されたものを Elasticsearch に投げる
19. ベクトル化の前にいろいろと前処理 ・記号の削除 ・URL 削除 ・HTML タグ削除 ・コミュニティ返信先「>>」の削除 ・コンテンツ単位ではなく、文単位に分割 ・...
20. ① 検索キーワードをベクトルに変換 全体像 Python script Elasticsearch bert-as-service ② 変換されたベクトルを返す ③ ベクトルをクエリとして投げる ④ 検索結果を返す
21. 今回の検索対象 ・コラム（101件） 　- 本文 ・コミュニティ 　- トピック本文（100件） 　- コメント（100件） ・相談室 　- 質問（? 件） 　- 回答（100件） Elasticsearch のドキュメント数：39,683
22. 検索してみる⚽
23. @Doarakko 眠気を覚ます方法を見つける