Save 37% off PRO during our Black Friday Sale! »

眠気を覚ます方法を見つける

6ce2bb5c8ac10d5224fca4105eeea70f?s=47 Doarakko
October 15, 2020

 眠気を覚ます方法を見つける

6ce2bb5c8ac10d5224fca4105eeea70f?s=128

Doarakko

October 15, 2020
Tweet

Transcript

  1. @Doarakko 眠気を覚ます方法を見つける

  2. ・2019年12月入社(2社目) ・エンジニア歴1.5年  - 仕事: Go, PHP(たまに)  - 趣味: Python, C++

    ・AtCoder 緑 ・海外サッカーをよく見ます 誰?
  3. とあるランキング 404

  4. Google 検索でのクリック数 Top 5 の検索キーワード(直近 3 ヶ月) = どんな検索キーワードで外資就活ドットコムを訪れているのか 404

  5. 1分で睡魔を退治する方法 https://gaishishukatsu.com/archives/7145

  6. 外資就活ドットコムで検索すると...

  7. @Doarakko 眠気を覚ます方法を見つける

  8. 人間が読めば... ・眠気覚まし ・目を覚ます方法 ・眠気を覚ます方法 ・目が覚める方法 ・... 1分で睡魔を退治する方法

  9. なんとなく文章の意味を理解して検索して欲しい AI を導入します

  10. ベクトル検索

  11. ベクトル 2.4 3.2 -8.3 0.3 ... 10.2 20.4 -29.7 3.1

  12. テキストのベクトル化 サッカー観たい モデル 2.4 0.3 ... -29.7 3.1

  13. テキストのベクトル化 モデルの性能に依存 ピザうまい さすがメッシ サッカー観たい ボールコントロールが大切 眠気覚まし 目を覚ます方法 眠気を覚ます方法

  14. 何らかの方法でスコアリング(順位付け) テキスト スコア 目を覚ます方法 89.4 眠気覚まし 84.5 眠気を覚ます方法 80.2 ...

    ... サッカー観たい 20.2 さすがメッシ 10.0 ボールコントロールが大切 3.5 検索キーワード:目を覚ましたい 2.4 0.3 ... -29.7 3.1
  15. ベクトル検索

  16. ベクトル変換に使用するモデル BERT  ・2018年に Google が公開した自然言語処理のモデル  ・複数のベンチマークで SOTA(State of the Art)を達成

     ・以降 BERT をベースにいろいろなモデルが誕生  ・元論文:https://arxiv.org/abs/1810.04805 を日本語 Wikipedia で学習させたものを使用 学習済みモデルの公開元: https://yoheikikuta.github.io/bert-japanese
  17. Elasticsearch とベクトル検索 ベクトルフィールド コサイン類似度(ベクトル検索でのスコアリングに使用)

  18. 全体の流れ 0. 検索対象のテキストをベクトル化して Elasticsearch に登録 1. 検索キーワードを入力 2. 検索キーワードをベクトル化 3.

    ベクトル化されたものを Elasticsearch に投げる
  19. ベクトル化の前にいろいろと前処理 ・記号の削除 ・URL 削除 ・HTML タグ削除 ・コミュニティ返信先「>>」の削除 ・コンテンツ単位ではなく、文単位に分割 ・...

  20. ① 検索キーワードをベクトルに変換 全体像 Python script Elasticsearch bert-as-service ② 変換されたベクトルを返す ③

    ベクトルをクエリとして投げる ④ 検索結果を返す
  21. 今回の検索対象 ・コラム(101件)  - 本文 ・コミュニティ  - トピック本文(100件)  - コメント(100件) ・相談室

     - 質問(? 件)  - 回答(100件) Elasticsearch のドキュメント数:39,683
  22. 検索してみる⚽

  23. @Doarakko 眠気を覚ます方法を見つける