Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
眠気を覚ます方法を見つける
Search
Doarakko
October 15, 2020
Programming
0
1.3k
眠気を覚ます方法を見つける
Doarakko
October 15, 2020
Tweet
Share
More Decks by Doarakko
See All by Doarakko
JOIN して1ヶ月のエンジニアに聞いた Liiga の良いところ 3 選
doarakko
0
69
わんわおーん
doarakko
0
60
職場を明るくする
doarakko
0
190
コードレビューの時間を削減しました
doarakko
0
82
仕事中に隠れてテレビ番組表を見るぞ
doarakko
0
94
GitHub Project の運用を自動化しました
doarakko
0
100
GitHub Actions に入門しました
doarakko
0
1.2k
積ん読を消化するために
doarakko
0
1.1k
にゃーんとわんわん
doarakko
0
1.1k
Other Decks in Programming
See All in Programming
Laravel OpenAPIによる"辛くない"スキーマ駆動開発
kentaroutakeda
2
2.1k
GitHub Copilot Tips and Tricks
yuichielectric
26
7.5k
LPIXEL×CADDi_kaerururu
kaerururu
3
300
オブジェクト指向は必要なのか / Is object-oriented needed?
kishida
27
19k
受託開発でGitLab CI を活用していく
xiombatsg
1
130
Dockerで始めるAWS Lambda開発
stutkhd0709
14
2.5k
Learning PHP and Static Analysis with PHP Parser
inouehi
1
250
OpenTelemetry のサービスという概念について
azukiazusa1
1
410
WinUI 3デモ - "CommunityToolkit.Mvvm"NuGetパッケージ編
andrewkeepcoding
0
130
TCA魔法学入門🪄
dazy
0
280
Some Quick Ideas To Improve Your Tests ( #jassttokyo )
teyamagu
PRO
2
2.3k
RubyVM を PHP で実装する 〜Hello World を出力するまで〜
memory1994
PRO
1
490
Featured
See All Featured
Pencils Down: Stop Designing & Start Developing
hursman
115
11k
RailsConf 2023
tenderlove
0
510
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
Done Done
chrislema
178
15k
Documentation Writing (for coders)
carmenintech
59
3.8k
Designing on Purpose - Digital PM Summit 2013
jponch
109
6.4k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.6k
Imperfection Machines: The Place of Print at Facebook
scottboms
257
12k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
153
14k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
Visualization
eitanlees
135
14k
Scaling GitHub
holman
456
140k
Transcript
@Doarakko 眠気を覚ます方法を見つける
・2019年12月入社(2社目) ・エンジニア歴1.5年 - 仕事: Go, PHP(たまに) - 趣味: Python, C++
・AtCoder 緑 ・海外サッカーをよく見ます 誰?
とあるランキング 404
Google 検索でのクリック数 Top 5 の検索キーワード(直近 3 ヶ月) = どんな検索キーワードで外資就活ドットコムを訪れているのか 404
1分で睡魔を退治する方法 https://gaishishukatsu.com/archives/7145
外資就活ドットコムで検索すると...
@Doarakko 眠気を覚ます方法を見つける
人間が読めば... ・眠気覚まし ・目を覚ます方法 ・眠気を覚ます方法 ・目が覚める方法 ・... 1分で睡魔を退治する方法
なんとなく文章の意味を理解して検索して欲しい AI を導入します
ベクトル検索
ベクトル 2.4 3.2 -8.3 0.3 ... 10.2 20.4 -29.7 3.1
テキストのベクトル化 サッカー観たい モデル 2.4 0.3 ... -29.7 3.1
テキストのベクトル化 モデルの性能に依存 ピザうまい さすがメッシ サッカー観たい ボールコントロールが大切 眠気覚まし 目を覚ます方法 眠気を覚ます方法
何らかの方法でスコアリング(順位付け) テキスト スコア 目を覚ます方法 89.4 眠気覚まし 84.5 眠気を覚ます方法 80.2 ...
... サッカー観たい 20.2 さすがメッシ 10.0 ボールコントロールが大切 3.5 検索キーワード:目を覚ましたい 2.4 0.3 ... -29.7 3.1
ベクトル検索
ベクトル変換に使用するモデル BERT ・2018年に Google が公開した自然言語処理のモデル ・複数のベンチマークで SOTA(State of the Art)を達成
・以降 BERT をベースにいろいろなモデルが誕生 ・元論文:https://arxiv.org/abs/1810.04805 を日本語 Wikipedia で学習させたものを使用 学習済みモデルの公開元: https://yoheikikuta.github.io/bert-japanese
Elasticsearch とベクトル検索 ベクトルフィールド コサイン類似度(ベクトル検索でのスコアリングに使用)
全体の流れ 0. 検索対象のテキストをベクトル化して Elasticsearch に登録 1. 検索キーワードを入力 2. 検索キーワードをベクトル化 3.
ベクトル化されたものを Elasticsearch に投げる
ベクトル化の前にいろいろと前処理 ・記号の削除 ・URL 削除 ・HTML タグ削除 ・コミュニティ返信先「>>」の削除 ・コンテンツ単位ではなく、文単位に分割 ・...
① 検索キーワードをベクトルに変換 全体像 Python script Elasticsearch bert-as-service ② 変換されたベクトルを返す ③
ベクトルをクエリとして投げる ④ 検索結果を返す
今回の検索対象 ・コラム(101件) - 本文 ・コミュニティ - トピック本文(100件) - コメント(100件) ・相談室
- 質問(? 件) - 回答(100件) Elasticsearch のドキュメント数:39,683
検索してみる⚽
@Doarakko 眠気を覚ます方法を見つける