Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
眠気を覚ます方法を見つける
Search
Doarakko
October 15, 2020
Programming
0
1.5k
眠気を覚ます方法を見つける
Doarakko
October 15, 2020
Tweet
Share
More Decks by Doarakko
See All by Doarakko
Cloudflare Workers で X(Twitter)のボットを作ってみた
doarakko
0
240
Vercel Edge Functions を使って作る画像メーカー
doarakko
0
65
JOIN して1ヶ月のエンジニアに聞いた Liiga の良いところ 3 選
doarakko
0
80
わんわおーん
doarakko
0
66
職場を明るくする
doarakko
0
290
コードレビューの時間を削減しました
doarakko
0
92
仕事中に隠れてテレビ番組表を見るぞ
doarakko
0
170
GitHub Project の運用を自動化しました
doarakko
0
110
GitHub Actions に入門しました
doarakko
0
1.3k
Other Decks in Programming
See All in Programming
明示と暗黙 ー PHPとGoの インターフェイスの違いを知る
shimabox
2
370
生成AIコーディングとの向き合い方、AIと共創するという考え方 / How to deal with generative AI coding and the concept of co-creating with AI
seike460
PRO
1
330
Enterprise Web App. Development (2): Version Control Tool Training Ver. 5.1
knakagawa
1
120
エンジニア向け採用ピッチ資料
inusan
0
160
Node-RED を(HTTP で)つなげる MCP サーバーを作ってみた
highu
0
100
#kanrk08 / 公開版 PicoRubyとマイコンでの自作トレーニング計測装置を用いたワークアウトの理想と現実
bash0c7
1
530
アンドパッドの Go 勉強会「 gopher 会」とその内容の紹介
andpad
0
270
AWS CDKの推しポイント 〜CloudFormationと比較してみた〜
akihisaikeda
3
320
iOSアプリ開発で 関数型プログラミングを実現する The Composable Architectureの紹介
yimajo
2
220
XSLTで作るBrainfuck処理系
makki_d
0
210
Team operations that are not burdened by SRE
kazatohiei
1
260
Webの外へ飛び出せ NativePHPが切り拓くPHPの未来
takuyakatsusa
2
430
Featured
See All Featured
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
48
5.4k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Being A Developer After 40
akosma
90
590k
Optimizing for Happiness
mojombo
379
70k
4 Signs Your Business is Dying
shpigford
184
22k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
GitHub's CSS Performance
jonrohan
1031
460k
A Tale of Four Properties
chriscoyier
160
23k
Typedesign – Prime Four
hannesfritz
42
2.7k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
@Doarakko 眠気を覚ます方法を見つける
・2019年12月入社(2社目) ・エンジニア歴1.5年 - 仕事: Go, PHP(たまに) - 趣味: Python, C++
・AtCoder 緑 ・海外サッカーをよく見ます 誰?
とあるランキング 404
Google 検索でのクリック数 Top 5 の検索キーワード(直近 3 ヶ月) = どんな検索キーワードで外資就活ドットコムを訪れているのか 404
1分で睡魔を退治する方法 https://gaishishukatsu.com/archives/7145
外資就活ドットコムで検索すると...
@Doarakko 眠気を覚ます方法を見つける
人間が読めば... ・眠気覚まし ・目を覚ます方法 ・眠気を覚ます方法 ・目が覚める方法 ・... 1分で睡魔を退治する方法
なんとなく文章の意味を理解して検索して欲しい AI を導入します
ベクトル検索
ベクトル 2.4 3.2 -8.3 0.3 ... 10.2 20.4 -29.7 3.1
テキストのベクトル化 サッカー観たい モデル 2.4 0.3 ... -29.7 3.1
テキストのベクトル化 モデルの性能に依存 ピザうまい さすがメッシ サッカー観たい ボールコントロールが大切 眠気覚まし 目を覚ます方法 眠気を覚ます方法
何らかの方法でスコアリング(順位付け) テキスト スコア 目を覚ます方法 89.4 眠気覚まし 84.5 眠気を覚ます方法 80.2 ...
... サッカー観たい 20.2 さすがメッシ 10.0 ボールコントロールが大切 3.5 検索キーワード:目を覚ましたい 2.4 0.3 ... -29.7 3.1
ベクトル検索
ベクトル変換に使用するモデル BERT ・2018年に Google が公開した自然言語処理のモデル ・複数のベンチマークで SOTA(State of the Art)を達成
・以降 BERT をベースにいろいろなモデルが誕生 ・元論文:https://arxiv.org/abs/1810.04805 を日本語 Wikipedia で学習させたものを使用 学習済みモデルの公開元: https://yoheikikuta.github.io/bert-japanese
Elasticsearch とベクトル検索 ベクトルフィールド コサイン類似度(ベクトル検索でのスコアリングに使用)
全体の流れ 0. 検索対象のテキストをベクトル化して Elasticsearch に登録 1. 検索キーワードを入力 2. 検索キーワードをベクトル化 3.
ベクトル化されたものを Elasticsearch に投げる
ベクトル化の前にいろいろと前処理 ・記号の削除 ・URL 削除 ・HTML タグ削除 ・コミュニティ返信先「>>」の削除 ・コンテンツ単位ではなく、文単位に分割 ・...
① 検索キーワードをベクトルに変換 全体像 Python script Elasticsearch bert-as-service ② 変換されたベクトルを返す ③
ベクトルをクエリとして投げる ④ 検索結果を返す
今回の検索対象 ・コラム(101件) - 本文 ・コミュニティ - トピック本文(100件) - コメント(100件) ・相談室
- 質問(? 件) - 回答(100件) Elasticsearch のドキュメント数:39,683
検索してみる⚽
@Doarakko 眠気を覚ます方法を見つける