Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
眠気を覚ます方法を見つける
Search
Doarakko
October 15, 2020
Programming
0
1.4k
眠気を覚ます方法を見つける
Doarakko
October 15, 2020
Tweet
Share
More Decks by Doarakko
See All by Doarakko
Cloudflare Workers で X(Twitter)のボットを作ってみた
doarakko
0
120
Vercel Edge Functions を使って作る画像メーカー
doarakko
0
32
JOIN して1ヶ月のエンジニアに聞いた Liiga の良いところ 3 選
doarakko
0
77
わんわおーん
doarakko
0
61
職場を明るくする
doarakko
0
230
コードレビューの時間を削減しました
doarakko
0
86
仕事中に隠れてテレビ番組表を見るぞ
doarakko
0
110
GitHub Project の運用を自動化しました
doarakko
0
100
GitHub Actions に入門しました
doarakko
0
1.2k
Other Decks in Programming
See All in Programming
CSC307 Lecture 14
javiergs
PRO
0
220
しくじり先生 Image Matching Challenge 2024 編
goosehaaan
0
810
Composing an API the *right* way (Droidcon Berlin 2024)
zsmb
1
450
iOSアプリでクリップボードにコピーしたことをユーザーに伝えるちょうど良いフィードバックを探す
ski
0
100
The rollercoaster of releasing an Android, iOS, and macOS app with Kotlin Multiplatform | droidcon Berlin
prof18
0
110
Terraformテスト入門
msato
0
540
CSC307 Lecture 11
javiergs
PRO
0
240
AWS CDKにおける「再利用性」を考える / aws-cdk-reusability
gotok365
6
1.3k
社内 LT 会を発足し、アウトプット文化を醸成させるために考えたこと・やったこと / Starting internal LT meetings and fostering an output culture
mackey0225
3
120
君たちはどうコードをレビューする (される) か / 大吉祥寺.pm
utgwkk
15
8.5k
コード生成を伴うLLMエージェント - 2024.07.18 Tokyo AI
smiyawaki0820
11
4.1k
CSC307 Lecture 05
javiergs
PRO
0
210
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
189
16k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
78
15k
How to Ace a Technical Interview
jacobian
274
23k
How GitHub Uses GitHub to Build GitHub
holman
471
290k
Code Reviewing Like a Champion
maltzj
517
39k
Designing the Hi-DPI Web
ddemaree
276
34k
It's Worth the Effort
3n
181
27k
[RailsConf 2023] Rails as a piece of cake
palkan
35
4.4k
Producing Creativity
orderedlist
PRO
340
39k
From Idea to $5000 a Month in 5 Months
shpigford
377
46k
How To Stay Up To Date on Web Technology
chriscoyier
784
250k
Transcript
@Doarakko 眠気を覚ます方法を見つける
・2019年12月入社(2社目) ・エンジニア歴1.5年 - 仕事: Go, PHP(たまに) - 趣味: Python, C++
・AtCoder 緑 ・海外サッカーをよく見ます 誰?
とあるランキング 404
Google 検索でのクリック数 Top 5 の検索キーワード(直近 3 ヶ月) = どんな検索キーワードで外資就活ドットコムを訪れているのか 404
1分で睡魔を退治する方法 https://gaishishukatsu.com/archives/7145
外資就活ドットコムで検索すると...
@Doarakko 眠気を覚ます方法を見つける
人間が読めば... ・眠気覚まし ・目を覚ます方法 ・眠気を覚ます方法 ・目が覚める方法 ・... 1分で睡魔を退治する方法
なんとなく文章の意味を理解して検索して欲しい AI を導入します
ベクトル検索
ベクトル 2.4 3.2 -8.3 0.3 ... 10.2 20.4 -29.7 3.1
テキストのベクトル化 サッカー観たい モデル 2.4 0.3 ... -29.7 3.1
テキストのベクトル化 モデルの性能に依存 ピザうまい さすがメッシ サッカー観たい ボールコントロールが大切 眠気覚まし 目を覚ます方法 眠気を覚ます方法
何らかの方法でスコアリング(順位付け) テキスト スコア 目を覚ます方法 89.4 眠気覚まし 84.5 眠気を覚ます方法 80.2 ...
... サッカー観たい 20.2 さすがメッシ 10.0 ボールコントロールが大切 3.5 検索キーワード:目を覚ましたい 2.4 0.3 ... -29.7 3.1
ベクトル検索
ベクトル変換に使用するモデル BERT ・2018年に Google が公開した自然言語処理のモデル ・複数のベンチマークで SOTA(State of the Art)を達成
・以降 BERT をベースにいろいろなモデルが誕生 ・元論文:https://arxiv.org/abs/1810.04805 を日本語 Wikipedia で学習させたものを使用 学習済みモデルの公開元: https://yoheikikuta.github.io/bert-japanese
Elasticsearch とベクトル検索 ベクトルフィールド コサイン類似度(ベクトル検索でのスコアリングに使用)
全体の流れ 0. 検索対象のテキストをベクトル化して Elasticsearch に登録 1. 検索キーワードを入力 2. 検索キーワードをベクトル化 3.
ベクトル化されたものを Elasticsearch に投げる
ベクトル化の前にいろいろと前処理 ・記号の削除 ・URL 削除 ・HTML タグ削除 ・コミュニティ返信先「>>」の削除 ・コンテンツ単位ではなく、文単位に分割 ・...
① 検索キーワードをベクトルに変換 全体像 Python script Elasticsearch bert-as-service ② 変換されたベクトルを返す ③
ベクトルをクエリとして投げる ④ 検索結果を返す
今回の検索対象 ・コラム(101件) - 本文 ・コミュニティ - トピック本文(100件) - コメント(100件) ・相談室
- 質問(? 件) - 回答(100件) Elasticsearch のドキュメント数:39,683
検索してみる⚽
@Doarakko 眠気を覚ます方法を見つける