Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
眠気を覚ます方法を見つける
Search
Doarakko
October 15, 2020
Programming
0
1.5k
眠気を覚ます方法を見つける
Doarakko
October 15, 2020
Tweet
Share
More Decks by Doarakko
See All by Doarakko
Cloudflare Workers で X(Twitter)のボットを作ってみた
doarakko
0
250
Vercel Edge Functions を使って作る画像メーカー
doarakko
0
66
JOIN して1ヶ月のエンジニアに聞いた Liiga の良いところ 3 選
doarakko
0
80
わんわおーん
doarakko
0
66
職場を明るくする
doarakko
0
290
コードレビューの時間を削減しました
doarakko
0
93
仕事中に隠れてテレビ番組表を見るぞ
doarakko
0
170
GitHub Project の運用を自動化しました
doarakko
0
110
GitHub Actions に入門しました
doarakko
0
1.3k
Other Decks in Programming
See All in Programming
Bedrock AgentCore ObservabilityによるAIエージェントの運用
licux
8
360
CLI ツールを Go ライブラリ として再実装する理由 / Why reimplement a CLI tool as a Go library
ktr_0731
3
660
MySQL9でベクトルカラム登場!PHP×AWSでのAI/類似検索はこう変わる
suguruooki
1
250
Advanced Micro Frontends: Multi Version/ Framework Scenarios
manfredsteyer
PRO
0
110
レトロゲームから学ぶ通信技術の歴史
kimkim0106
0
140
SQLアンチパターン第2版 データベースプログラミングで陥りがちな失敗とその対策 / Intro to SQL Antipatterns 2nd
twada
PRO
34
10k
0から始めるモジュラーモノリス-クリーンなモノリスを目指して
sushi0120
0
170
Prompt Engineeringの再定義「Context Engineering」とは
htsuruo
0
110
脱Riverpod?fqueryで考える、TanStack Queryライクなアーキテクチャの可能性
ostk0069
0
570
Quality Gates in the Age of Agentic Coding
helmedeiros
PRO
1
110
PHPUnitの限界をPlaywrightで補完するテストアプローチ
yuzneri
0
350
JetBrainsのAI機能の紹介 #jjug
yusuke
0
110
Featured
See All Featured
Docker and Python
trallard
45
3.5k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Statistics for Hackers
jakevdp
799
220k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Embracing the Ebb and Flow
colly
86
4.8k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Art, The Web, and Tiny UX
lynnandtonic
301
21k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Transcript
@Doarakko 眠気を覚ます方法を見つける
・2019年12月入社(2社目) ・エンジニア歴1.5年 - 仕事: Go, PHP(たまに) - 趣味: Python, C++
・AtCoder 緑 ・海外サッカーをよく見ます 誰?
とあるランキング 404
Google 検索でのクリック数 Top 5 の検索キーワード(直近 3 ヶ月) = どんな検索キーワードで外資就活ドットコムを訪れているのか 404
1分で睡魔を退治する方法 https://gaishishukatsu.com/archives/7145
外資就活ドットコムで検索すると...
@Doarakko 眠気を覚ます方法を見つける
人間が読めば... ・眠気覚まし ・目を覚ます方法 ・眠気を覚ます方法 ・目が覚める方法 ・... 1分で睡魔を退治する方法
なんとなく文章の意味を理解して検索して欲しい AI を導入します
ベクトル検索
ベクトル 2.4 3.2 -8.3 0.3 ... 10.2 20.4 -29.7 3.1
テキストのベクトル化 サッカー観たい モデル 2.4 0.3 ... -29.7 3.1
テキストのベクトル化 モデルの性能に依存 ピザうまい さすがメッシ サッカー観たい ボールコントロールが大切 眠気覚まし 目を覚ます方法 眠気を覚ます方法
何らかの方法でスコアリング(順位付け) テキスト スコア 目を覚ます方法 89.4 眠気覚まし 84.5 眠気を覚ます方法 80.2 ...
... サッカー観たい 20.2 さすがメッシ 10.0 ボールコントロールが大切 3.5 検索キーワード:目を覚ましたい 2.4 0.3 ... -29.7 3.1
ベクトル検索
ベクトル変換に使用するモデル BERT ・2018年に Google が公開した自然言語処理のモデル ・複数のベンチマークで SOTA(State of the Art)を達成
・以降 BERT をベースにいろいろなモデルが誕生 ・元論文:https://arxiv.org/abs/1810.04805 を日本語 Wikipedia で学習させたものを使用 学習済みモデルの公開元: https://yoheikikuta.github.io/bert-japanese
Elasticsearch とベクトル検索 ベクトルフィールド コサイン類似度(ベクトル検索でのスコアリングに使用)
全体の流れ 0. 検索対象のテキストをベクトル化して Elasticsearch に登録 1. 検索キーワードを入力 2. 検索キーワードをベクトル化 3.
ベクトル化されたものを Elasticsearch に投げる
ベクトル化の前にいろいろと前処理 ・記号の削除 ・URL 削除 ・HTML タグ削除 ・コミュニティ返信先「>>」の削除 ・コンテンツ単位ではなく、文単位に分割 ・...
① 検索キーワードをベクトルに変換 全体像 Python script Elasticsearch bert-as-service ② 変換されたベクトルを返す ③
ベクトルをクエリとして投げる ④ 検索結果を返す
今回の検索対象 ・コラム(101件) - 本文 ・コミュニティ - トピック本文(100件) - コメント(100件) ・相談室
- 質問(? 件) - 回答(100件) Elasticsearch のドキュメント数:39,683
検索してみる⚽
@Doarakko 眠気を覚ます方法を見つける