Rust を他の言語と同じように活用して感じた採用効果

by hajime

Slide 1

Slide 1 text

ROSCAFE Rust を学ぶ会 Rust を他の⾔語と同じように活⽤して感じた採⽤効果 2024.02.07 hajime watanabe

Slide 2

Slide 2 text

Slide 3

Slide 3 text

渡辺創⼤学院で⾃然⾔語処理を研究後、⼤⼿通信会社にてAIコンサルタントを経験。事業会社で事業を深く理解しながら機械学習やデータを活⽤した価値を創りたいという思いからLabBaseに⼊社。⼊社後は、新規開発やLabBaseの機能開発を経験。現在リサーチチームのリーダーとして、機械学習やLLMを活⽤した機能のプロトタイプ作成や検証を⾏っています。株式会社LabBase Researchチームリーダー https://github.com/HHajimeW ⾃⼰紹介 Copyright © LabBase,Inc. All Rights Reserved.　

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

Slide 11

Slide 11 text

ベクトル検索で曖昧な検索を行う。　　　　　　　解決策 Copyright © LabBase,Inc. All Rights Reserved.　検索クエリをベクトル化学生のキーワード列をベクトル化機械学習⾃然⾔語処理 [1.5, ... , 0.4] [0.8, ... , -0.2] 機械学習分⼦化学 NLP 深層学習 [0.7, ... , 0.1] [-0.3, ... , 1.2] ユークリッド距離でランキング

Slide 12

Slide 12 text

主なユーザが人事のかたであるということもあり、どこがヒットしたのかわかりにくいという声がある。新たな課題 Copyright © LabBase,Inc. All Rights Reserved.　 AND検索や OR検索ベクトル検索検索クエリ：機械学習 or ⾃然⾔語処理機械学習⾃然⾔語処理 NLP 深層学習解決策として、学生のキーワード列をまとめてベクトル検索した後、個々のキーワードとの距離を計算し、近い順に並べる。

Slide 13

Slide 13 text

データベース Copyright © LabBase,Inc. All Rights Reserved.　 keyword_id keyword_text embedding student_id student_name keyword_list_embedding student_id keyword_id keywords students student_keyword_relations NLP 深層学習 1 1 2 1 1 1 2 NLP 深層学習 [0.9, …, -0.2] [-0.3, …, 1.2] 山田花子 [0.6, …, -0.7] NLP 深層学習 [0.9, …, -0.2] [-0.3, …, 1.2] [0.6, …, -0.7] NLP 深層学習 keywords の embedding カラム students の keyword_list_embedding カラム

Slide 14

Slide 14 text

処理フロー Copyright © LabBase,Inc. All Rights Reserved.　事前準備 ● 各種データを csv からデータベースにデータを⼊れる。 ● OpenAI の Embeddingを使って、 ○ keywords の embedding を取得し保存。（この時、pgvectorというPostgreSQLの拡張機能を使う） ○ students の keyword_list_embedding を取得し保存。(この時、pgvectorというPostgreSQLの拡張機能を使う) 検索の実施クエリ：機械学習 [0.1, …, -0.8] keyword_list_embedding を検索し、ベクトルの距離が近い学⽣ Top n を取得画像認識学⽣の順序は変えずに個別のキーワードを検索クエリに近い順に並べ替え分⼦化学バイオ構造解析 BERT 遺伝⼦⼯学 DNA ⾃動運転物体検出画像処理⼈⼯知能 AI ⾳声認識深層学習機械学習機械学習構造解析バイオ分⼦化学 BERT 遺伝⼦⼯学 DNA 画像処理物体検出⾃動運転⼈⼯知能⾳声認識 AI 深層学習画像認識

Slide 15

Slide 15 text

実装のポイント（https://github.com/HHajimeW/pgvector） Copyright © LabBase,Inc. All Rights Reserved.　 CREATE OR REPLACE FUNCTION get_similar_student_list( query_vector vector(1536) ) RETURNS SETOF type_student_list_output AS $FUNCTION$ DECLARE hit_keywords type_hit_keyword[]; begin RETURN QUERY SELECT stu.student_id, stu.student_name, ARRAY_AGG( ROW( key.keyword_id, key.keyword_text, key.embedding <-> query_vector )::type_hit_keyword ) AS hit_keywords FROM students stu LEFT JOIN student_keywords_relations skr ON stu.student_id = skr.student_id LEFT JOIN keywords key ON skr.keyword_id = key.keyword_id GROUP BY stu.student_id ORDER BY stu.keyword_list_embedding <-> query_vector limit 10; END; $FUNCTION$ LANGUAGE plpgsql; ストアドプロシージャでかいてvector を渡せば、⼀発で返ってくるものをかけて、Rust の Struct で受け取れる。 [{ student_id: 1, student_name: ⼭⽥花⼦, keyword_list: [ { keyword_id: 1, keyword_text: "NLP", distance: 0.1 }, { keyword_id: 2, keyword_text: "深層学習", distance: 0.8 }, ] }, …, {...} ] ユニークビジョンさんの CTO の方のブログ参考にしました https://qiita.com/aoyagikouhei/items/9e52ae732d0f795f4dfc

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

No content

Slide 25

Slide 25 text

25 Copyright © LabBase,Inc. All Rights Reserved.　研究を頑張る理系学⽣と企業をつなぐスカウトサービス「LabBase就職」、研究開発者‧技術者と企業をつなぐスカウトサービス「LabBase転職」、研究室とあなたをつなぐ研究室検索サービス「LabBase研究室サーチ」などを運営中。 The Research Empowerment Platform 株式会社LabBaseは、【研究の⼒を、⼈類の⼒に。】というパーパスを掲げ、研究エンパワープラットフォームの創造を⽬指しています。

Slide 26

Slide 26 text