Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話
Search
Livesense Inc.
PRO
May 11, 2023
0
1.3k
転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話
Livesense Inc.
PRO
May 11, 2023
Tweet
Share
More Decks by Livesense Inc.
See All by Livesense Inc.
株式会社リブセンス 会社説明資料(報道関係者様向け)
livesense
PRO
0
1k
データ基盤の負債解消のためのリプレイス
livesense
PRO
0
250
26新卒_総合職採用_会社説明資料
livesense
PRO
0
4.4k
株式会社リブセンス会社紹介資料 / Invent the next common.
livesense
PRO
1
13k
26新卒_Webエンジニア職採用_会社説明資料
livesense
PRO
1
7.9k
中途セールス職_会社説明資料
livesense
PRO
0
190
EM候補者向け転職会議説明資料
livesense
PRO
0
85
コロナで失われたノベルティ作成ノウハウを復活させた話
livesense
PRO
0
200
株式会社リブセンス マッハバイト_プレイブック
livesense
PRO
0
860
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
A designer walks into a library…
pauljervisheath
205
24k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
420
Mobile First: as difficult as doing things right
swwweet
223
9.3k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.1k
Transcript
Copyright © LIVESENSE Inc. 転職会議でGPT-3を活用した 企業口コミ要約機能を リリースした話
自己紹介 落合 隆行(Takayuki Ochiai) • 株式会社リブセンス転職会議事業部のエンジニアリング マネージャー兼エンジニア • 今回は本機能の開発担当者として喋ります
• 略歴) – SIerで通販事業者向けECパッケージの開発 – アドテクの会社で管理画面や配信サーバーの開発 – リブセンスで開発したりマネージャーやったり
そもそも転職会議とは? • 要は転職希望者向けの企業の口コミサイト • 仕事探しにおける情報の非対称性をなくし、転職におけ るミスマッチを解消することでより多くの人が納得できる 転職を実現できるようなサイトを目指している
企画立案に至った背景 • 当初から「転職会議は大量の企業口コミを保有しているが、それらを効果的かつ現実的なコ ストで文書要約したコンテンツを提供することはできていない」という課題感があった ◦ 転職の口コミは超重要ですが、数が多いと読みきれない ◦ 要約を作ろうにも人力や従来の手法だと諸々のコストが高い
企画立案に至った背景 • OpenAI社がChatGPTのAPIを提供開始し、転職会議のシステム経由の利用ハードルが大 きく下がった • なんかtimesで呟いてたら「YOUやっちゃいなよ」って言われたので、やり始めることにした ◦ リブセンスでは越境文化がありエンジニアも企画提案大歓迎(ダイマ)
作った機能 • URL(SP版で先行リリース) – https://jobtalk.jp/companies/4075 – 現在A/Bテスト中なので見れない人いるかも –
QRコードは↓ • プレスリリースはこちら – https://prtimes.jp/main/html/rd/p/000000156.0000154 43.html
作った機能 • 現在、約6000社分の口コミ要約を公開中 – 発表時点では会員登録しないと読めないようになってい る • OpenAIがGPT-3のAPIを公開したタイミングで検討を始めて3 週間ほどでリリースできた
機能があるページへのQRコー ド(再掲)
本番に組み込むにあたっての苦労話・工夫 • 今回紹介するのは4点 – 出力フォーマットが統一されない – 入力する必要がある文字数多すぎぃ! – 出力される文字数がバラつく問題 –
入力したデータの要約でも捏造・架空情報には注意
出力フォーマットが統一されない • お困りごと – 普通の文書で出力される場合と箇条書きで出力される場合がある – 良い点と悪い点が脈絡なく出力される • やったこと –
基本に忠実に、プロンプトエンジニアリングする • 良い点と改善点を分けて、箇条書きで出力しろって言う • プロンプトで要約結果の返却方式を明示的に指定する
入力する必要がある文字数多すぎぃ! • お困りごと – 現状、gpt-3.5-turboエンジンの1リクエストあたりの入出力最大 token数は4096tokens • 日本語にすると、入出力結果合わせて3000字ぐらいしないとし んどい •
転職会議の口コミは1つ当たり大体150字以上 • 直近の口コミだけ要約するとしても少ない • 口コミカテゴリの偏りなども懸念される
入力する必要がある文字数多すぎぃ! • やったこと – カテゴリごとに要約文を作成→カテゴリごとの要約文から最終評価と しての要約を作成 – 直近はgpt-4-32kエンジンが公開されたが……… • まだWaitlistに入っていてずっとinviteされない
• そもそもお値段が非常に高い(1Kトークンあたりの価格が gpt-3.5-turboの60倍)………
出力される文字数がバラつく問題 • お困りごと – プロンプトでは700文字以内に要約しろって言ってるのだが、いうこと を聞いてくれない – 実際は結構バラつく(我々のユースケースだけ…?) • 1000文字以上出力してくるとかざらでしんどい
出力される文字数がバラつく問題 • やったこと – 良い点と悪い点に分けて箇条書きで出力させることで、文字数が多いときは良い点と 悪い点の比率が変わらないように1行づつ機械的に消している(恣意的に選んで消して はいない) • 箇条書き出力にしてるのは1行づつ消せば文章が変なところ、意味が通らなくなる ところで消えることがないから
• そもそも、GPT-3は日本語の文字数を数えるのが苦手なのでは疑惑 – ↓いやあなた、75文字やから!!! – プロンプトが悪いだけ説はある
入力したデータの要約でも捏造・架空情報には注意 • お困りごと – ChatGPTの仕組み上、架空情報が生成される可能性もある • 特に情報が少ない項目については発生しやすい可能性がある • やったこと –
情報が少ないカテゴリ・会社についてはそもそも要約しない – プロンプトで「ただし、良い点がない場合はなしと回答してください」などを加 えることで予防 – 中身を見る限り、これで明らかに架空・捏造な要約とかは出してなさそう • 特に本番利用するにあたっては公式が出してるSafety best practicesをちゃんと 読もう – OpenAIは可能な限り、アウトプットを実際に使用する前に、人間がレビュー することをお勧めしている
宣伝させてください! • 開発秘話はブログにも書いたから見 てくれよな!!! – https://made.livesense.co.jp/ent ry/2023/03/23/160000 – はてブやリツイートを!!!なに とぞ!!!
宣伝させてください! • リブセンスや転職会議ではエンジニ アを募集中です! – 採用候補者様向け資料みて ね!