転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話

Transcript

1. Copyright © LIVESENSE Inc. 転職会議でGPT-3を活用した 企業口コミ要約機能を リリースした話
2. 自己紹介
 落合 隆行(Takayuki Ochiai)
 • 株式会社リブセンス転職会議事業部のエンジニアリング マネージャー兼エンジニア
 • 今回は本機能の開発担当者として喋ります 
 • 略歴）
 – SIerで通販事業者向けECパッケージの開発 
 – アドテクの会社で管理画面や配信サーバーの開発 
 – リブセンスで開発したりマネージャーやったり 

3. そもそも転職会議とは？
 • 要は転職希望者向けの企業の口コミサイト • 仕事探しにおける情報の非対称性をなくし、転職におけ るミスマッチを解消することでより多くの人が納得できる 転職を実現できるようなサイトを目指している
4. 企画立案に至った背景
 • 当初から「転職会議は大量の企業口コミを保有しているが、それらを効果的かつ現実的なコ ストで文書要約したコンテンツを提供することはできていない」という課題感があった ◦ 転職の口コミは超重要ですが、数が多いと読みきれない ◦ 要約を作ろうにも人力や従来の手法だと諸々のコストが高い
5. 企画立案に至った背景
 • OpenAI社がChatGPTのAPIを提供開始し、転職会議のシステム経由の利用ハードルが大 きく下がった • なんかtimesで呟いてたら「YOUやっちゃいなよ」って言われたので、やり始めることにした ◦ リブセンスでは越境文化がありエンジニアも企画提案大歓迎（ダイマ）
6. 作った機能
 • URL(SP版で先行リリース)
 – https://jobtalk.jp/companies/4075 
 – 現在A/Bテスト中なので見れない人いるかも 
 – QRコードは↓
 
 
 
 
 • プレスリリースはこちら
 – https://prtimes.jp/main/html/rd/p/000000156.0000154 43.html

7. 作った機能
 • 現在、約6000社分の口コミ要約を公開中 
 – 発表時点では会員登録しないと読めないようになってい る
 • OpenAIがGPT-3のAPIを公開したタイミングで検討を始めて3 週間ほどでリリースできた
 機能があるページへのQRコー ド（再掲）

8. 本番に組み込むにあたっての苦労話・工夫
 • 今回紹介するのは4点
 – 出力フォーマットが統一されない
 – 入力する必要がある文字数多すぎぃ！
 – 出力される文字数がバラつく問題
 – 入力したデータの要約でも捏造・架空情報には注意
 

9. 出力フォーマットが統一されない
 • お困りごと
 – 普通の文書で出力される場合と箇条書きで出力される場合がある
 – 良い点と悪い点が脈絡なく出力される
 • やったこと
 – 基本に忠実に、プロンプトエンジニアリングする
 • 良い点と改善点を分けて、箇条書きで出力しろって言う
 • プロンプトで要約結果の返却方式を明示的に指定する

10. 入力する必要がある文字数多すぎぃ！
 • お困りごと
 – 現状、gpt-3.5-turboエンジンの１リクエストあたりの入出力最大 token数は4096tokens
 • 日本語にすると、入出力結果合わせて3000字ぐらいしないとし んどい
 • 転職会議の口コミは1つ当たり大体150字以上
 • 直近の口コミだけ要約するとしても少ない
 • 口コミカテゴリの偏りなども懸念される
 

11. 入力する必要がある文字数多すぎぃ！
 • やったこと
 – カテゴリごとに要約文を作成→カテゴリごとの要約文から最終評価と しての要約を作成
 – 直近はgpt-4-32kエンジンが公開されたが………
 • まだWaitlistに入っていてずっとinviteされない
 • そもそもお値段が非常に高い（1Kトークンあたりの価格が gpt-3.5-turboの60倍）………

12. 出力される文字数がバラつく問題
 • お困りごと
 – プロンプトでは700文字以内に要約しろって言ってるのだが、いうこと を聞いてくれない
 – 実際は結構バラつく（我々のユースケースだけ…？）
 • 1000文字以上出力してくるとかざらでしんどい
 

13. 出力される文字数がバラつく問題
 • やったこと
 – 良い点と悪い点に分けて箇条書きで出力させることで、文字数が多いときは良い点と 悪い点の比率が変わらないように1行づつ機械的に消している(恣意的に選んで消して はいない)
 • 箇条書き出力にしてるのは1行づつ消せば文章が変なところ、意味が通らなくなる ところで消えることがないから
 • そもそも、GPT-3は日本語の文字数を数えるのが苦手なのでは疑惑 
 – ↓いやあなた、75文字やから！！！ 
 – プロンプトが悪いだけ説はある
 

14. 入力したデータの要約でも捏造・架空情報には注意
 • お困りごと
 – ChatGPTの仕組み上、架空情報が生成される可能性もある
 • 特に情報が少ない項目については発生しやすい可能性がある
 • やったこと
 – 情報が少ないカテゴリ・会社についてはそもそも要約しない
 – プロンプトで「ただし、良い点がない場合はなしと回答してください」などを加 えることで予防
 – 中身を見る限り、これで明らかに架空・捏造な要約とかは出してなさそう
 • 特に本番利用するにあたっては公式が出してるSafety best practicesをちゃんと 読もう
 – OpenAIは可能な限り、アウトプットを実際に使用する前に、人間がレビュー することをお勧めしている
 
 

15. 宣伝させてください！
 • 開発秘話はブログにも書いたから見 てくれよな！！！
 – https://made.livesense.co.jp/ent ry/2023/03/23/160000
 – はてブやリツイートを！！！なに とぞ！！！
 

16. 宣伝させてください！
 • リブセンスや転職会議ではエンジニ アを募集中です！
 – 採用候補者様向け資料みて ね！