転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話

Transcript

1. Copyright © LIVESENSE Inc.
   転職会議でGPT-3を活用した
   企業口コミ要約機能を
   リリースした話
   

   View Slide

2. 自己紹介

   落合 隆行(Takayuki Ochiai)

   • 株式会社リブセンス転職会議事業部のエンジニアリング
   マネージャー兼エンジニア

   • 今回は本機能の開発担当者として喋ります
   

   • 略歴）

   – SIerで通販事業者向けECパッケージの開発
   

   – アドテクの会社で管理画面や配信サーバーの開発
   

   – リブセンスで開発したりマネージャーやったり
   

   

   View Slide

3. そもそも転職会議とは？

   ● 要は転職希望者向けの企業の口コミサイト
   ● 仕事探しにおける情報の非対称性をなくし、転職におけ
   るミスマッチを解消することでより多くの人が納得できる
   転職を実現できるようなサイトを目指している
   

   View Slide

4. 企画立案に至った背景

   ● 当初から「転職会議は大量の企業口コミを保有しているが、それらを効果的かつ現実的なコ
   ストで文書要約したコンテンツを提供することはできていない」という課題感があった
   ○ 転職の口コミは超重要ですが、数が多いと読みきれない
   ○ 要約を作ろうにも人力や従来の手法だと諸々のコストが高い
   

   View Slide

5. 企画立案に至った背景

   ● OpenAI社がChatGPTのAPIを提供開始し、転職会議のシステム経由の利用ハードルが大
   きく下がった
   ● なんかtimesで呟いてたら「YOUやっちゃいなよ」って言われたので、やり始めることにした
   ○ リブセンスでは越境文化がありエンジニアも企画提案大歓迎（ダイマ）
   

   View Slide

6. 作った機能

   • URL(SP版で先行リリース)

   – https://jobtalk.jp/companies/4075
   

   – 現在A/Bテスト中なので見れない人いるかも
   

   – QRコードは↓

   

   

   

   

   • プレスリリースはこちら

   – https://prtimes.jp/main/html/rd/p/000000156.0000154
   43.html

   

   View Slide

7. 作った機能

   • 現在、約6000社分の口コミ要約を公開中
   

   – 発表時点では会員登録しないと読めないようになってい
   る

   • OpenAIがGPT-3のAPIを公開したタイミングで検討を始めて3
   週間ほどでリリースできた

   機能があるページへのQRコー
   ド（再掲）

   

   View Slide

8. 本番に組み込むにあたっての苦労話・工夫

   • 今回紹介するのは4点

   – 出力フォーマットが統一されない

   – 入力する必要がある文字数多すぎぃ！

   – 出力される文字数がバラつく問題

   – 入力したデータの要約でも捏造・架空情報には注意

   

   

   View Slide

9. 出力フォーマットが統一されない

   • お困りごと

   – 普通の文書で出力される場合と箇条書きで出力される場合がある

   – 良い点と悪い点が脈絡なく出力される

   • やったこと

   – 基本に忠実に、プロンプトエンジニアリングする

   • 良い点と改善点を分けて、箇条書きで出力しろって言う

   • プロンプトで要約結果の返却方式を明示的に指定する

   

   View Slide

10. 入力する必要がある文字数多すぎぃ！

    • お困りごと

    – 現状、gpt-3.5-turboエンジンの１リクエストあたりの入出力最大
    token数は4096tokens

    • 日本語にすると、入出力結果合わせて3000字ぐらいしないとし
    んどい

    • 転職会議の口コミは1つ当たり大体150字以上

    • 直近の口コミだけ要約するとしても少ない

    • 口コミカテゴリの偏りなども懸念される

    

    

    View Slide

11. 入力する必要がある文字数多すぎぃ！

    • やったこと

    – カテゴリごとに要約文を作成→カテゴリごとの要約文から最終評価と
    しての要約を作成

    – 直近はgpt-4-32kエンジンが公開されたが………

    • まだWaitlistに入っていてずっとinviteされない

    • そもそもお値段が非常に高い（1Kトークンあたりの価格が
    gpt-3.5-turboの60倍）………

    

    View Slide

12. 出力される文字数がバラつく問題

    • お困りごと

    – プロンプトでは700文字以内に要約しろって言ってるのだが、いうこと
    を聞いてくれない

    – 実際は結構バラつく（我々のユースケースだけ…？）

    • 1000文字以上出力してくるとかざらでしんどい

    

    

    View Slide

13. 出力される文字数がバラつく問題

    • やったこと

    – 良い点と悪い点に分けて箇条書きで出力させることで、文字数が多いときは良い点と
    悪い点の比率が変わらないように1行づつ機械的に消している(恣意的に選んで消して
    はいない)

    • 箇条書き出力にしてるのは1行づつ消せば文章が変なところ、意味が通らなくなる
    ところで消えることがないから

    • そもそも、GPT-3は日本語の文字数を数えるのが苦手なのでは疑惑
    

    – ↓いやあなた、75文字やから！！！
    

    – プロンプトが悪いだけ説はある

    

    

    View Slide

14. 入力したデータの要約でも捏造・架空情報には注意

    • お困りごと

    – ChatGPTの仕組み上、架空情報が生成される可能性もある

    • 特に情報が少ない項目については発生しやすい可能性がある

    • やったこと

    – 情報が少ないカテゴリ・会社についてはそもそも要約しない

    – プロンプトで「ただし、良い点がない場合はなしと回答してください」などを加
    えることで予防

    – 中身を見る限り、これで明らかに架空・捏造な要約とかは出してなさそう

    • 特に本番利用するにあたっては公式が出してるSafety best practicesをちゃんと
    読もう

    – OpenAIは可能な限り、アウトプットを実際に使用する前に、人間がレビュー
    することをお勧めしている

    

    

    

    View Slide

15. 宣伝させてください！

    • 開発秘話はブログにも書いたから見
    てくれよな！！！

    – https://made.livesense.co.jp/ent
    ry/2023/03/23/160000

    – はてブやリツイートを！！！なに
    とぞ！！！

    

    

    View Slide

16. 宣伝させてください！

    • リブセンスや転職会議ではエンジニ
    アを募集中です！

    – 採用候補者様向け資料みて
    ね！

    

    View Slide