Upgrade to Pro — share decks privately, control downloads, hide ads and more …

転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話

830

 転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話

Livesense Inc.
PRO

May 11, 2023
Tweet

More Decks by Livesense Inc.

Transcript

  1. Copyright © LIVESENSE Inc.
    転職会議でGPT-3を活用した
    企業口コミ要約機能を
    リリースした話

    View Slide

  2. 自己紹介

    落合 隆行(Takayuki Ochiai)

    • 株式会社リブセンス転職会議事業部のエンジニアリング
    マネージャー兼エンジニア

    • 今回は本機能の開発担当者として喋ります

    • 略歴)

    – SIerで通販事業者向けECパッケージの開発

    – アドテクの会社で管理画面や配信サーバーの開発

    – リブセンスで開発したりマネージャーやったり

    View Slide

  3. そもそも転職会議とは?

    ● 要は転職希望者向けの企業の口コミサイト
    ● 仕事探しにおける情報の非対称性をなくし、転職におけ
    るミスマッチを解消することでより多くの人が納得できる
    転職を実現できるようなサイトを目指している

    View Slide

  4. 企画立案に至った背景

    ● 当初から「転職会議は大量の企業口コミを保有しているが、それらを効果的かつ現実的なコ
    ストで文書要約したコンテンツを提供することはできていない」という課題感があった
    ○ 転職の口コミは超重要ですが、数が多いと読みきれない
    ○ 要約を作ろうにも人力や従来の手法だと諸々のコストが高い

    View Slide

  5. 企画立案に至った背景

    ● OpenAI社がChatGPTのAPIを提供開始し、転職会議のシステム経由の利用ハードルが大
    きく下がった
    ● なんかtimesで呟いてたら「YOUやっちゃいなよ」って言われたので、やり始めることにした
    ○ リブセンスでは越境文化がありエンジニアも企画提案大歓迎(ダイマ)

    View Slide

  6. 作った機能

    • URL(SP版で先行リリース)

    – https://jobtalk.jp/companies/4075

    – 現在A/Bテスト中なので見れない人いるかも

    – QRコードは↓





    • プレスリリースはこちら

    – https://prtimes.jp/main/html/rd/p/000000156.0000154
    43.html


    View Slide

  7. 作った機能

    • 現在、約6000社分の口コミ要約を公開中

    – 発表時点では会員登録しないと読めないようになってい
    る

    • OpenAIがGPT-3のAPIを公開したタイミングで検討を始めて3
    週間ほどでリリースできた

    機能があるページへのQRコー
    ド(再掲)


    View Slide

  8. 本番に組み込むにあたっての苦労話・工夫

    • 今回紹介するのは4点

    – 出力フォーマットが統一されない

    – 入力する必要がある文字数多すぎぃ!

    – 出力される文字数がバラつく問題

    – 入力したデータの要約でも捏造・架空情報には注意


    View Slide

  9. 出力フォーマットが統一されない

    • お困りごと

    – 普通の文書で出力される場合と箇条書きで出力される場合がある

    – 良い点と悪い点が脈絡なく出力される

    • やったこと

    – 基本に忠実に、プロンプトエンジニアリングする

    • 良い点と改善点を分けて、箇条書きで出力しろって言う

    • プロンプトで要約結果の返却方式を明示的に指定する


    View Slide

  10. 入力する必要がある文字数多すぎぃ!

    • お困りごと

    – 現状、gpt-3.5-turboエンジンの1リクエストあたりの入出力最大
    token数は4096tokens

    • 日本語にすると、入出力結果合わせて3000字ぐらいしないとし
    んどい

    • 転職会議の口コミは1つ当たり大体150字以上

    • 直近の口コミだけ要約するとしても少ない

    • 口コミカテゴリの偏りなども懸念される


    View Slide

  11. 入力する必要がある文字数多すぎぃ!

    • やったこと

    – カテゴリごとに要約文を作成→カテゴリごとの要約文から最終評価と
    しての要約を作成

    – 直近はgpt-4-32kエンジンが公開されたが………

    • まだWaitlistに入っていてずっとinviteされない

    • そもそもお値段が非常に高い(1Kトークンあたりの価格が
    gpt-3.5-turboの60倍)………


    View Slide

  12. 出力される文字数がバラつく問題

    • お困りごと

    – プロンプトでは700文字以内に要約しろって言ってるのだが、いうこと
    を聞いてくれない

    – 実際は結構バラつく(我々のユースケースだけ…?)

    • 1000文字以上出力してくるとかざらでしんどい


    View Slide

  13. 出力される文字数がバラつく問題

    • やったこと

    – 良い点と悪い点に分けて箇条書きで出力させることで、文字数が多いときは良い点と
    悪い点の比率が変わらないように1行づつ機械的に消している(恣意的に選んで消して
    はいない)

    • 箇条書き出力にしてるのは1行づつ消せば文章が変なところ、意味が通らなくなる
    ところで消えることがないから

    • そもそも、GPT-3は日本語の文字数を数えるのが苦手なのでは疑惑

    – ↓いやあなた、75文字やから!!!

    – プロンプトが悪いだけ説はある


    View Slide

  14. 入力したデータの要約でも捏造・架空情報には注意

    • お困りごと

    – ChatGPTの仕組み上、架空情報が生成される可能性もある

    • 特に情報が少ない項目については発生しやすい可能性がある

    • やったこと

    – 情報が少ないカテゴリ・会社についてはそもそも要約しない

    – プロンプトで「ただし、良い点がない場合はなしと回答してください」などを加
    えることで予防

    – 中身を見る限り、これで明らかに架空・捏造な要約とかは出してなさそう

    • 特に本番利用するにあたっては公式が出してるSafety best practicesをちゃんと
    読もう

    – OpenAIは可能な限り、アウトプットを実際に使用する前に、人間がレビュー
    することをお勧めしている



    View Slide

  15. 宣伝させてください!

    • 開発秘話はブログにも書いたから見
    てくれよな!!!

    – https://made.livesense.co.jp/ent
    ry/2023/03/23/160000

    – はてブやリツイートを!!!なに
    とぞ!!!


    View Slide

  16. 宣伝させてください!

    • リブセンスや転職会議ではエンジニ
    アを募集中です!

    – 採用候補者様向け資料みて
    ね!


    View Slide