転職会議でGPT-3を活用した企業口コミ要約機能をリリースした話

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介  落合隆行(Takayuki Ochiai)  • 株式会社リブセンス転職会議事業部のエンジニアリングマネージャー兼エンジニア  • 今回は本機能の開発担当者として喋ります   • 略歴）  – SIerで通販事業者向けECパッケージの開発   – アドテクの会社で管理画面や配信サーバーの開発   – リブセンスで開発したりマネージャーやったり  

Slide 3

Slide 3 text

そもそも転職会議とは？  ● 要は転職希望者向けの企業の口コミサイト ● 仕事探しにおける情報の非対称性をなくし、転職におけるミスマッチを解消することでより多くの人が納得できる転職を実現できるようなサイトを目指している

Slide 4

Slide 4 text

企画立案に至った背景  ● 当初から「転職会議は大量の企業口コミを保有しているが、それらを効果的かつ現実的なコストで文書要約したコンテンツを提供することはできていない」という課題感があった ○ 転職の口コミは超重要ですが、数が多いと読みきれない ○ 要約を作ろうにも人力や従来の手法だと諸々のコストが高い

Slide 5

Slide 5 text

企画立案に至った背景  ● OpenAI社がChatGPTのAPIを提供開始し、転職会議のシステム経由の利用ハードルが大きく下がった ● なんかtimesで呟いてたら「YOUやっちゃいなよ」って言われたので、やり始めることにした ○ リブセンスでは越境文化がありエンジニアも企画提案大歓迎（ダイマ）

Slide 6

Slide 6 text

作った機能  • URL(SP版で先行リリース)  – https://jobtalk.jp/companies/4075   – 現在A/Bテスト中なので見れない人いるかも   – QRコードは↓          • プレスリリースはこちら  – https://prtimes.jp/main/html/rd/p/000000156.0000154 43.html 

Slide 7

Slide 7 text

作った機能  • 現在、約6000社分の口コミ要約を公開中   – 発表時点では会員登録しないと読めないようになっている  • OpenAIがGPT-3のAPIを公開したタイミングで検討を始めて3 週間ほどでリリースできた  機能があるページへのQRコード（再掲） 

Slide 8

Slide 8 text

本番に組み込むにあたっての苦労話・工夫  • 今回紹介するのは4点  – 出力フォーマットが統一されない  – 入力する必要がある文字数多すぎぃ！  – 出力される文字数がバラつく問題  – 入力したデータの要約でも捏造・架空情報には注意   

Slide 9

Slide 9 text

出力フォーマットが統一されない  • お困りごと  – 普通の文書で出力される場合と箇条書きで出力される場合がある  – 良い点と悪い点が脈絡なく出力される  • やったこと  – 基本に忠実に、プロンプトエンジニアリングする  • 良い点と改善点を分けて、箇条書きで出力しろって言う  • プロンプトで要約結果の返却方式を明示的に指定する 

Slide 10

Slide 10 text

入力する必要がある文字数多すぎぃ！  • お困りごと  – 現状、gpt-3.5-turboエンジンの１リクエストあたりの入出力最大 token数は4096tokens  • 日本語にすると、入出力結果合わせて3000字ぐらいしないとしんどい  • 転職会議の口コミは1つ当たり大体150字以上  • 直近の口コミだけ要約するとしても少ない  • 口コミカテゴリの偏りなども懸念される   

Slide 11

Slide 11 text

入力する必要がある文字数多すぎぃ！  • やったこと  – カテゴリごとに要約文を作成→カテゴリごとの要約文から最終評価としての要約を作成  – 直近はgpt-4-32kエンジンが公開されたが………  • まだWaitlistに入っていてずっとinviteされない  • そもそもお値段が非常に高い（1Kトークンあたりの価格が gpt-3.5-turboの60倍）……… 

Slide 12

Slide 12 text

出力される文字数がバラつく問題  • お困りごと  – プロンプトでは700文字以内に要約しろって言ってるのだが、いうことを聞いてくれない  – 実際は結構バラつく（我々のユースケースだけ…？）  • 1000文字以上出力してくるとかざらでしんどい   

Slide 13

Slide 13 text

出力される文字数がバラつく問題  • やったこと  – 良い点と悪い点に分けて箇条書きで出力させることで、文字数が多いときは良い点と悪い点の比率が変わらないように1行づつ機械的に消している(恣意的に選んで消してはいない)  • 箇条書き出力にしてるのは1行づつ消せば文章が変なところ、意味が通らなくなるところで消えることがないから  • そもそも、GPT-3は日本語の文字数を数えるのが苦手なのでは疑惑   – ↓いやあなた、75文字やから！！！   – プロンプトが悪いだけ説はある   

Slide 14

Slide 14 text

入力したデータの要約でも捏造・架空情報には注意  • お困りごと  – ChatGPTの仕組み上、架空情報が生成される可能性もある  • 特に情報が少ない項目については発生しやすい可能性がある  • やったこと  – 情報が少ないカテゴリ・会社についてはそもそも要約しない  – プロンプトで「ただし、良い点がない場合はなしと回答してください」などを加えることで予防  – 中身を見る限り、これで明らかに架空・捏造な要約とかは出してなさそう  • 特に本番利用するにあたっては公式が出してるSafety best practicesをちゃんと読もう  – OpenAIは可能な限り、アウトプットを実際に使用する前に、人間がレビューすることをお勧めしている     

Slide 15

Slide 15 text

宣伝させてください！  • 開発秘話はブログにも書いたから見てくれよな！！！  – https://made.livesense.co.jp/ent ry/2023/03/23/160000  – はてブやリツイートを！！！なにとぞ！！！   

Slide 16

Slide 16 text

宣伝させてください！  • リブセンスや転職会議ではエンジニアを募集中です！  – 採用候補者様向け資料みてね！ 