LLMを「主役」にしないための 3つの原則

Embed

Start on current slide

Slide 1

Slide 1 text

LLMを「主役」にしないための 3つの原則求人票自動生成システムの本番開発を通じて学んだことパーソルキャリア株式会社データ・AIソリューション本部データ・AIインフラ統括部AIプラットフォーム部 AIインフラ・アーキテクトグループ宇賀神拓也 2026年05月14日 ※本資料は2026年5月時点の情報です

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© PERSOL CAREER CO., LTD. 3 会社概要社名本社創業資本金事業内容従業員数パーソルキャリア株式会社東京都港区麻布台一丁目3番1号麻布台ヒルズ森JPタワー21階 1989年6月 1,127百万円人材紹介サービス、求人メディアの運営、転職・就職支援、採用・経営支援、副業・兼業・フリーランス支援サービスの提供 6,721名（有期社員含むグループ会社出向中の者は除く 2026年3月1日時点）

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© PERSOL CAREER CO., LTD. 6 【課題】顧客様より求人の依頼を受けて求人票管理システムに登録するまでに大きな工数がかかっている【目的】生成AIを用いることで工数削減を目指す → 2026年3月に本番リリース完了求人票自動作成プロジェクトの概要求人求人票管理システムリクルーティングアドバイザーが作成審査グループによる内容のチェック求人求人票管理システムリクルーティングアドバイザーが内容の確認審査グループによる内容のチェック AS-IS TO-BE 求人票自動作成システム AIによる求人票の作成

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© PERSOL CAREER CO., LTD. 8 ベクトルの類似度を用いたコード値変換社内システム構築基本情報技術者MUST ネットワークスペシャリストがあればなお可年間休日125日転勤なし社保完備 Go、Java、PHP、Python 本社は東京都新宿区XXX リモートワーク可能職種コード値エンべディング結果 IT法人営業 001 (0.112,0.22,-0.123,…) 半導体・電子部品営業 002 (0.112,0.22,0.233,…) 商品企画・サービス企画 003 (0.210,0.33,0.783,…) 販売促進・PR 004 (0.563,0.44,-0.153,…) プロジェクトマネージャ 005 (-0.123,0.49,0.542,…) 生産管理 006 (0.432,-0.23,0.653,…) 社内SE 007 (-0.123,0.22,0.432,…) 社内SE システムエンジニア IT法人営業 (-0.123,0.22,0.432,…) (-0.123,0.52,0.732,…) (0.112,0.22,-0.123,…) 007 092 001 コード値に変換エンべディング資格情報を抽出【変換表】【求人要件メモ】

Slide 9

Slide 9 text

© PERSOL CAREER CO., LTD. 9 LLMはいつ・どのくらい失敗するか読めない → 失敗・遅延・生成結果の揺らぎはシステム側で吸収し、ユーザにはわからないようにする • システム側でのリトライ • Exponential Backoff and Jitter • 不正なレスポンスフォーマットの場合リトライ • タイムアウトした場合リトライ • 不適切な出力の場合リトライ • 処理時間の変動を見据えた非同期処理 • リトライによる実行時間変化に対応するためLLMに関連する処理は全て非同期処理 • 非同期処理に伴い通知フローの設計が必要になるが非同期にすべき • 業務イベントとしてLLMの生成エラーを扱う • 処理結果に「生成失敗」「再生成」を入れることでユーザ側でのリカバリができるように設計 • システム監視項目で生成失敗の監視 • エンジニア側でも監視&リカバリを実施原則2 — LLMは失敗する前提で設計する

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© PERSOL CAREER CO., LTD. 14 既存の求人票管理システムには、項目間の複雑な依存ルールが大量に存在 • 賃金形態（年俸制/月給制/日給制/時給制/その他）の値が変化 → 関連する十数フィールドのクリア/保持 /初期値セットが連鎖 • 労働時間区分（通常/みなし/変形/フレックス）× 就業時間区分 × コアタイム/フレキシブルタイムの有無→組み合わせごとにクリア対象が異なる • 休日休暇区分（週休/月休）→ 曜日指定数と週休日数の一致チェック • 月給 x 12 + ボーナスと年収の一致チェック • etc… • LLMが生成した結果をチェックする際にシステム側でもルールに適合しているかチェックが必要 → 求人票管理システムと同等のルールを作成する必要が出てきてしまう原則3 — 1番大変なのはLLMの外側

Slide 15

Slide 15 text

© PERSOL CAREER CO., LTD. 15 • 運用・保守 • 利用率が上がらない • 求人票管理システムの仕様変更時 • LLMを使ったサービスの運用、障害対応どうやったらいい？ • 想定外の利用方法 • 「https://doda.jp/xxxxxx」 • 画像形式PDFファイルの添付 • 「会話のラリーをして精度を高められないか？」 • LLM特有の問題 • ハルシネーション対策 • 業務フローとシステム仕様が一致しない • LLMを取り巻く環境の変化 • RAG • MCP • AIエージェント • etc… 原則3 — 1番大変なのはLLMの外側

Slide 16

Slide 16 text

© PERSOL CAREER CO., LTD. 16 まとめ 1. LLMに苦手なことをやらせない • 自然言語生成だけLLMに任せて、コード値変換などは専用処理に任せる 2. LLMは失敗する前提で設計する • システム側でリカバリ可能な対応は入れておく • システムの仕様として失敗した場合を考慮する • 運用についてもあらかじめ考慮しておく 3. 1番大変なのはLLMの外側 • 既存システム連携 • LLMは機能の一つに過ぎない • やらなければならないことは山ほどある

Slide 17

Slide 17 text

© PERSOL CAREER CO., LTD. 17 パーソルキャリアのエンジニアブログです。“みんなの「はたらく」をテックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情報を発信しています。パーソルキャリアのデザイン組織のブランドサイトです。「デザインの力で、はたらくを変え、社会を変えていく。」をステートメントとし、デザインの価値を広める活動をしています。各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテクノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュニティです。「NUTION（ニューション）」「techtekt（テックテクト）」「TECH Street（テックストリート）」パーソルキャリアのオウンドメディアご紹介

Slide 18

Slide 18 text

ご清聴ありがとうございました【免責事項】本資料に含まれる技術情報は発表日時点のものであり、予告なく変更される場合があります。実装や運用は自己責任で行ってください。発表者および所属組織は、本資料に基づく行動の結果について一切の責任を負いません。本資料に記載されている会社名・製品名などは、一般に各社の登録商標または商標、商品名です。資料内では ©, ®, TM マークなどは表示していません。