Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMを「主役」にしないための 3つの原則

LLMを「主役」にしないための 3つの原則

人材紹介業務において、求人票の作成は多大な工数を要する定型業務の一つです。本発表では、LLMとAWSを用いて、求人票の自動生成から審査・外部システム連携までを一気通貫で実現するシステムの開発について紹介します。
本システムでは、PDF・Excel・Word等の多様なファイルからテキストを抽出し、LLMが求人票の各項目を段階的に生成します。さらに、一部分ではベクトル検索を組み合わせることで、出力内容の品質担保を行なっています。基盤にはAWS Lambda、Step Functions、SQS等を採用し、非同期ワークフローによるスケーラブルな処理パイプラインを構築しました。生成後はLLMによる自動審査、RPA連携による既存業務システムへの自動登録まで、求人票のライフサイクル全体をカバーしています。
本発表では、アーキテクチャ設計の意図、LLMの出力品質を担保するためのリトライ戦略やエラー設計などについて紹介いたします。

パーソルキャリア IT/テクノロジー職向け採用サイト
技術領域や取り組んでいるテーマ、社員インタビューについてご覧いただけます。
その他職種や会社の事業・サービスについてご関心を持たれた場合は、ぜひキャリア採用サイト もご参照ください。

techtekt(テックテクト)
パーソルキャリアのエンジニアブログです。“みんなの「はたらく」をテックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情報を発信しています。
NUTION(ニューション)
パーソルキャリアのデザイン組織「NUTION」のブランドサイトです。「デザインの力で、はたらくを変え、社会を変えていく。」をステートメントとし、デザインの価値を広める活動をしています。
TECH Street
パーソルキャリアが主催する各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテクノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュニティです。


Resources

パーソルキャリア IT/テクノロジー職向け 会社紹介資料|Company Introduction Deck

https://speakerdeck.com/techtekt/persol-career-recruiting-company-introduction-ittech

More Decks by PERSOL CAREER Dev | techtekt

Other Decks in Technology

Transcript

  1. © PERSOL CAREER CO., LTD. 3 会社概要 社 名 本

    社 創 業 資 本 金 事 業 内 容 従 業 員 数 パーソルキャリア株式会社 東京都港区麻布台一丁目3番1号 麻布台ヒルズ 森JPタワー21階 1989年6月 1,127百万円 人材紹介サービス、求人メディアの運営、転職・就職支援、 採用・経営支援、副業・兼業・フリーランス支援サービスの提供 6,721名 (有期社員含む グループ会社出向中の者は除く 2026年3月1日時点)
  2. © PERSOL CAREER CO., LTD. 5 宇賀神 拓也 Takuya Ugajin

    パーソルキャリア株式会社 データ・AIソリューション本部データ・AIインフラ統括部AIプラット フォーム部 AIインフラ・アーキテクトグループ リードエンジニア 2023年にパーソルキャリアに入社。前職ではAIベンチャーで 自社サービスの開発、社内PoC向けのシステム開発に従事。現 在はバックエンド開発を担当。
  3. © PERSOL CAREER CO., LTD. 6 【課題】 顧客様より求人の依頼を受けて求人票管理システムに登録するまでに大きな工数がかかっている 【目的】 生成AIを用いることで工数削減を目指す

    → 2026年3月に本番リリース完了 求人票自動作成プロジェクトの概要 求人 求人票管理 システム リクルーティングアドバイザー が作成 審査グループによる 内容のチェック 求人 求人票管理 システム リクルーティングアドバイザー が内容の確認 審査グループによる 内容のチェック AS-IS TO-BE 求人票自動 作成システム AIによる求人票の作成
  4. © PERSOL CAREER CO., LTD. 8 ベクトルの類似度を用いたコード値変換 社内システム構築 基本情報技術者MUST ネットワークスペシャリストがあればなお可

    年間休日125日 転勤なし 社保完備 Go、Java、PHP、Python 本社は東京都新宿区XXX リモートワーク可能 職種 コード値 エンべディング結果 IT法人営業 001 (0.112,0.22,-0.123,…) 半導体・電子部品営業 002 (0.112,0.22,0.233,…) 商品企画・サービス企画 003 (0.210,0.33,0.783,…) 販売促進・PR 004 (0.563,0.44,-0.153,…) プロジェクトマネージャ 005 (-0.123,0.49,0.542,…) 生産管理 006 (0.432,-0.23,0.653,…) 社内SE 007 (-0.123,0.22,0.432,…) 社内SE システムエンジニア IT法人営業 (-0.123,0.22,0.432,…) (-0.123,0.52,0.732,…) (0.112,0.22,-0.123,…) 007 092 001 コード値に変換 エンべディング 資格情報を抽出 【変換表】 【求人要件メモ】
  5. © PERSOL CAREER CO., LTD. 9 LLMはいつ・どのくらい失敗するか読めない → 失敗・遅延・生成結果の揺らぎはシステム側で吸収し、ユーザにはわからないようにする •

    システム側でのリトライ • Exponential Backoff and Jitter • 不正なレスポンスフォーマットの場合リトライ • タイムアウトした場合リトライ • 不適切な出力の場合リトライ • 処理時間の変動を見据えた非同期処理 • リトライによる実行時間変化に対応するためLLMに関連する処理は全て非同期処理 • 非同期処理に伴い通知フローの設計が必要になるが非同期にすべき • 業務イベントとしてLLMの生成エラーを扱う • 処理結果に「生成失敗」「再生成」を入れることでユーザ側でのリカバリができるように設計 • システム監視項目で生成失敗の監視 • エンジニア側でも監視&リカバリを実施 原則2 — LLMは失敗する前提で設計する
  6. © PERSOL CAREER CO., LTD. 10 原則2 — LLMは失敗する前提で設計する •

    LLM起因のエラーとシステム起因のエラーをわけ、LLM起因の場合はユーザ側でもリトライ可 • 生成が長すぎる場合はユーザ側でキャンセル可 → LLMは失敗、イレギュラーな動きをしても問題ない設計にする
  7. © PERSOL CAREER CO., LTD. 12 ここまでLLMの扱い方について説明しました しかし、このプロジェクトで開発工数がかかったのは、原則1でも原則2でもない部分 原則3 —

    1番大変なのはLLMの外側 求人 求人票管理 システム リクルーティングアドバイザー が内容の確認 審査グループによる 内容のチェック 求人票自動 作成システム AIによる求人票の作成 AIによる求人票の審査
  8. © PERSOL CAREER CO., LTD. 13 原則3 — 1番大変なのはLLMの外側 34%

    66% ステップ数割合 LLM関連 それ以外 • clocにて行数をカウント • ステップ数が多い ≠ 作業工数がかかる なのであくまで参考値
  9. © PERSOL CAREER CO., LTD. 14 既存の求人票管理システムには、項目間の複雑な依存ルールが大量に存在 • 賃金形態(年俸制/月給制/日給制/時給制/その他)の値が変化 →

    関連する十数フィールドのクリア/保持 /初期値セットが連鎖 • 労働時間区分(通常/みなし/変形/フレックス)× 就業時間区分 × コアタイム/フレキシブルタイムの有 無→組み合わせごとにクリア対象が異なる • 休日休暇区分(週休/月休)→ 曜日指定数と週休日数の一致チェック • 月給 x 12 + ボーナスと年収の一致チェック • etc… • LLMが生成した結果をチェックする際にシステム側でもルールに適合しているかチェックが必要 → 求人票管理システムと同等のルールを作成する必要が出てきてしまう 原則3 — 1番大変なのはLLMの外側
  10. © PERSOL CAREER CO., LTD. 15 • 運用・保守 • 利用率が上がらない

    • 求人票管理システムの仕様変更時 • LLMを使ったサービスの運用、障害対応どうやったらいい? • 想定外の利用方法 • 「https://doda.jp/xxxxxx」 • 画像形式PDFファイルの添付 • 「会話のラリーをして精度を高められないか?」 • LLM特有の問題 • ハルシネーション対策 • 業務フローとシステム仕様が一致しない • LLMを取り巻く環境の変化 • RAG • MCP • AIエージェント • etc… 原則3 — 1番大変なのはLLMの外側
  11. © PERSOL CAREER CO., LTD. 16 まとめ 1. LLMに苦手なことをやらせない •

    自然言語生成だけLLMに任せて、コード値変換などは専用処理に任せる 2. LLMは失敗する前提で設計する • システム側でリカバリ可能な対応は入れておく • システムの仕様として失敗した場合を考慮する • 運用についてもあらかじめ考慮しておく 3. 1番大変なのはLLMの外側 • 既存システム連携 • LLMは機能の一つに過ぎない • やらなければならないことは山ほどある
  12. © PERSOL CAREER CO., LTD. 17 パーソルキャリアのエンジニアブログです。“みんなの「はたらく」を テックでつくる”をコンセプトに、技術、組織、学びなど、さまざまな情 報を発信しています。 パーソルキャリアのデザイン組織のブランドサイトです。「デザインの力

    で、はたらくを変え、社会を変えていく。」をステートメントとし、デザ インの価値を広める活動をしています。 各社の現場で活躍しているITエンジニアやテクノロジー人材から、ITテク ノロジーに関するさまざまなテーマの事例や知見が学べる勉強会コミュ ニティです。 「NUTION(ニューション)」 「techtekt(テックテクト)」 「TECH Street(テックストリート)」 パーソルキャリアのオウンドメディアご紹介