Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

検索エンジニアが考える、 生成AI時代の人間の付加価値とは

Recruit
March 07, 2024

検索エンジニアが考える、 生成AI時代の人間の付加価値とは

2024/02/21に、RECRUIT TECH CONFERENCE 2024で発表した、大杉の資料です。

Recruit

March 07, 2024
Tweet

More Decks by Recruit

Other Decks in Technology

Transcript

  1. 大杉 直也 ボードゲーム 経歴 / Career 2014年にリクルート新卒入社。 2017年、N高等学校に3年次編入(社会人高校生)。 2020年、同高校卒業。 現在は、シニアサーチエンジニアとして働く傍ら、プロ

    ンプトエンジニアリングの社内研修や事業現場へのヒア リングを踏まえた大規模言語モデルの利活用推進を実施 している。 現在、デジタル庁でもAI部門 担当者として兼業中。 趣味 / Hobbies データ推進室 データテクノロジーユニット アジリティテクノロジー部 A/Bテスト実践ガイド(翻訳) Apache Solr 入門(第3版) 出版物 / Publications
  2. 検索エンジンを大規模言語モデルで強化する 検索エンジン データ 分析レポート フォーマット変換 ラベリング データクレンジング 文章生成・要約 など 集計結果の解釈

    インサイトの提案 など 更新処理・データ分析 検索エンジン 検索 クエリ 検索結果 固有表現抽出 クエリ意図推定 など 再フィルタリング 検索結果の解釈 など オレンジ色が大規模言語モデル で実現可能な処理
  3. 検索エンジンで大規模言語モデルを強化する 大規模言語モデルの弱点である 1. 知識のアップデートを大量・高速に実施 a. プロンプトに知識埋め込みはtoken数制約にひっかかる b. 追加学習は計算時間がかかる 2. 大量のデータを解釈性高く制御

    a. 中身の処理がブラックボックス は検索エンジンが得意とするところなので、検索エンジンと組み合わ せることが有効 リクルートではこの検索エンジンを高品質にするための条件が揃って いる
  4. 検索エンジンで大規模言語モデルを強化するために重要なもの 検索対象のアイテム ・ リクルートでは全国の営業網からファクトチェックされた信頼のおけるアイテムが登録される 検索のアルゴリズム ・ 流行りの汎用型の埋め込み表現はドメイン特化の検索では品質いまいち。教師付き学習によるファイン チューニングが必要 ・ リクルートでは複数のドメインでシェア率業界トップクラスのWebサービスがあり、そこの検索関連ロ

    グが優良なシグナルになる 検索のシステム基盤 ・ リクルートでは検索システムを、(1)汎用的なもの(2)特化型のものをそれぞれ提供する専門のエンジニ ア組織が存在(いわばスタートアップからエンタープライズまで) 検索の評価 ・ データ基盤が整備されており、社内にA/Bテストの専門家もいる
  5. ヒトを大規模言語モデルで強化する 記事テーマ キーワード 取材メモ など 記事作成補助 校閲補助 記事原稿 入稿情報 など

    この記事原案を元に記事を作れる 必要なら大規模言語モデルとチャットしな がら整えていく 作家性が重要でない箇所(例:アクセス情 報)の文章作成を省エネ化し、「どんなテ ーマ」で「どんな見出し」で「どんな構成 にするか」といった拘りポイントにヒトは 注力できるようになる 過去の良い記事例 記事作成のコツ など 法令ガイドライン 社内表記ルール など + + オレンジ色が大規模言語モデル で実現可能な処理 固有のルール 記事原案 社内限定の知識 修正案 リクルートでは実際に記事がリリースされ る前の品質担保を重要視している この品質担保に必要な知識はかなり多く、 レビューできる人材が希少リソースになり がち 固有のルールによる判定を大規模言語モデ ルで行うことで (1)希少リソース人材の作 文工数の削減 (2)希少リソース人材に頼ら ない初心者育成ができる
  6. ヒトで大規模言語モデルを強化する 供給側の情報 宿や飲食店や物件 など ヒトが介在しない場合 ヒトが介在する場合 生成AIだけでも、消費者像に合わせた加工 は十分可能 しかし、 (1)

    そもそも供給側の情報は本当か (2) 文言が法律要件などに合うか (3) 本当に消費者に好ましいものか などに不安が残る オレンジ色が大規模言語モデル で実現可能な処理 ヒトが介在することで、上述の不安は解消 され、以下のように付加価値をつけられる • 特に重要なのは、供給側(クライアント) と直接接点を持っていることで、消費者 からのフィードバックを伝えることがで きる点 • これにより、需要と供給のバランスがよ り取りやすくなり、ムダの少ない効率的 な市場経済が実現されやすくなる • また消費者の潜在的なニーズを顕在化す るドライバーを作ることで (例:見出し 文言)供給側(クライアントの種類)もより 多様になっていく 供給側の情報 宿や飲食店や物件 など 消費者 原案 加工後 情報 消費者 加工後 情報 校正 ファクトチェック 編集 フィードバック
  7. サービス ヒト 検索エンジン 生成AI 不足を補う 不足を補う 機能強化 生産性向上 機能提供 利便性向上

    価値向上 生成AI時代はこの世界観でより良いものが作られていく(はず)