特許データを使ったマルチモーダルAIの検証事例@LLMProd#4

Transcript

1. © 2024 LayerX Inc. LayerX AI・LLM事業部 須藤 欧佑 2023/03/04 @LLMProd #4 特許データを使ったマルチモーダルAIの検証事例
2. © 2024 LayerX Inc. 2 須藤 欧佑 • LayerX AI・LLM事業部 エンジニア • LayerX 創業時からプライバシー保護分野で研究開発 ◦ ゼロ知識証明（暗号） ◦ TEE（プロセッサのセキュリティ機構） ◦ 差分プライバシー • その後、プロダクト開発やデータ基盤の構築・運用 • 現在は、LLMを用いたプロダクト開発 自己紹介
3. © 2024 LayerX Inc. 3 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業
4. © 2024 LayerX Inc. 4 生成AI・LLMへの投資強化の背景 LayerXのご紹介 構造化データだけでなく 多様なフォーマットに対応可能 ＋ 生成AI・LLMの登場により非構造化データを含めたあらゆるフォーマットのデジタル化が可能に。
5. © 2024 LayerX Inc. 5 LayerXのLLM事業 LayerXのご紹介 例: 三井物産デジタル・アセットマネジメントでの取組 エンタープライズ企業の業務のリデザイン 様々なファンドにまつ わる契約書 • LLMだからこそできるDX • 単に自動化するのではなく、業務を LLMネイティブな形に変える • 特に、長文の文書処理業務 ファンド管理DB 登記簿等の公的書類 投資サービスへの連携 ファンド運営の 効率化・自動化 LLM
6. © 2024 LayerX Inc. 6 プロンプトに限らない様々なパラメータをチューニング LayerXの社内LLM基盤 LayerXの社内基盤 分割 簡単に個別の業務に合わせたアルゴリズムを検証 • YAMLの設定ファイルをいじるだけ • コードを書かずにチューニング可能 • 精度評価を自動化 ◦ 「採点結果」がレポートとして出力される ◦ 「チーティング」を避けるために重要！ → 現在、WEBアプリ化してより使いやすくしている LLM処理 LLM処理 変換 検索 LLM処理 設定 ファイル LayerXのご紹介
7. 特許データを使った マルチモーダルAIの検証事例
8. © 2024 LayerX Inc. 8 • パブリックになっていて、大量の画像データが存在する検証題材として特許データを活用 • 特許出願の際、既存特許比べて新規性・進捗性があるか調査が必要 • 文章だけでなく特許の図面調査も重要 背景
9. © 2024 LayerX Inc. 9 検証ユースケース • マルチモーダルAIを使って、一連の特許に含まれる図面が検索テキストに該当するか判定 • 検索テキスト例 ◦ 「掃除機の握り部分がケース前方側に配置され、ハンドルフレームが上面部と両側面部にわたって 配置」
10. © 2024 LayerX Inc. 10
11. © 2024 LayerX Inc. 11 図面検索フロー • 事前にキーワード検索で100程度の特許を準備 • それぞれの特許の明細から図面中の符号に対する説明を抽出 ◦ ここのフォーマットは特許ごとに様々なのでGPT3.5などを用いて統一フォーマットに整形 • それぞれの特許のそれぞれの図面に対して検索テキストと符号の説明を組み合わせたプロンプトを与 えて判定処理 GPT-4V 検索対象の 特許群 特許ごとの 図面画像 図面 図面ごとの プロンプト - プロンプトテンプ レート - 符号の説明 テキスト情報 Yes / No 図面ごとの 判定結果
12. © 2024 LayerX Inc. 12 • 精度 ◦ 事例ごとに大きくブレがある ◦ False Positive改善: 該当しない図面がTrueを返してしまう ◦ 説明テキストの改善・特許文章からの補足 • コスト ◦ モデル自体のコスト低下 ◦ 前処理等でできるだけインプットを減らす • パフォーマンス ◦ リクエストをバッチ化 課題・今後の対策
13. © 2024 LayerX Inc. 13 LayerXのAI・LLM事業部の「最初の10人」になりませんか！ 積極採用中！ 宣伝 • 経験豊富なメンバーとの事業立ち上げ ◦ 経営陣に上場企業役員経験者が9人在籍 • 0→1フェーズだが、会社はそれなりに成熟 ◦ 約133億円の資金調達 ◦ オフィスも綺麗です！ • スタートアップでは通常開拓しにくい、業界での取り 組み実績 • SRE・PdMの募集も開始します！！ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132