Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
特許データを使ったマルチモーダルAIの検証事例@LLMProd#4
Search
Osuke
March 04, 2024
Technology
370
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
特許データを使ったマルチモーダルAIの検証事例@LLMProd#4
Osuke
March 04, 2024
Transcript
14 slides
© 2024 LayerX Inc. LayerX AI・LLM事業部 須藤 欧佑 2023/03/04 @LLMProd
#4 特許データを使ったマルチモーダルAIの検証事例
© 2024 LayerX Inc. 2 須藤 欧佑 • LayerX AI・LLM事業部
エンジニア • LayerX 創業時からプライバシー保護分野で研究開発 ◦ ゼロ知識証明(暗号) ◦ TEE(プロセッサのセキュリティ機構) ◦ 差分プライバシー • その後、プロダクト開発やデータ基盤の構築・運用 • 現在は、LLMを用いたプロダクト開発 自己紹介
© 2024 LayerX Inc. 3 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名
代表取締役 創業 資本金* 関連会社 株主一覧 | 株式会社LayerX(レイヤーエックス) | 代表取締役CEO 福島 良典 代表取締役CTO 松本 勇気 | 2018年 | 132.6億円 | バクラク事業、Fintech事業、AI・LLM事業 | 三井物産デジタル・アセットマネジメント 三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 | 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理(BSM)SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業
© 2024 LayerX Inc. 4 生成AI・LLMへの投資強化の背景 LayerXのご紹介 構造化データだけでなく 多様なフォーマットに対応可能 +
生成AI・LLMの登場により非構造化データを含めたあらゆるフォーマットのデジタル化が可能に。
© 2024 LayerX Inc. 5 LayerXのLLM事業 LayerXのご紹介 例: 三井物産デジタル・アセットマネジメントでの取組 エンタープライズ企業の業務のリデザイン
様々なファンドにまつ わる契約書 • LLMだからこそできるDX • 単に自動化するのではなく、業務を LLMネイティブな形に変える • 特に、長文の文書処理業務 ファンド管理DB 登記簿等の公的書類 投資サービスへの連携 ファンド運営の 効率化・自動化 LLM
© 2024 LayerX Inc. 6 プロンプトに限らない様々なパラメータをチューニング LayerXの社内LLM基盤 LayerXの社内基盤 分割 簡単に個別の業務に合わせたアルゴリズムを検証
• YAMLの設定ファイルをいじるだけ • コードを書かずにチューニング可能 • 精度評価を自動化 ◦ 「採点結果」がレポートとして出力される ◦ 「チーティング」を避けるために重要! → 現在、WEBアプリ化してより使いやすくしている LLM処理 LLM処理 変換 検索 LLM処理 設定 ファイル LayerXのご紹介
特許データを使った マルチモーダルAIの検証事例
© 2024 LayerX Inc. 8 • パブリックになっていて、大量の画像データが存在する検証題材として特許データを活用 • 特許出願の際、既存特許比べて新規性・進捗性があるか調査が必要 •
文章だけでなく特許の図面調査も重要 背景
© 2024 LayerX Inc. 9 検証ユースケース • マルチモーダルAIを使って、一連の特許に含まれる図面が検索テキストに該当するか判定 • 検索テキスト例
◦ 「掃除機の握り部分がケース前方側に配置され、ハンドルフレームが上面部と両側面部にわたって 配置」
© 2024 LayerX Inc. 10
© 2024 LayerX Inc. 11 図面検索フロー • 事前にキーワード検索で100程度の特許を準備 • それぞれの特許の明細から図面中の符号に対する説明を抽出
◦ ここのフォーマットは特許ごとに様々なのでGPT3.5などを用いて統一フォーマットに整形 • それぞれの特許のそれぞれの図面に対して検索テキストと符号の説明を組み合わせたプロンプトを与 えて判定処理 GPT-4V 検索対象の 特許群 特許ごとの 図面画像 図面 図面ごとの プロンプト - プロンプトテンプ レート - 符号の説明 テキスト情報 Yes / No 図面ごとの 判定結果
© 2024 LayerX Inc. 12 • 精度 ◦ 事例ごとに大きくブレがある ◦
False Positive改善: 該当しない図面がTrueを返してしまう ◦ 説明テキストの改善・特許文章からの補足 • コスト ◦ モデル自体のコスト低下 ◦ 前処理等でできるだけインプットを減らす • パフォーマンス ◦ リクエストをバッチ化 課題・今後の対策
© 2024 LayerX Inc. 13 LayerXのAI・LLM事業部の「最初の10人」になりませんか! 積極採用中! 宣伝 • 経験豊富なメンバーとの事業立ち上げ
◦ 経営陣に上場企業役員経験者が9人在籍 • 0→1フェーズだが、会社はそれなりに成熟 ◦ 約133億円の資金調達 ◦ オフィスも綺麗です! • スタートアップでは通常開拓しにくい、業界での取り 組み実績 • SRE・PdMの募集も開始します!! https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132
None
More Decks by Osuke
See All by Osuke
dbtを中心に据えた データ分析とプロダクト開発
osuke
1
1.2k
LayerX Privacy Tech事業部紹介 Tech編
osuke
2
290
(SCIS2021) Anonify: プライバシーを保護した 検証可能な状態遷移モジュール
osuke
1
490
Rustで実装された AWS Nitro Enclaves CLIを読む
osuke
1
480
Rustのパフォーマンスに関するTips
osuke
4
5.3k
ARM TrustZone入門 / ARM TrustZone intro
osuke
34
11k
Anonify
osuke
3
1.2k
Rustのasync/awaitとスケジューラの話 / rust-async-await
osuke
9
4.3k
Privacy on Blockchain
osuke
1
1.3k
Other Decks in Technology
See All in Technology
お風呂場をサーバルームにしよう
yusuke427
0
390
さようならSSH鍵、こんにちはゼロトラスト ― AIフレンドリーで快適な自宅鯖SSH
atalie2m
14
7.4k
AI-Ready なデータ基盤ってなに? & 新卒未経験が、いま考えていること
imuta
0
1.1k
IoTのデータ保存をSREの観点で考える
grimoh
1
120
エンタープライズ事業未経験のデータ屋、 AI時代にN回撃沈する.pdf
ryoskdara_
0
190
こんなに変わった! AWSネットワークの常識
shotashiratori
16
11k
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
社内アプリ基盤「Quartz」による、 非エンジニアとAIに本番デプロイを 任せても壊れないプラットフォームの設計
staka121
PRO
1
220
kubellの最新データ分析環境
kubell_hr
2
260
コーディングできない僕にBobが舞い降りた
shumpei3
0
190
HTTP QUERY時代の型安全な検索APIをKotlinで設計する
sansantech
PRO
1
120
攻撃と守りは何が変わり、何が変わらないのか~最近の不正アクセスから考える、リスク評価と標準の使いどころ
oidfj
2
310
Featured
See All Featured
Agile Actions for Facilitating Distributed Teams - ADO2019
mkilby
0
350
The Art of Programming - Codeland 2020
erikaheidi
57
15k
Well, that’s weird…
csswizardry
1
200
Balancing Empowerment & Direction
lara
6
1.4k
Digital Projects Gone Horribly Wrong (And the UX Pros Who Still Save the Day) - Dean Schuster
uxyall
2
4k
How STYLIGHT went responsive
nonsquared
100
6.4k
Imperfection Machines: The Place of Print at Facebook
scottboms
270
14k
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
2
540
A Tale of Four Properties
chriscoyier
163
24k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
700
The Limits of Empathy - UXLibs8
cassininazir
2
800
Future Trends and Review - Lecture 12 - Web Technologies (1019888BNR)
signer
PRO
0
3.8k