Slide 1

Slide 1 text

© 2023 LayerX Inc. 検索APIとFunction callingによるレポート生成 LayerX Taishi Eguchi (@shierote) 2023/07/05

Slide 2

Slide 2 text

自己紹介

Slide 3

Slide 3 text

© 2023 LayerX Inc. 3 東京大学大学院 情報学環・学際情報学府 修士2年 暦本研究室(Prof: 暦本純一) 株式会社LayerX Software Engineer(インターン) 千葉の幕張出身・ジントニックが好き 自己紹介 江口 大志 (@shierote)

Slide 4

Slide 4 text

LayerXとLayerX LLM Labs

Slide 5

Slide 5 text

© 2023 LayerX Inc. 5 LayerXの紹介 バクラク事業 企業活動のインフラとなる法人支出管理 (BSM)SaaSを開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネ ジメント・証券事業を合弁会社にて 展開 PrivacyTech事業 パーソナルデータの利活用とプライバシー 保護を両立するソリューションの提供

Slide 6

Slide 6 text

© 2023 LayerX Inc. 6 LayerX LLM Labsについて LayerXでの大規模言語モデル専任チーム 今後の取り組み ・LayerXおよび三井物産デジタル・アセットマネ ジメントにおけるLLM活用のフィードバック ・LayerXが展開する支出管理サービス「バクラ ク」へのLLMの導入検証 ・LLMを活用した新規事業の検討・探索 ・LLMに関する勉強会コミュニティの運営 ・ブログや論文などを通じた情報発信 等

Slide 7

Slide 7 text

Function callingと検索APIを 使ったレポート生成

Slide 8

Slide 8 text

© 2023 LayerX Inc. 8 デモ 特定のテーマでレポートを作らせたい

Slide 9

Slide 9 text

© 2023 LayerX Inc. 9 仕組み: Function callingで前処理してから生成 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート

Slide 10

Slide 10 text

© 2023 LayerX Inc. 10 仕組み: Function callingで前処理してから生成 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート Function callingによる取得 { “query”: “Palantir business history”, “title”: “Palantirのビジネスの歴史と戦略”, “chapters”: [ “Palantirの創業と初期の歴史”, “Palantirのビジネスモデルと主要な製品 ”, “Palantirの成長戦略とその実行”, “Palantirの将来展望と課題”, ], }

Slide 11

Slide 11 text

© 2023 LayerX Inc. 11 仕組み: Function callingで前処理してから生成 「LayerXのビジネスの歴史と戦略につ いて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート Function callingによる取得 { “query”: “LayerX ビジネス 歴史 戦略”, “title”: “LayerXのビジネスの歴史と戦略”, “chapters”: [ “LayerXの会社概要”, “LayerXのビジネスモデルと主要な事業 ”, “LayerXのビジネスの歴史”, “LayerXの戦略とその展望”, ], }

Slide 12

Slide 12 text

© 2023 LayerX Inc. 12 仕組み: 章ごとに異なるChunkを参照 検索結果 Index レポートの各章中身 1. Palantirの創業と初期の歴史 2. Palantirのビジネスモデルと主要な製品 3. Palantirの成長戦略とその実行 4. Palantirの将来展望と課題 Chunk1 Chunk2 Chunk3 Chunk4 Chunk5

Slide 13

Slide 13 text

© 2023 LayerX Inc. 13 改善のbefore / after ❌テーマで直接検索 + 全体を一括生成 ✅Function callingで前処理後、章ごとに生成 ↑解像度の低いレポートになってしまっている ↑情報密度の高いレポート

Slide 14

Slide 14 text

© 2023 LayerX Inc. 14 改善前の設計 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索結果 Index レポート全体生成 レポート ① ② ③

Slide 15

Slide 15 text

© 2023 LayerX Inc. 15 改善後の設計: Function callingで前処理してから生成 「Palantirのビジネスの歴史と戦略に ついて教えて」 検索クエリ レポートタイトル レポート章タイトル群 検索結果 Index Function calling レポートの各章中身 ① ② ③ ④ レポート

Slide 16

Slide 16 text

© 2023 LayerX Inc. 16 展望 ① HybridSearchなど複数の情報源 + レポート生成 Google検索 + 社内ポータル検索を組み合わせたレポー ト生成で向上できる可能性。検索エンジン、Embedding などをどう組み合わせるか? ② リファレンスの粒度を細かくする 文章ごとに何のサイトのどのテキスト(Chunk)を参照し たのか?Function callingを活用できるかも 検索クエリを変えて参照増やしたり、特定の章だけ修正し たり、別の章を加えたり、一回で完璧を求めずにコンポー ネントごとに更新可能にする。 ③ 生成・修正・加筆サイクルを回せるUI/UX Agentでタスク計画させて、検索やレポート内容の深掘 り、関連テーマでのレポート執筆などをさせる。 Tableデータ作成、グラフ化なども加える。 ④ Agentとの組み合わせ