LLMプロダクト事業の立ち上げにおける挑戦

2024年3月25日に開催された「Startupこそ生成AIを活用していこう！生成AIの事業活用事例共有会」で、AI・LLM事業部の篠塚史弥が発表した資料です。

「LLMプロダクト事業の立ち上げにおける挑戦」をテーマに、LLMプロダクト開発において大事にしていること、LayerX内での具体的な開発アプローチについてお話ししました。
https://aws-startup-community.connpass.com/event/309291/

Transcript

1. © LayerX Inc. LLMプロダクト事業の立ち上げにおける挑戦
2. 2 Confidential © 2024 LayerX Inc. 篠塚 史弥 • 元FiNC Technologies CTO。1100万ダウンロードを超 えるヘルスケアアプリFiNCをゼロから作る • 2024年1月LayerX入社. AI・LLM事業部に所属し、LLM プロダクト開発のリードを担当 • 好きなAWSサービスはSNSとSQS twitter: @shinofumijp
3. LayerXの紹介
4. © LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5. © LayerX Inc. 5 LayerXのLLM事業 LayerXのご紹介 例: 三井物産デジタル・アセットマネジメントでの取組 エンタープライズ企業の業務のリデザイン 様々なファンドにまつ わる契約書 • LLMだからこそできるDX • 単に自動化するのではなく、業務を LLMネイティブな形に変える • 特に、長文の文書処理業務 ファンド管理DB 登記簿等の公的書類 投資サービスへの連携 ファンド運営の 効率化・自動化 LLM
6. © LayerX Inc. 6 LLMの現状とLayerXのアプローチ LLMの「よしなにやる力」によって、業務の標準化要件が緩和 従来と異なり、プログラムで直接表現できるレベルまで業務の方法を定義する必要がない 従来 or LLM 　ケースごとの違いを LLMが吸収 柔軟性の低さ 人力でカバー
7. © LayerX Inc. 7 例: 非構造的な長文の文書の整理 LLMの現状とLayerXのアプローチ {会社名: 株式会社LLM} xxx契約書 第6条（責任の免除） 甲は、本契約に基づくサービスの提供において、故意 または重大な過失がない限り、いかなる間接的損害に 対しても責任を負わない。 乙による本サービスの利用に関連して発生したデータ の損失または損害について、甲は責任を負わない。 会社名　株式会社LLM {責任制限条項: 間接的損害, データの損失ま たは損害} 長文の文書の意味を汲み取り、ファイルからデータを取得して整理（構造化） デジタル化を阻んでいた 見た目（フォーマット）の違いを吸収 LLM
8. LLMの現状とLayerXのアプローチ
9. © LayerX Inc. 9 企業における生成AIの導入状況 生成AIへの取り組み状況 昨年4月から10月の半年間で生成AIを導入する企業は急増し、案件推進中の企業を加えると半数を超える。 これから本格導入する企業も今年度中〜来年度上期には完了するなど、導入検討の時期は終わりつつある。 （出所） PwC 「生成AIに関する実態調査2023 秋」 生成AIの本格導入予定時期 2022年 29% 2023年中 14% 2024年度 上期 15% 2025年度 7% 2024年度 下期 9% 未定 27%
10. © LayerX Inc. 10 企業における生成AIの活用状況 他方で導入企業の従業員の利用率は、「ほぼ使われていない」〜「3割程度」を合わせて7割超となっており、 スキル・ノウハウ・ユースケースの不足が活用を妨げる課題となっている。 生成AIの社内活用状況 生成AIの活用において直面している課題 8割以上 11% 半数 17% ほぼ使われていない 40% 3割程度 32% （出所） PwC 「生成AIに関する実態調査2023 秋」 、Exa Enterprise AI 「「生成AIの利用実態調査レポート　〜2023年12月版〜」
11. 11 Confidential © 2024 LayerX Inc. LLMの現状とLayerXのアプローチ 処理結果データ 処理結果を 活用・検索する AIの出力結果を レビューする AIに実際の業務 を実行させる AIに一連の業務 フローを教える AIアルゴリズム基盤（LLM, OCR etc） データベースアプリ 文書処理アプリ LayerXのLLMプロダクト ノーコード、ノープロンプトのAIオートメーションプラットフォーム 企業横断のベストプラクティス に基づき開発 過去事例の社内共有や 担当者の引き継ぎへ
12. © LayerX Inc. 12 LLMと“ニッチ”なユースケースの相性 プロフェッショナル業務でのLLM活用 LLMは多様なケースで素早く高い精度が出せるため、プロフェッショナルの専門的な業務を変革しうる 多様な領域に機械学習が使えるように 機械学習モデルとアプリケーションの関係 これまでの機械学習 生成AI（LLM）
13. LLMプロダクト開発において 大事にしていること
14. © LayerX Inc. 14 チューニングの重要性 “Beyond PoC” させるLLM活用 ChatGPT・APIをそのまま使うだけでは、精度が安定せず、本番業務に耐えられることは少ない https://thebridge.jp/2023/07/chatgpt-sees-10-percent-mom-decline https://business.nikkei.com/atcl/gen/19/00466/070400013/ 既存ツールで十分 なユースケース 粘り強い 精度改善により 実現できる ユースケース
15. © LayerX Inc. 15 2つのエンジニアリングチームにより チューニング・実用化を目指す ② プロダクトとして業務に フィットさせるチーム ① 顧客課題をLLMによって 解決するチーム • 個別の顧客業務に対してアルゴリズムを考案 • 事例を集めてアルゴリズム基盤の開発 • 顧客業務全体の最適化をプロダクトを通して行う • ①のチームのチューニングの効率化支援
16. © LayerX Inc. 16 LLMのとっかかりやすさからプロダクト開発エンジニアも活躍しやすい 以下の要件にピンときたらぜひご連絡を • お客様とコミュニケーションを取りながら業務理解をすることが好き • 新しい技術や知見のキャッチアップが得意 • 立ち上げ期の不確実な状況を楽しめる ML・NLPバックグラウンドのエンジニアも大募集中！ 参考) プロダクト開発・R&Dバックグラウンドのエンジニアが中心
17. © LayerX Inc. 17 業務理解をすることでLLMを用いてどのように解決していくかの道筋が立てられる スケーラビリティよりN=1の個別の深い洞察を大事にしている 顧客業務を深く理解する
18. © LayerX Inc. 18 ドメインエキスパートであるお客様の知見をアルゴリズムのチューニングに活かす ドメインエキスパートの協力 • 技術的な精度向上 • プロダクト上でチューニングを行う機能の提供 • ドメイン知識を用いて精度向上 ◦ 使用文言、文書構造の特性の入力
19. © LayerX Inc. 19 LLM単体で100%の精度が出せないことを前提に、プロダクトを通して人間で補完する設計 人間が評価とフィードバックをしやすいプロダクト上での体験が重要 LLM精度の補完 出力結果に対する 評価とフィードバック Input LLM Output(tmp) Output(fix)
20. © LayerX Inc. 20 カジュアル面談の依頼もお気軽にXから！ @shinofumijp LayerXのAI・LLM事業部の「最初の10人」になりませんか！ 積極採用中！ 宣伝 • 経験豊富なメンバーとの事業立ち上げ ◦ 経営陣に上場企業役員経験者が9人在籍 • 0→1フェーズだが、会社はそれなりに成熟 ◦ 約133億円の資金調達 ◦ オフィスも綺麗です！ • スタートアップでは通常開拓しにくい業界での取り 組み実績