20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf

Transcript

1. Confidential © 2024 LayerX Inc. LayerX 事業部執行役員 AI・LLM事業部長 中村龍矢 2023/1/25 @生成AI Conf 第3回勉強会 開発側・ビジネス側という壁を作らない LLMアプリ開発
2. Confidential © 2024 LayerX Inc. 2 中村龍矢 機械学習エンジニア 東京大 工学部 • データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 （現在） 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 事業部執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
3. LayerXのご紹介
4. Confidential © 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5. Confidential © 2024 LayerX Inc. 5 経営チーム LayerXのご紹介 経営陣 AI・LLM事業部 福島 良典 代表取締役 CEO (Gunosy創業・上場) 横田 淳 取締役コーポレート担当 (メルカリ上級執行役員) 手嶋 浩己 取締役（非常勤） XTech Ventures 代表パートナー 渡瀬 浩行 執行役員 CFO (Aiming創業・上場) 名村 卓 執行役員 (メルカリCTO) 川口 かおり 執行役員 (Wantedly執行役員) 松本 勇気 代表取締役 CTO (Gunosy/DMM CTO) 中村 龍矢 執行役員 事業部長 (未踏スーパークリエータ) 畑島 崇宏 事業開発 (野村総合研究所) 篠塚 史弥 エンジニア (FiNC CTO) 小林 誉幸 事業開発 (弁護士ドットコム執行役員) カッコ内は前職などの参考情報
6. Confidential © 2024 LayerX Inc. 6 AI・LLM事業：昨年4月にLabs設立、11月に本格的に事業化へ LayerXのご紹介
7. Confidential © 2024 LayerX Inc. 7 生成AI・LLMへの投資強化の背景 LayerXのご紹介 構造化データだけでなく 多様なフォーマットに対応可能 ＋ 生成AI・LLMの登場により非構造化データを含めたあらゆるフォーマットのデジタル化が可能に。
8. 黎明期のLLMにどう挑むか
9. Confidential © 2024 LayerX Inc. 9 生成AIの導入状況 生成AIへの取り組み状況 昨年4月から10月の半年間で生成AIを導入する企業は急増し、案件推進中の企業を加えると半数を超える。 これから本格導入する企業も今年度中〜来年度上期には完了するなど、導入検討の時期は終わりつつある。 （出所） PwC 「生成AIに関する実態調査2023 秋」 生成AIの本格導入予定時期 2022年 29% 2023年中 14% 2024年度 上期 15% 2025年度 7% 2024年度 下期 9% 未定 27%
10. Confidential © 2024 LayerX Inc. 10 生成AIの活用状況 他方で導入企業の従業員の利用率は、「ほぼ使われていない」〜「3割程度」を合わせて7割超となっており、 スキル・ノウハウ・ユースケースの不足が活用を妨げる課題となっている。 生成AIの社内活用状況 生成AIの活用において直面している課題 8割以上 11% 半数 17% ほぼ使われていない 40% 3割程度 32% （出所） PwC 「生成AIに関する実態調査2023 秋」 、Exa Enterprise AI 「「生成AIの利用実態調査レポート　〜2023年12月版〜」
11. Confidential © 2024 LayerX Inc. 11 現状は「プチ幻滅期」、でも今年は面白いユースケースが色々出るはず 生成AI・LLMの現在地と今年の展望 • 「ChatGPTがないと生きていけない」人はあまりいないのでは？ • 一方、個別のドメインに深く根差したユースケースは色々生まれているはず ◦ LayerXでも、エンプラ向けの文書処理業務の効率化で沢山のプロジェクトを推進中 • 今年色々なファーストペンギンの事例が生まれて、波及していくのではないか
12. Confidential © 2024 LayerX Inc. 12 全世界が「よーいドン」で始まった 生成AI・LLMの事業立ち上げの面白いところ • どんなユースケースで生成AI・LLMがフィットするのか、まだほとんど答えが出ていない ◦ 自分たちが「白黒つける」立場 • 「海外の市場を数年遅れて追いかける」のではなく、自分たちで発明して行かなければならない
13. Confidential © 2024 LayerX Inc. 13 「誰かがやって無駄になる」を恐れない よくある質問: 結局Microsoft/Googleがやるから意味ない？ • 数ヶ月・一年後に、作ったものが無駄になるかもしれない （コモディティ化のリスク） • それでもやる ◦ 作った成果物そのものが欲しいのではなく、それを使って行った実験や、ユーザーに提供して得ら れた発見が、その次の展開につながる、価値あるアセット ◦ コモディティ化を恐れて、過度にニッチな方向に走らない • 注: 弊社のように、AIのサービス提供側は、当然ポジショニングは徹底的に考える必要がある ◦ 徹底的に考えた上で、恐れない、ということ
14. Confidential © 2024 LayerX Inc. 14 ビジネス側・開発側が分断されていると、仮説検証のサイクルがとても遅くなってしまう 今日のテーマ: ビジネス側・開発側の垣根を作らない • ユーザーの声をただ聞くだけでは、生成AI・LLMによる新しい体験は生まれない ◦ 業務効率化なら、既存業務を自動化するのではなく、業務を変えることでAIネイティブにする • 今の生成AI・LLMでできることの範囲で考えていても、限界がすぐに訪れる ◦ 「頑張ってもどうしてもできないこと」と「すごい頑張ればなんとかできること」を見極める ◦ 後者にしっかりリソースを集中させる
15. Confidential © 2024 LayerX Inc. 15 「素人発想、玄人実行」の法則 書籍 『独創はひらめかない: 「素人発想、玄人実行」の法則』 （金出 武雄著） より • 「自由に、楽観的に、幼稚に」考えて、「専門知識とプロの 方法を用いて」実現せよ • 具体例: 大陸移動説 ◦ 発想: 大陸の凹凸が合致してる ◦ 検証: 生物や岩石などを専門的に調査 • その逆の「玄人発想、素人実行」はまずい • むしろ技術の「素人」こそ発明に参加すべき！ 画像出典: コトバンク
16. 開発・ビジネスの垣根をどう超えるか
17. Confidential © 2024 LayerX Inc. 17 ChatGPTではできない本格的なユースケースを検証するためには？ 「プロンプトだけエンジニアリング状態」を “卒業” するために • 非エンジニアでも、ChatGPTでの実験はとっつきやすい ◦ しかし、プロンプトだけでできることは意外と少ない • 昨年11月にリリースされたGPTs: プロトタイピングには便利だが、、、 ◦ インプットしたファイルの前処理や検索周りは何もいじれない ◦ 複数の処理を組み合わせて全体の処理を実現することもやりにくい
18. Confidential © 2024 LayerX Inc. 18 プロンプトに限らない様々なパラメータをチューニング LayerXの社内LLM基盤 LayerXの社内基盤 分割 簡単に個別の業務に合わせたアルゴリズムを検証 • YAMLの設定ファイルをいじるだけ • コードを書かずにチューニング可能 • 精度評価を自動化 ◦ 「採点結果」がレポートとして出力される ◦ 「チーティング」を避けるために重要！ → 現在、WEBアプリ化してより使いやすくしている LLM処理 LLM処理 変換 検索 LLM処理 設定 ファイル
19. Confidential © 2024 LayerX Inc. 19 類似のプロダクト: Azure Prompt Flow https://learn.microsoft. com/ja-jp/azure/machi ne-learning/prompt-flo w/get-started-prompt-f low
20. Confidential © 2024 LayerX Inc. 20 良いプロダクトではあるものの、、、 Prompt Flowを使わなかった理由 • 「型化」がしにくい ◦ 良い処理フローをテンプレート的に登録して、再利用しにくい • 基本的にPrompt Flow上で色々実行することが前提のため、柔軟性が低い ◦ 開発やテスト関連の色々なツールとの連携、実行環境の構築・修正など • RAG部分のカスタマイズ性が低い • （上記のところ含めて） やりたいことをどういう形で実現すればいいかの検証にコストがかかる ◦ ※基盤を内製するか？は黎明期のテクノロジーのOpsの定番のテーマ 今後もアップデートされていくはずなので、注視していきたい（使いこなしている人いれば教えてください！）
21. Confidential © 2024 LayerX Inc. 21 まずはやってみよう！ ハッカソンの実施 • エンジニア、ビジネスサイド1名ずつでチームを組成 • オフィスではなく会議室を借りました • 半日で実験して、成果発表