20240125 開発側・ビジネス側という壁を作らない LLMアプリ開発 @生成AI Conf

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Confidential © 2024 LayerX Inc. 2 中村龍矢機械学習エンジニア東京大工学部 ● データサイエンスと出会う Gunosy データ分析部 ● 推薦システム開発等セキュリティ研究者（現在）事業責任者 LayerX 創業時からR&D ● プログラムの形式検証 ● ブロックチェーン ○ Ethereumへのコントリビューション ● LayerX 事業部執行役員 AI・LLM事業部長 ● IPA 未踏スーパークリエータ ● 2020年度電子情報通信学会インターネットアーキテクチャ研究賞最優秀賞 (共著) ● Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 ● プライバシーテック ● 大規模言語モデル自己紹介

Slide 3

Slide 3 text

LayerXのご紹介

Slide 4

Slide 4 text

Confidential © 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む会社名　　　　代表取締役　創業　　　　　資本金* 関連会社株主一覧　取得認証｜株式会社LayerX（レイヤーエックス）｜　代表取締役CEO 福島良典　　代表取締役CTO 松本勇気｜　2018年｜　132.6億円｜　バクラク事業、Fintech事業、AI・LLM事業｜　三井物産デジタル・アセットマネジメント　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社｜　｜　情報セキュリティマネジメントシステム、　　　　 JIIMA認証提供プロダクト企業や行政のLLMを用いた業務効率化・データ活用を支援バクラク事業企業活動のインフラとなる法人支出管理（BSM）SaaSを開発・提供 Fintech事業ソフトウェアを駆使したアセットマネジメント証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001

Slide 5

Slide 5 text

Confidential © 2024 LayerX Inc. 5 経営チーム LayerXのご紹介経営陣 AI・LLM事業部福島良典代表取締役 CEO (Gunosy創業・上場) 横田淳取締役コーポレート担当 (メルカリ上級執行役員) 手嶋浩己取締役（非常勤） XTech Ventures 代表パートナー渡瀬浩行執行役員 CFO (Aiming創業・上場) 名村卓執行役員 (メルカリCTO) 川口かおり執行役員 (Wantedly執行役員) 松本勇気代表取締役 CTO (Gunosy/DMM CTO) 中村龍矢執行役員事業部長 (未踏スーパークリエータ) 畑島崇宏事業開発 (野村総合研究所) 篠塚史弥エンジニア (FiNC CTO) 小林誉幸事業開発 (弁護士ドットコム執行役員) カッコ内は前職などの参考情報

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

黎明期のLLMにどう挑むか

Slide 9

Slide 9 text

Confidential © 2024 LayerX Inc. 9 生成AIの導入状況生成AIへの取り組み状況昨年4月から10月の半年間で生成AIを導入する企業は急増し、案件推進中の企業を加えると半数を超える。これから本格導入する企業も今年度中〜来年度上期には完了するなど、導入検討の時期は終わりつつある。（出所） PwC 「生成AIに関する実態調査2023 秋」生成AIの本格導入予定時期 2022年 29% 2023年中 14% 2024年度上期 15% 2025年度 7% 2024年度下期 9% 未定 27%

Slide 10

Slide 10 text

Confidential © 2024 LayerX Inc. 10 生成AIの活用状況他方で導入企業の従業員の利用率は、「ほぼ使われていない」〜「3割程度」を合わせて7割超となっており、スキル・ノウハウ・ユースケースの不足が活用を妨げる課題となっている。生成AIの社内活用状況生成AIの活用において直面している課題 8割以上 11% 半数 17% ほぼ使われていない 40% 3割程度 32% （出所） PwC 「生成AIに関する実態調査2023 秋」、Exa Enterprise AI 「「生成AIの利用実態調査レポート　〜2023年12月版〜」

Slide 11

Slide 11 text

Confidential © 2024 LayerX Inc. 11 現状は「プチ幻滅期」、でも今年は面白いユースケースが色々出るはず生成AI・LLMの現在地と今年の展望 ● 「ChatGPTがないと生きていけない」人はあまりいないのでは？ ● 一方、個別のドメインに深く根差したユースケースは色々生まれているはず ○ LayerXでも、エンプラ向けの文書処理業務の効率化で沢山のプロジェクトを推進中 ● 今年色々なファーストペンギンの事例が生まれて、波及していくのではないか

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Confidential © 2024 LayerX Inc. 13 「誰かがやって無駄になる」を恐れないよくある質問: 結局Microsoft/Googleがやるから意味ない？ ● 数ヶ月・一年後に、作ったものが無駄になるかもしれない（コモディティ化のリスク） ● それでもやる ○ 作った成果物そのものが欲しいのではなく、それを使って行った実験や、ユーザーに提供して得られた発見が、その次の展開につながる、価値あるアセット ○ コモディティ化を恐れて、過度にニッチな方向に走らない ● 注: 弊社のように、AIのサービス提供側は、当然ポジショニングは徹底的に考える必要がある ○ 徹底的に考えた上で、恐れない、ということ

Slide 14

Slide 14 text

Confidential © 2024 LayerX Inc. 14 ビジネス側・開発側が分断されていると、仮説検証のサイクルがとても遅くなってしまう今日のテーマ: ビジネス側・開発側の垣根を作らない ● ユーザーの声をただ聞くだけでは、生成AI・LLMによる新しい体験は生まれない ○ 業務効率化なら、既存業務を自動化するのではなく、業務を変えることでAIネイティブにする ● 今の生成AI・LLMでできることの範囲で考えていても、限界がすぐに訪れる ○ 「頑張ってもどうしてもできないこと」と「すごい頑張ればなんとかできること」を見極める ○ 後者にしっかりリソースを集中させる

Slide 15

Slide 15 text

Confidential © 2024 LayerX Inc. 15 「素人発想、玄人実行」の法則書籍『独創はひらめかない: 「素人発想、玄人実行」の法則』（金出武雄著）より ● 「自由に、楽観的に、幼稚に」考えて、「専門知識とプロの方法を用いて」実現せよ ● 具体例: 大陸移動説 ○ 発想: 大陸の凹凸が合致してる ○ 検証: 生物や岩石などを専門的に調査 ● その逆の「玄人発想、素人実行」はまずい ● むしろ技術の「素人」こそ発明に参加すべき！画像出典: コトバンク

Slide 16

Slide 16 text

開発・ビジネスの垣根をどう超えるか

Slide 17

Slide 17 text

Confidential © 2024 LayerX Inc. 17 ChatGPTではできない本格的なユースケースを検証するためには？「プロンプトだけエンジニアリング状態」を “卒業” するために ● 非エンジニアでも、ChatGPTでの実験はとっつきやすい ○ しかし、プロンプトだけでできることは意外と少ない ● 昨年11月にリリースされたGPTs: プロトタイピングには便利だが、、、 ○ インプットしたファイルの前処理や検索周りは何もいじれない ○ 複数の処理を組み合わせて全体の処理を実現することもやりにくい

Slide 18

Slide 18 text

Confidential © 2024 LayerX Inc. 18 プロンプトに限らない様々なパラメータをチューニング LayerXの社内LLM基盤 LayerXの社内基盤分割簡単に個別の業務に合わせたアルゴリズムを検証 ● YAMLの設定ファイルをいじるだけ ● コードを書かずにチューニング可能 ● 精度評価を自動化 ○ 「採点結果」がレポートとして出力される ○ 「チーティング」を避けるために重要！ → 現在、WEBアプリ化してより使いやすくしている LLM処理 LLM処理変換検索 LLM処理設定ファイル

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Confidential © 2024 LayerX Inc. 20 良いプロダクトではあるものの、、、 Prompt Flowを使わなかった理由 ● 「型化」がしにくい ○ 良い処理フローをテンプレート的に登録して、再利用しにくい ● 基本的にPrompt Flow上で色々実行することが前提のため、柔軟性が低い ○ 開発やテスト関連の色々なツールとの連携、実行環境の構築・修正など ● RAG部分のカスタマイズ性が低い ● （上記のところ含めて）やりたいことをどういう形で実現すればいいかの検証にコストがかかる ○ ※基盤を内製するか？は黎明期のテクノロジーのOpsの定番のテーマ今後もアップデートされていくはずなので、注視していきたい（使いこなしている人いれば教えてください！）