LLMProd#3 Production目線で振り返る OpenAI DevDay

当日使用したスライドです

Transcript

1. LLMProd#3 Production目線で振り返る OpenAI DevDay 2023/12/18 Tomoki Manabe, a Data Scientist @ ABEJA Inc.
2. ABEJA, Inc. About us
3. © ABEJA, Inc. 3 会社名 株式会社ABEJA 本店所在地 東京都港区三田一丁目1番14号 設立 2012年９月10日（決算期：８月） 事業内容 デジタルプラットフォーム事業 （企業のDX推進を総合的に支援） 代表者 代表取締役CEO　岡田 陽介 代表取締役COO　小間 基裕 資本金 732百万円 従業員数 103人 株主構成 SOMPO Light Vortex株式会社 19.7％ 岡田　陽介 16.4％ ヒューリック株式会社 5.0％ 株式会社インスパイア・インベストメント 3.8％ 株式会社ＮＴＴドコモ 3.8％ THE CHASE MANHATTAN BANK, N.A. LONDON SPECIAL ACCOUNT　NO．（NVIDIA） 3.1％ GOOGLE　INTERNATIONAL　LLC 2.3％ 外木　直樹 1.5％ 富松　圭介 1.3％ TBSイノベーション・パートナーズ２号投資事業組合 1.2％ ダイキン工業株式会社 1.2％ 武蔵精密工業株式会社 1.2％ 会社概要（2023年8月末現在）
4. 企業理念、ミッション、ビジョン 企業理念 「ゆたかな世界を、実装する」 ミッション 「テクノロジーの力で産業構造を変革する」 ビジョン 「イノベーションで世界を変える」 © ABEJA, Inc. 4
5. © ABEJA, Inc. 5 Technology Liberal Arts Society Culture テクノロジーでイノベーションを 実現してインパクトのある社会 貢献をする姿勢 両者の円環を推進する原動力 リベラルアーツで自ら の行為を問い続ける 姿勢 Entrepreneurshi p “Technopreneurship” テクノプレナーシップ “Technopreneurship” 当社は「テクノプレナーシップ」を行動精神としております。 テクノプレナーシップとは、進化するテクノロジーを用いて（Technology）、 どのような社会を実現していくかを問い続ける姿勢（Liberal Arts）、 そしてこの円環を推進する力（Entrepreneurship）の造語となります。
6. © ABEJA, Inc. 6 　 　 ABEJA Platformを核に、「トランスフォーメーション領域」で顧客のDXを推進し、 「オペレーション領域」で様々なシステムを汎用的な仕組み・サービスとして提供するデジタルプラットフォーム事業を展開 DXの実行に必要な、データの生成・収集・加工・分析、 AIモデリングまでのプロセ スを提供し、継続的、安定的な運用を行う、ソフトウェア群 2つの領域の 連携で 顧客のDXを 推進 ストック収益 企業のDXニーズに対応した プロフェッショナルサービスを提供 • DX推進に向けたコンサルティング • ビジネスプロセスにABEJA Platformを 導入、AIシステムの構築 • DXを推進する人材育成 ABEJA Platformを利用して 顧客が業務推進 • 店舗の動線分析システム • 来店者推定システム • 画像判定システム • 属性推定システム など トランスフォーメーション領域 フロー収益 オペレーション領域 デジタルプラットフォーム事業 DX推進の 仕組みづくり 運用
7. © ABEJA, Inc. 7 ABEJAの事業を製造業に例えると・・・・ EMS（Electronics Manufacturing Service）に近い形態 デジタル版EMS：顧客はABEJA Platform上で要望に応じた製造ラインを構築し、そのラインを使って製造を行う ABEJAのビジネスモデル 製造する製品を把握し設計図を描く 要望に応じた製造ラインを構築 製造ラインを使用して製造 トランスフォーメーション領域 オペレーション領域 ABEJA Platform あらかじめ用意された パーツを組み合わせる 完成イメージ図 製造ライン 改善 （精度向上） 新たな課題への対応 DX推進に向けたコンサルティング ABEJA Platform上で ビジネスプロセスを構築 ABEJA Platform上で ビジネスプロセスのオペレーション開始 当社コンサルタントが主体となり 顧客のニーズを具現化するための 設計書を作成 当社コンサルタントが主導し 顧客と協働で設計書に応じてパーツを 組み合わせ製造ラインを構築 構築された製造ラインを使用して 当社と顧客が協働で製品を製造 ABEJA Platform 製造業に例えると 当社のビジネスで 実際に行う業務
8. © ABEJA, Inc. 8 デジタル版EMS DX推進に向けたコンサルティングか らABEJA Platformを活用した業務 推進まで、顧客に伴走して DX推進を 一貫して支援 • 顧客企業はこのデジタル版 EMSを採用するこ とで、ABEJA Platform上の必要な機能をピッ クアップして、企業のビジネスプロセスに配置 することができます • これにより、自社で開発するよりも迅速に実装 ができ、最新の技術を継続的に利用できるとと もに、コストダウン等を図ることができます ABEJA Platform あらかじめ用意された パーツを組み合わせる 完成イメージ図 製造ライン 改善 （精度向上） 新たな課題への対応 ABEJA Platform 製造する製品を把握し 設計図を描く 要望に応じた 製造ラインを構築 製造ラインを 使用して製造 当社のビジネスにおいて実際に行う業務 DX推進に向けたコンサルティング • 全体戦略策定 • バリューチェーン、サプライチェー ン全体を再定義 • 全体のビジネスプロセスが ABEJA Platform上で機能するこ とをシミュレーション ABEJA Platform上で ビジネスプロセスを構築 • ビジネスプロセスにABEJA Platformを導入、AIシステムの 構築 • 既存システムとのインテグレー ション • ビジネスプロセスをオペレーショ ンする上で必要なデジタル人材 育成、組織組成 ABEJA Platform上で ビジネスプロセスのオペレーション 開始 • ABEJA Platform上でのビジネ スプロセスのオペレーション状 況を監督 • 人とAIの関与率をコントロール しながら、適宜システムを更新 する トランスフォーメーション領域 オペレーション領域
9. © ABEJA, Inc. 9 ABEJA Platformとは データを処理 しやすいように加工 BaaSレイヤーの AIモデル「異常検知」と 加工データを組み合わせて、 最終品検査確認システムを提供 最終品を カメラで読み込む データを計算環境 （クラウド等）に配置 データを セキュリティ処理 最終品検査の ケース ※BaaSとは、Backend as a Serviceの略称で、アプリケーションのバックエンド機能を提供するクラウドサービス。 コアレイヤー ソフトウェアを生成するための 技術を格納 セキュリティレイヤー セキュリティを保つための 加工を施す コンピューティングレイヤー インプットされたデータの 計算処理機能 コネクトレイヤー 必要なデータをインプットする BaaS※レイヤー 汎用的なAIモデルを準備 暗号化 復号化 認証・認可 クラウド エッジ Sensor Camera SNS 各種ファイル 属性・人動作推定 混雑度推定・顔認証 需要予測 類似画像・動画検索 ナレッジ検索・ チャットボット 異常検知 データ 生成・収集 データ加工 AIモデリング 大規模言語 モデル 5つのモジュールレイヤーごとに、顧 客の要望に応じた幅広い DXニーズに 応えるソフトウェア群を有したプラット フォーム • ABEJA Platformは、DX推進に必要な最先 端の技術とノウハウをそろえた EMSの工場に 位置づけられます
10. About me
11. Self introduction • 真鍋 知樹 (Tomoki “Tommy” Manabe) ◦ 東京生まれ東京育ちのもうすぐ30歳 その他アメリカ (幼少期に2年), 大阪 (20代で3年半) 在住 • 略歴 ◦ 某私大情報理工学科卒 (2016/3) ◦ 某空調メーカー (2016/4~2019/9) ▪ AI活用事例の調査や、社内AI人材育成プロジェクトを受講したり, 翌年メンターを拝命したり ◦ 某コンサルファーム (2019/10~2022/1) ▪ 今のナレッジ検索のような案件からマーケ施策PoC的な案件に, BI, 調査案件等幅広く従事 ◦ 現職 (2022/2~) ▪ ナレッジ検索, 需要予測等の案件を経て, 直近はLLM系の案件多め 11 この下は 当日参加特典
12. Me and LLM 12 • 所謂エキスパート検索の中に、LLMを入れ込んでいる ◦ 典型的なRAGだがFunction Calling初期に実装 • 現在はAssistants APIを使って何かできないか、プロ ファイル生成等に使えないか、等色々模索中 クライアント案件におけるLLM • ABEJAのLLM案件第1号を含め、複数案件にアサイン ◦ 案件としては、やはりRAGが多め • 一方で、PDFのテキスト情報を構造化する等、前処理 にLLMを使ったりすることもある 社内プロダクト (のMVP) 開発 *良さげな写真がなかったので DALL-E3に作ってもらいました
13. Confidential (補足) ナレッジ検索MVPプロジェクト 13 ｢社内で”誰”が知っているか｣｢この人はどんな知識･スキルを持っているのか｣や、｢誰と誰が親しいのか」 といった問いを解決するKnow-who検索ソリューションを検討中 (相談お待ちしております) 主な機能: 左からLLM検索、プロフィール機能、(右上) コミュニケーションマップ、(右下) リソース横断検索 このほかにも組織図や「今話題のSlackチャンネル」のような、社内コミュニケーションに関連する機能も開発中
14. Me and LLM 14 • 所謂エキスパート検索の中に、LLMを入れ込んでいる ◦ 典型的なRAGだがFunction Calling初期に実装 • 現在はAssistants APIを使って何かできないか、プロ ファイル生成等に使えないか、等色々模索中 クライアント案件におけるLLM • ABEJAのLLM案件第1号を含め、複数案件にアサイン ◦ 案件としては、やはりRAGが多め • 一方で、PDFのテキスト情報を構造化する等、前処理 にLLMを使ったりすることもある 社内プロダクト (のMVP) 開発 *良さげな写真がなかったので DALL-E3に作ってもらいました
15. Me and LLM 15 • 所謂エキスパート検索の中に、LLMを入れ込んでいる ◦ 典型的なRAGだがFunction Calling初期に実装 • 現在はAssistants APIを使って何かできないか、プロ ファイル生成等に使えないか、等色々模索中 クライアント案件におけるLLM • ABEJAのLLM案件第1号を含め、複数案件にアサイン ◦ 案件としては、やはりRAGが多め • 一方で、PDFのテキスト情報を構造化する等、前処理 にLLMを使ったりすることもある 社内プロダクト (のMVP) 開発 *良さげな写真がなかったので DALL-E3に作ってもらいました ＜個人的に思うLLM for productionのキモ＞ • 常にアンテナを貼っておくこと、定期的に振り返ること ◦ やりたくても難易度が高かったことが、ある日発表された新機能で急に難易度が下がることがあ るし、重要だった機能が後発機能で代替されることもある ▪ クライアント案件でも「LangChainでAgent組み合わせないといけないかな〜」と思ってい たことがFunction Callingでいきなりできるようになった。 代替/置き換えの可能性を見越した実装にすることが大事 • LLMありきにならない活用戦略 ◦ “AIで何かやれ”みたく”LLMで何かやれ”になっていないか？ ▪ “本当の課題はなにか?”, ”それはLLMじゃなきゃ解決できないのか ?”という点は繰り返し 自問自答した方が良い (自省) ▪ 要は課題設計やUI/UXといった要素も検討し、ビジネスに繋げないと意味がない ◦ 個人的な感覚だが、世間的には ”AIってなんでもできるんでしょ ”に近いアレを感じるので、期待 値管理も重要
16. OpenAI Dev Day and ABEJA 16 • 左記前提があるので、正直”Dev Day前後で”変わった 実感はないが、今後徐々に変わっていくと予想 ◦ GPT-4-turboがAzureに来た際には、わざわざ リージョンを変えたりもした ◦ 画像系の案件も“まずはGPT-4V”がスタンダード になる可能性もあるかも ◦ Assistants APIは値下げしてから一気に普及す る気もする • 個人的にはAIが「誰でもできる作業」を置き換える流 れは加速すると思う (“エンジニアがなくなる”わけではないが、今後さらに 導入障壁が低くなる予想) 影響のあるOpen AI Dev Dayの発表 前後で何が変わったか？ • 前提として、クライアント案件が多く、セキュリティ 観点からAzure OpenAIに乗せないといけない → 発表があってからより、Azureに来てからが本番 • そうは言いつつも、値下げもあり、「痒いところに手 の届く」発表だったという声が社内では多い • 個人的にはGPT-4-turboとGPT-4Vは影響大きそう ◦ GPT-4-turboは特に価格面でも大きい ▪ PDFの構造化等の前処理でも、 GPT-4-turboであれば心置きなく使える ◦ GPT-4Vは先日Azureに搭載されたばかりだが、 Set of Marksと組み合わせると、画像案件でも 一気に使えそう (後述) • 社内MVPプロジェクトでは、社員の履歴書等からプロ フィールをドラフトする機能を検討中 • 社内では、GPTsやAssistants APIで遊んでいる人が多 そう
17. OpenAI Dev Day and ABEJA 17 • GPT-4Vは新時代感ある (語彙力) ◦ 爆速でモックを作る流れは加速しそうだし、 Set-of-Marksは実際の案件でも使えそう 実際にやってみて感じたギャップ 実際にやってみて感じた手応え • “GPT-4-turboでなんでもできる”とはならない ◦ GPT-4-turboでの前処理も完璧ではないので、 人間が設計してあげないといけない ◦ 例えば100ページを一気に構造化して！と言わ れても、プロンプトの調整やパイプライン化す る等の工夫が必要 • GPT-4Vの日本語力が今後どこまで上がるか？ ◦ 日本語のOCRはGeminiの方が得意という声 Source: *1: https://twitter.com/dr_cintas/status/1713261914375979415 *2: Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V https://arxiv.org/pdf/2310.11441.pdf
18. Summary 18 • 今後徐々に変わっていくと予想。AIが「誰でもできる作業」 を置き換える流れは加速すると思う 影響のあるOpen AI Dev Dayの発表 前後で何が変わったか？ • GPT-4-turboは特に値下げの面でも大きい • GPT-4Vは今後画像案件でどんどん使われそう • GPT-4Vは新時代感ある ◦ というかそれ以外も新時代って感じ (語彙力) 実際にやってみて感じたギャップ 実際にやってみて感じた手応え • とはいえ、GPT-4-turboもGPT-4Vも、完璧ではない ◦ 日本語OCR中心にまだまだ伸びしろに期待 前提としてAzureに来てからが本番、というのはあるが… *｢新時代｣の写真を探していたのですが、某海賊漫画界隈に刺さ れそうだったので、 DALL-E3に作ってもらいました