LLMアプリ開発エンジニア勉強会 2024/9/5 2024/9/25 株式会社セゾンテクノロジー 執行役員 CTO 有馬 三郎

2 自己紹介 神戸生まれ、東京に住んで20年以上 ●経歴 1999年 SIer入社 2009年 当社入社 2016年 R&D部門公募に伴い異動 2020年 執行役員:HULFT開発部門責任者 HULFT Square開発責任者 2023年 執行役員 CTO, HULFT Inc.取締役 経産省 デジタル時代の人材政策検討会委員 有馬 三郎 (ありま さぶろう) : @SaburoA 株式会社セゾンテクノロジー 執行役員 CTO

3 3 経済産業省も取り組んでいる デジタル時代の人材政策に関する検討会資料置き場 こちらには各社の取り組みや、コンサルティング企業の解説資料など有用な資料は配置さ れています。 生成AI時代のDX推進に必要な人材・スキルの考え方2024（令和6年6月） https://www.meti.go.jp/shingikai/mono_info_service/digital_jinzai/index.html

4 © Saison Technology Co., Ltd. 2024 企業概要 商号 株式会社セゾンテクノロジー 設立年月日 1970年9月1日 代表取締役社長 葉山 誠 資本金 1,367百万円 事業内容 ・HULFTビジネス ・データプラットフォームビジネス ・流通ITサービスビジネス ・フィナンシャルITサービスビジネス 従業員数 715名（2023年3月末現在 連結） 本社所在地 東京都港区赤坂一丁目8番1号 上場市場 東京証券取引所スタンダード市場 （9640） 主要株主 （上位3位） 株式会社クレディセゾン 株式会社メルコホールディングス イーシーエム マスターファンド エスピーブイ ワン 2024年 ● 株式会社セゾンテクノロジーへ商号変更 「HULFT10」提供開始 2023年 ● 次世代クラウド型データ連携プラット フォーム「HULFT Square」提供開始 2020年 ● 創立50周年 「HULFT DataCatalog」提供開始 2019年 ● ㈱アプレッソを吸収合併 2017年 ● EMEA拠点 ロンドンにEMEA事務所設立 本社機能を 東京都港区赤坂に移転 2016年 ● 北米拠点 HULFT, Inc.を設立 2015年 ● ASEAN拠点 HULFT Ｐｔｅ.Ｌｔｄ.設立 2013年 ● ㈱アプレッソ株式を取得、子会社化 2010年 ● クラウド関連製品・サービス提供開始 2005年 ● 世存信息技術（上海）有限公司を設立 1993年 ● 通信ミドルウェア「HULFT」販売開始 1992年 ● ㈱セゾン情報システムズに商号変更 1981年 ● ㈱緑屋(現クレディセゾン)計算センターを吸収合併 1970年 ● ㈱西武情報センター設立・創業 4

5 5 主要プロダクトと生成AIの活用 製品 プラット フォーム HULFT8/10 製品群 HULFT DataCatalog DataSpider Servista HULFT Square • システム間でファイル連携を実現するツール • 24年2月にAmazon ECS対応のHULFT10 for Container ServicesをAWS Marketplaceで販売開始 • HULFTテクニカルサポートで生成AIを導入し、サポートエンジニアの 回答作成を支援 • 企業内に分散管理される様々なデータの概要（メタデータ）を自動収集してカタログ化する • 異なるシステムの様々なデータやアプリケーションを、豊富なアダプタを使ってノンコードで データ連携を実現する（EAI・ETL） • ファイル転送のHULFT × データ連携のDataSpider × マネージドサービスによるSaaS • Amazon EKS等で稼働し、各種パブリッククラウド、SaaS、オンプレ等のデータを繋げる • HULFT Square × 生成AIについて、プロジェクトチームを組成して推進中

6 6 CCoEとは別に生成AI研究会 “LLM Mavericks”を組成 会社全体に生成AIを浸透させ、 全員が生成AIに取組めるよう旗振りをする クラウドスキル、コミュニケーションスキルの高い エンジニアをリーダーに任命し、全社で有志20名を公募した 生成AIで何が出来るのか、どのような特徴があるのか、 実際に触りながら検討する トップダウンではなく、現場に役立つことや、参加者の好奇 心を重視した。これにより、多様なモデルを扱いつつ、小さ くともアウトプットを短期間で多く出すことができた。 また、生成AIを実際に触った体験を現場感を持って会社に広 める効果があった。 目的 メンバ 取組内容 効果

7 7 当社の生成AIの活用方針について 生成AIの回答はハルシネーション等のリスクがある（間違った情報を生成等）。 回答精度を高めるように仕組みを構築するのと同時に、業務でリスクを低減する施策も必要となる。 求められる 回答の精度 高 低 生成結果に対する責任の度合い 易 難 社内利用 WebAI チャットボット 社内利用 開発者向けCopilot 社内利用 社内データ 探索チャットボット 社内利用 テクニカルサポート 回答支援 実装済 開発中 検討中 顧客向け サービス活用方法を AIでガイド 顧客向け HULFTアプリ 実装支援 顧客向け ワークフロー 実装の自動化

8 8 フェーズ1はLLM Mavericks中心に推進 求められる 回答の精度 高 低 生成結果に対する責任の度合い 易 難 社内利用 WebAI チャットボット 社内利用 開発者向けCopilot 社内利用 社内データ 探索チャットボット 社内利用 テクニカルサポート 回答支援 顧客向け サービス活用方法を AIでガイド 顧客向け HULFTアプリ 実装支援 顧客向け ワークフロー 実装の自動化

9 9 HULFTテクニカルサポートでのエンジニアの回答作成を支援 • 複数の生成AIエンジンを 組み替えたり、組み合わせながら 最適なアーキテクチャーに変更 • サポート業務に求められる 回答の速度と回答の制度を実現 • 従来のベクトル検索のRAGと 比較して、回答精度を33%向上 • 作業時間は最大30%短縮し、 サポートセンター全体でも 10%の業務効率化を実現 • Amazon Bedrockで機微情報の 入力を制限し、安全性を向上 引用元:https://findy-tools.io/products/amazon-bedrock/14/111

10 10 フェーズ2は新たにプロジェクトチームを組成し推進 Phase1の社内向けの取組から、現在はお客様が生成AIを活用してHULFT Squareを効率的に ご利用いただく取組を実施中。実現の難易度がより高まるため、新たにPJ Teamを組成し推進中。 求められる 回答の精度 高 低 生成結果に対する責任の度合い 易 難 社内利用 WebAI チャットボット 社内利用 開発者向けCopilot 社内利用 社内データ 探索チャットボット 社内利用 テクニカルサポート 回答支援 実装済 開発中 検討中 顧客向け サービス活用方法を AIでガイド 顧客向け HULFTアプリ 実装支援 顧客向け ワークフロー 実装の自動化 • 経営層のコミット • CTOがチームを牽引 • 製品企画、営業、製品開発、生成AIの社内有識者で組成 • 毎週の定例会実施、毎月の経営層への報告

11 11 利用方法の拡大に向けた、回答精度の向上とリスク低減の取組み 暗黙知の表出 Q&A(クラウド) RAG対象ドキュメント追加機能 LLMエージェント機能 Web機能

12 12 生成AIを使って開発する生成AIアプリ

13 13 DeepLのローカル版を作ってみた • https://x.com/i/status/1827646837408632945 LM Studio Llama 3.1 7B Electron 既存のOSSをベースにモデルの追加、 オンプレミスモデルへのアクセス機能を追加

14 14 Cursor • サイト動画を見てみよう • Cursor

15 15 Cursor git clone https://github.com/simpleapples/chatgpt-translator.git 修正したいことを正しく伝える

16 16

17 17 実行に必要なスタック • 実行環境 Mac mini M2Pro 16GB • OpenAIとのAPI利用契約 • 利用可能なクレジットカード • Cursorのダウンロード（未契約でOK） • ソースコード • LM Studio • Llama3.1 8B •知識 • プログラミング知識（普通レベル） • Typescript（初学者の一歩上レベル） • Electron（初学者レベル） • 設計能力（普通レベル） • Cursorに質問する言語構成力（普通レベル） • Cursorの回答を読み解く言語理解力（普通レベル） • Node関連のビルド、デバッグ知識（初学者レベル） • IDE（VSS）の知識（初学者レベル） • Github,Gitの操作（初学者レベル） • OpenAIのAPI・サブスク利用（普通レベル） • オンプレでの生成AIモデル実行知識（普通レベル） • オンプレ生成AIモデルとの通信知識（普通レベル） •好奇心

18 18

19 19 今から始めてみよう 新版 考える技術・書く技術 問題解決力を伸ばすピラミッド原則を読んで文章力をつけ よう。この本は30年以上前の出版であるが、有名コンサルは1年目の必須書籍らしい。私も 3冊買って15年ぐらい読んでいる。 そして、オープンソースを落として、Cursorを使って概要の把握や小改修を毎日１個やって みよう。 個人的には以下がおすすめ。私の関連する分野でもあるし、新しい技術が入ってきている。 https://www.embulk.org/ https://github.com/apache/airflow 新時代のプログラミングを楽しもう。 そして、自分の作りたいものを作ってみよう。

20 20 : @SaburoA