プライベートなChatGPTを LINEから使えるようなシステムを サクッと構築してみた ! 拓真 ソフトバンク株式会社 テクノロジーユニット 共通プラットフォーム開発本部 2023/07/28 SoftBank Tech Night #12

! 拓真 Takuma TSUJI 経歴 • 2010年〜 電機メーカー • LSI、カメラ、IoT、クラウド、アプリケーション • 2020年〜 ソフトバンク • クラウド、アプリケーション、DevOps、OpenAI プライベート • ⿅児島県薩摩郡さつま町出⾝ • よくディズニーに出没する • ⼆児の⽗ 資格 • 第三種電気主任技術者 • 第⼆種電気⼯事⼠ • クラウド関連多数

今⽇、お話すること

LINEやChatGPTとアプリケーションを連携する⽅法 AI基盤やアプリケーション基盤の構築のお話 企業でChatGPTを使う上で直⾯する課題と解決策

まずは おさらい

LINEとChatGPT LINE • ⾔わずとしれたコミュニケーション基盤 • 国内MAUは9,500万⼈以上 ※2023年3⽉末時点 • 既に⽣活インフラとして定着 ChatGPT (GPT-3.5/GPT-4) • OpenAI社が開発した⼤規模⾔語モデル(LLM) • ⾃然⾔語を⽤いて⽣⾝の⼈間と会話するかのように対話が可能 • 2022年11⽉に公開 • たった2ヶ⽉でアクティブユーザーが1億⼈を突破

ChatGPTのAPIが公開されて起きたこと 2023年3⽉2⽇ • OpenAI社によるChatGPTのAPIが公開 • 即⽇で「AIチャットくん」がリリースされる（爆速 AIチャットくん • LINEで⼿軽に最先端のAIとチャットができるサービス • 株式会社piconが開発 • リリース後、1ヶ⽉で100万登録を達成 LINEとChatGPTは親和性が⾼い

⼀般的な企業に 真似できる？

企業が直⾯する課題 情報セキュリティ • 企業データの流出リスク • データの物理的な保管場所 • LLMの学習に使われてしまう可能性 • インターネット上の通信を盗聴される リスク インフラ構築スキル アプリ開発スキル • そもそも対応できる⼈がいない • 体制構築に時間がかかる • 組織的な課題や壁がある

じゃあどうするか？

プライベートな ChatGPT環境をつくる

引⽤: Cogbot Meetup Online #39 - Azure OpenAI GA キャッチアップ (2023/03/02)

設計・構築・維持メンテ って⼤変そう…

CM そんなときは、 Azure OpenAI Service スターターパッケージ さらに導⼊検討から本番導⼊まで網羅したソリューションもご⽤意

AI基盤の次は アプリケーション

新たな疑問 アプリケーションはどうやって作ればいい？ アプリケーションはどうやって動かせばいい？ LINEと連携するにはどうすればいい？ ChatGPTと連携するにはどうすればいい？

LINE Messaging API メッセージ送受信 • ユーザが送信したメッセージに⾃動応答するBotを簡単に作成可能 • システム側はWebhookで待ち受け アカウント連携 • 企業の既存ユーザとLINEユーザのアカウントをセキュアに連携 コンテンツ取得 • ユーザが送信した画像・⾳声などを取得 • マルチモーダル対応のBotシステムも開発可能 SDK • 公式： Java / PHP / Go / Perl / Ruby / Python / Node.js • コミュニティSDKやライブラリも多数 LINE連携

APIの種類 OpenAI API Azure OpenAI Service REST API Endpoint https://api.openai.com/v1 https://{resource-name}.openai.azure.com/openai List models GET /models ー Create chat completion POST /chat/completions POST /deployments/{deployment-id}/chat/completions Create completion POST /completions POST /deployments/{deployment-id}/completions Create image POST /images/generations POST /images/generations:submit GET /operations/images/{operation-id} Create image edit POST /images/edits ー Create image variation POST /images/variations ー Create embeddings POST /embedding POST /deployments/{deployment-id}/embeddings Create transcription POST /audio/transcriptions ー Create translation POST /audio/translations ー ChatGPT連携

API仕様の違い ‒ 全般 • （当然だが）エンドポイントが異なる • モデルは⾃らデプロイして使うのでモデル⼀覧のAPIは無い • パスパラメータにモデルのデプロイ名を含む (DALL·Eを除く) • 例： /deployments/{deployment-id}/chat/completions?api-version=2023-06-01-preview • クエリパラメータにAPIバージョンを含める • 例： /images/generations:submit?api-version=2023-06-01-preview ChatGPT連携

API仕様の違い ‒ DALL·E OpenAI API Azure OpenAI Service REST API POST /images/generations { data[].url: “{url}” } APP API DALL·E POST /images/generations:submit { id: “{operation-id}”, status: “notRunning” } GET /operations/images/{operation-id} status: “running” GET /operations/images/{operation-id} status: “running” GET /operations/images/{operation-id} { status: “succeeded”, result.data[].url: “{url}” } APP API DALL·E ChatGPT連携

どうやって作るか？ • 現時点で公式SDKの提供があるのは以下の⾔語 • その他の⾔語でも、コミュニティーによるライブラリ提供あり ⾔語 OpenAI提供ライブラリ Azure提供ライブラリ Python openai-python Node.js (JavaScript/TypeScript) openai-node @azure/openai .NET Azure.AI.OpenAI Java azure-ai-openai Go azopenai お好みの⾔語とSDKを使って開発効率化 アプリ開発⾔語

アプリ実⾏基盤 どこで動かすか？ オンプレミス • 物理サーバー • 仮想マシン • Kubernetesクラスタ クラウド • 仮想マシン • FaaS: Function as a Service • AWS Lambda / Azure Functions / Google Cloud Functions • PaaS: Platform as a Service • AWS Elastic Beanstalk / Azure App Service / Google App Engine • マネージドKubernetes • Amazon Elastic Kubernetes Service / Azure Kubernetes Service / Google Kubernetes Engine

設計・構築・維持メンテ って⼤変そう… （2回⽬） アプリ実⾏基盤

そんなときは、CNAPをご検討ください Cloud Native Application Platform git CNAP くわしくは CM ② production/staging bot-service Azure Database for PostgreSQL Load Balancer DNS Zone Monitor Key Vault AKS Japan Region Messaging API LINEサーバー Azure OpenAI US Region Private Link Private Endpoint

ということで、 プライベートなChatGPTを LINEから使えるようなシステムを サクッと構築してみた

構成ファイル Messaging API production/staging bot-service Azure Database for PostgreSQL Load Balancer DNS Zone Monitor Key Vault git Microsoft Azure AKS 開発者 エンドユーザー yaml LINEサーバー CNAP Azure OpenAI US Region Japan Region 従業員 お客さま 拠点 Express Route Express Route Gateway ご参考： Azure OpenAI 社内利⽤の接続例 LINE連携 Private Link Private Endpoint

LINE連携 さまざまな業種のサポート窓⼝としての活⽤を想定したサンプルをいくつか作ってみた 航空会社 通信事業者 保険販売代理店

CosmosDB Express Route Gateway Monitor Microsoft Azure Azure OpenAI Private Endpoint US Region Japan Region 従業員 お客さま 拠点 Private Link App Service Express Route Private DNS Azure AD NSG Private Endpoint 攻撃者 業務利⽤

業務利⽤

アプリケーションの開発 • LINE連携アプリケーション • ChatGPTやDALL·Eなどの⽣成AIを活⽤したアプリケーション アプリケーション基盤の設計・構築・運⽤ AI基盤の設計・構築・運⽤ CI/CD基盤・DevOps基盤 じつは全てソフトバンクで内製してます

OSS貢献も • Nuxt.jsで書かれたチャットUI • おもな貢献内容 • Azure OpenAI Service対応 • GPT-4対応 • DALL·E対応 • レスポンシブデザイン対応 • 多⾔語対応（⽇/英/中） • テーマ切り替え対応 https://github.com/lianginx/chatgpt-nuxt

まとめ

企業でChatGPTを使う上で直⾯する課題と解決策 • 課題 ・・・・ 情報セキュリティ • 解決策 ・・・ Azure OpenAI Service AI基盤やアプリケーション基盤の構築のお話 • Azure OpenAI Service スターターパッケージ • クラウドネイティブ・アプリケーションプラットフォーム（CNAP） LINEやChatGPTとアプリケーションを連携する⽅法 • API • SDK お困りの点は、ぜひソフトバンクにご相談ください!!

CM ③ 透明氷製氷機 ice drops Amazon.co.jp ヨドバシ.comにて発売中

SoftBank Tech Night #12 以上です！ ご清聴 ありがとうございました