© Link and Motivation Group Azure移行と機能開発から学んだこと リンクアンドモチベーション 岡田 大輔

2 © Link and Motivation Group #ChatGPTjp 2023/05/25 岡田 大輔 株式会社リンクアンドモチベーション ● 2020年新卒入社 ● アプリエンジニア ● 普段はRailsとVueで開発しています 自己紹介 @okadaike

3 © Link and Motivation Group #ChatGPTjp 2023/05/25 ストレッチクラウド 個人の成長を定量化する 自立的な成長サイクルを実現する 人材育成クラウド

4 © Link and Motivation Group #ChatGPTjp 2023/05/25 ChatGPT APIを使った機能開発もTry中

5 © Link and Motivation Group #ChatGPTjp 2023/05/25 OpenAIからAzure OpenAI Serviceに移行しようとしてみた ● これまで開発してきたものはOpenAIを叩いて 実現していた。 ● プライベートなエンドポイントを生やせる事も あって、セキュリティ的にもAzureを選択肢と して持てるようにしておきたかった。 ● 開発するに当たって、何か新たなチャレンジを したかった。

6 © Link and Motivation Group #ChatGPTjp 2023/05/25 今日話すこと ● Azure移行時にしたこと ● 機能開発中に学んだこと ● まとめ

7 © Link and Motivation Group #ChatGPTjp 2023/05/25 現状のアーキテクチャ WebSocketで通信を行い、AWS Lambda上でOpenAI APIを実行し、その結果を返す

8 © Link and Motivation Group #ChatGPTjp 2023/05/25 今はこんな感じなアーキテクチャ 徐々にAzureに寄せていきたい...!!

9 © Link and Motivation Group #ChatGPTjp 2023/05/25 将来案の一つのアーキテクチャ 将来的にはAzureの中で完結するようにするかも...？ 検証は必要だが基本的には寄せていく

10 © Link and Motivation Group #ChatGPTjp 2023/05/25 実際に動かしたもの

11 © Link and Motivation Group #ChatGPTjp 2023/05/25 実際に動かしたもの OpenAI Azure OpenAI Service

12 © Link and Motivation Group #ChatGPTjp 2023/05/25 わかったこと ● Azure OpenAI Serviceの方が初期レスポンス以降は早かった ● OpenAIは初期レスポンスが返ってくるのが早かった => UXが変わるので乗り換え時にはレスポンスの中身だけではなく、初期レスポ ンスと完了までの時間をパフォーマンスとして見たほうが良さそう

13 © Link and Motivation Group #ChatGPTjp 2023/05/25 実装 ● langchainからimportするクラスの変更 ● 他に必要な環境変数の追加 ○ OPENAI_API_TYPE, OPENAI_API_VERSION, OPENAI_API_BASE, OPENAI_API_KEY

14 © Link and Motivation Group #ChatGPTjp 2023/05/25 機能開発しながら思ったこと ● 実装しているときも急に動かなくなったりすることがあった ○ やっぱり、変化の速度が早い ○ issueみたら、同じエラーにハマってる人がいるし、それが明日には解決さ れる世界

15 © Link and Motivation Group #ChatGPTjp 2023/05/25 機能開発しながら思ったこと ● デザインが決まってから、「それを実現するプロンプトは？」という順序で開発 していた ● LLMをプロダクトの機能に組み込んでいく場合のプロセスでの注意点 ○ デザイン設計での技術検証は必須 ○ プロンプト設計する際もUXへの理解を深めていくことが必須

16 © Link and Motivation Group #ChatGPTjp 2023/05/25 機能開発しながら思ったこと ● プロンプトにおいても大切なことは「エンジニアリング」 ○ 何が変数になってるのかを突き止めて変更していく行為 ○ 別にエンジニアじゃなくても出来るエンジニアリング ○ プレイグラウンドで簡単に試すことも出来る → エンジニア以外の人も巻き込んで、スピードやクオリティアップが出来そう！！

17 © Link and Motivation Group #ChatGPTjp 2023/05/25 まとめ ● LangChainの抽象化がすごい。Azure移行も結構簡単にできた。 ● 既存の業務プロセスをも変えうるパワーを持っている After GPT ● ロジックが不明瞭だから、試さないとわからない ● 職務に限らず、価値へのPDCAを回していくことが出来る ● （個人的には）変化の真っ只中に身をおく楽しさをChatGPTが教えてくれた

18 © Link and Motivation Group #ChatGPTjp 2023/05/25 最後にお知らせ 週1ペースでテックブログ更新中です！ https://www.lmi.ne.jp/recruiting/ 積極採用中です！ カジュアルにお話しいたしましょう！ LLM関連情報もいろいろあります！ https://link-and- motivation.hatenablog.com/