Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【Azure OpenAI入門】Azure OpenAI Service × LangCha...
Search
SatakeYusuke
December 16, 2023
0
320
【Azure OpenAI入門】 Azure OpenAI Service × LangChain でクラウドネイティブなアプリ開発
Azure OpenAI Service × LangChainを組み合わせ、2022年1月以降の情報でも、OpenAIが自身で検索しながら補完してくれるような機能を実装したデモアプリを実装します。
SatakeYusuke
December 16, 2023
Tweet
Share
More Decks by SatakeYusuke
See All by SatakeYusuke
Microsoft for Startups Founders Hub
satakeyusuke19920527
0
22
Cram school DX - Tried to Make English Conversation Application
satakeyusuke19920527
0
230
Can't RAGs be cheaper?
satakeyusuke19920527
1
360
Implemented payment processing with Azure Functions and Stripe.
satakeyusuke19920527
1
210
platform engineering meetup wrapup
satakeyusuke19920527
0
280
Try to make a call center ver3
satakeyusuke19920527
0
3.4k
Try to make a call center
satakeyusuke19920527
1
240
コールセンターを作ってみた(1)
satakeyusuke19920527
0
430
Azure OpenAI ServiceのAdd your Dataで(出来る限り簡単に)企業の独自情報にも回答してくれるシステムをハンズオンで作ってみる
satakeyusuke19920527
0
240
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
93
16k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.7k
Embracing the Ebb and Flow
colly
84
4.5k
Product Roadmaps are Hard
iamctodd
PRO
49
11k
Speed Design
sergeychernyshev
25
620
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
109
49k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
410
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
Transcript
【Azure OpenAI⼊⾨】 Azure OpenAI Service × LangChain でクラウドネイティブなアプリ開発 .NETラボ12⽉ 佐⽵
祐亮
apc-y-satake satyus 佐⽵祐亮 / Yusuke Satake 株式会社エーピーコミュニケーションズ Experience • 学習塾の起業
• ITコンサルティングファームにて仮想通貨取引システムの開発に従事 • SaaS 企業にてPM業務に従事 • プログラミングスクールの起業 • 株式会社エーピーコミュニケーションズにてDXコンサルタントに従事 Expertise 学習塾起業 プログラミングスクール起業 ソフトウェア開発 React / Next.js Node.js Microsoft Azure 数学ⅠA・ⅡB・ⅢC 物理
Agenda 本⽇の概要 使⽤する概念の説明 ⼤規模⾔語モデル(LLM) LLMを強化する⽅法
ReActとは? LangChainとは? DEMO AOAI + LangChainでReActアプリケーション開発 最後に
本⽇の概要 ⼤規模⾔語モデル(LLM)の概念及びReAct という概念についても学習し、これ からAzure OpenAI が⾃社内や個⼈開発の中で利活⽤出来そうだと感じれ ることがゴールです。 ⼤規模⾔語モデル(LLM)の説明から記載しているので、初学者の⽅もご安⼼し
てついてきていただければと存じます。 今回も実装⽅法を以下の記事にまとめてりますので、是⾮ハンズオンを通じて Azure OpenAI Serviceで遊んでみてください! Zenn https://zenn.dev/yusu29/articles/azure_react_llm
使⽤する概念の説明
⼤規模⾔語モデルの概要と課題 ⼤規模⾔語モデル(LLM: Large Language Models)は⾃然⾔語処理(NLP) の分野で⽤いられる⼤量のテキストデータから学習した機会学習モデルのことで す。 LLMが出来ること •
⾃然⾔語⽣成 • 質問応答 • 翻訳 • 要約 • ⽂書分類 • 要素認識 • 感情分析
⼤規模⾔語モデルの概要と課題 ⼤規模⾔語モデル(LLM)の開発の歴史があり、各社様々なAIを開発 出典 https://arxiv.org/pdf/2104.04473.pdf enterprise LLM Google BERT OpenAI
GPT NVIDIA Megatron-LM Microsoft Turning-NLG トランス フォーマーを 使った最初の モデル スケール測の発見 データを増やせば精度が上が る 学習に数億~数十億の投資
⼤規模⾔語モデルの概要と課題 特に最近注⽬されているChatGPTを詳細に⾒てみましょう。 2022年11⽉30⽇リリース GPTモデルを使って作られたチャットアプリサー ビス リリース後2ヶ⽉で1億ユーザ突破
GPT 3 / 4 モデルの学習データは2022年1⽉ までのデータしかない 先⽇発表されたGPT 4 Turboは2023年4 ⽉までのデータがあるが、現在の情報が必要 な回答作成は難しい
⼤規模⾔語モデルの概要と課題 ⼤規模⾔語モデル(LLM)の問題点はAIが学習した範囲内でしか回答出来な いということです。 そこで昨今では以下のようなニーズがあるかと存じます。 2022年1⽉以降の情報も回答してほしい… 外部には公開していない社内の情報への質問にも正確に回答してほしい… →LLMを独⾃に強化する必要がある。
Prompt Engineering LLM に与えるプロンプト内に追加データを 含めたり、不⾜がある場合に外部ツールを 呼び出してデータを追加することで回答精 度を向上させる⽅法 Ex)
以前の情報をヒントにして回答 Web で検索して回答 Fine Tuning LLM ⾃体を追加学習させ、パラメータを調 整することで回答精度を向上させる⽅法 膨⼤なコストとデータが必要 Ex) GPT3.5 に独⾃データを加えたモデルを作成 LLMを強化する⽅法 今回⽤いるのがPrompt Engineering の⼿法であるReActという概念になります。
ReActとは? ReAct(REasoning and ACTing)は、⾔語モデル(LLM)を使⽤して 思考(推論)と⾏動を同時に⾏うための新しい枠組みです。 ReAct の主な⽬的は、⾃然⾔語推論と意思決定のタスクを統合することで、 より⾼度な⾔語理解と知識活⽤を可能にすることです。
出典 https://react-lm.github.io/
ReActとは? 1. ⼈からの質問 2. Azure OpenAIへ質問を送る 3. OpenAIだけで回答を出すのが難しい 場合、Bing Searchを⽤いて検索を
⾏い情報を得る 4. Bing Searchから得た情報も含めて OpenAIへ送り、回答の要約を作成 5. ⼈へ回答を返す 実際に図にしてみると以下のイメージ。 思考(推論)と⾏動 を⾏っていることがわかります。
LangChainとは? 特徴 1. ReActプロセスを簡単に構築出来る 2. LLMを他のデータソース(RDBなど)に接続出来る GPTなどのLLMを使ったアプリケーションを開発する際に使⽤出来る開発を効 率化するためのライブラリ
本⽇のDEMOのアーキテクチャ ReActの概念をAzureのリソースを使って表現したいと思います!
DEMO AOAI + LangChainでReActアプリケーション開発
DEMO
最後に いかがだったでしょうか。 今回はAOAI + Bing Searchの構成にしましたが、Bing Searchの箇所を社内 独⾃のデータにすれば、独⾃情報を取り扱うことの出来るAIが作成出来ますし 、フロント部分をStatic
Web AppsからAzure Communication Serviceに変 えれば電話対応をAI化することも可能です。 本発表を通じて様々な拡張性があるAzure OpenAI Serviceを是⾮みなさま も⾊々と触ってみたい!と思っていただければ幸いです。
ご清聴頂きありがとうございました。
参考資料 Zenn https://zenn.dev/yusu29/articles/azure_react_llm Qiita https://qiita.com/fe_js_engineer/items/cd5cef784cb5e30a7ffc GitHub https://github.com/SatakeYusuke19920527/poc-react-app