Slide 50
Slide 50 text
60
イベントストリーム表示によるユーザへの待機ストレス軽減
{
"id": "chatcmpl-XXXXXXXXXXXXXXXXXXX",
"object": "chat.completion.chunk",
"created": 1684253491,
"model": "gpt-4",
"choices": [
{
"index": 0,
"finish_reason": null,
"delta": {
"content": "。"
}
}
],
"usage": null
}
{
"id": "chatcmpl-XXXXXXXXXXXXXXXXXXX",
"object": "chat.completion.chunk",
"created": 1684253491,
"model": "gpt-4",
"choices": [
{
"index": 0,
"finish_reason": "stop",
"delta": {}
}
],
"usage": null
}
Bing Chat や本家ChatGPTと同じく、全てのレスポンスを待つのではなく、リクエスト時にstreamパラメータを=trueとすることで
生成されたトークンから順に取得が可能。
トークンごとに生成されるJSON 最後のトークン
Azure OpenAI Service の REST API リファレンス - Azure OpenAI | Microsoft Learn
How to handle streaming responses in OpenAI GPT chat completions API (georgeck.me)