F#でちょっとずつ返す

F#で非同期ストリームを扱う際の内部的な動き

Transcript

1. F# でちょっとずつ返す 

2. ちょっとずつ返す？ 

3. ちょっとずつ返す？ 
 DAG API (F# Minimal API) LLM (Gemini) Request
 Request
 Streaming Response
 Streaming Response

4. ちょっとずつ返す？ 
 DAG API (F# Minimal API) LLM (Gemini) SCAI API
5. 選択肢
 1. Server-Sent Events ( SSE ) 2. IAsyncEnumerable<T> の活用 a. 非同期ストリームを表現するための .NET の標準的なインターフェース
6. Server-Sent Events
 • サーバーからクライアントへ一方向にデータを逐次PushするW3C標準の通信方式 MDN: https://developer.mozilla.org/ja/docs/Web/API/Server-sent_events
7. IAsyncEnumerable<T>
 • 非同期ストリームを表現するための .NET の標準的なインターフェース • Chunked transfer encoding (HTTP/1.1で導入されたデータ転送方式）を使用 ◦ チャンク形式のHTTPリクエスト ◦ レスポンスヘッダー：Transfer-Encoding: chanked .NET: https://learn.microsoft.com/ja-jp/dotnet/api/system.collections.generic.iasyncenumerable-1?view=net-9.0
8. DAG API では？
 • IAsyncEnumerable<T> ◦ TaskSeq を使った実装 • 理由 ◦ .NET 標準機能で実装可能 ▪ SSE は .NET 8 だと標準サポートがない ◦ ブラウザ向けではない ▪ だいたいのプログラミング言語、HTTPクライアントライブラリで標準的にサ ポートされている
9. ポイント
 Entry Point Driver ① ② DAG API ③
10. ポイント
 1. Driver で逐次データを受け取る 2. Driver から アプリケーション構成レイヤーまで逐次データを返す 3. HTTP レスポンスとしてクライアントへ逐次データを返す
11. 実装例

12. ハマった箇所 
 • do! Task.Yield() や Task.Delay() を入れないと逐次データが返ってこない ◦ まとめて返ってくる
13. HTTPフレームワーク(ASP.NET Core) TaskSeq(F#) HTTPレスポンスに逐次書き出し（フラッシュ） MoveNextAsync() を呼ぶ 明示的な非同期一時停止 (do! Task.Yield()) 制御をHTTPフレームワークに戻す 要素を受け取る 要素を生成 (yield line) 図解

14. 解説
 • フラッシュされるタイミングは、HTTPフレームワークが管理している • 制御を明示的に戻す必要がある ◦ Task.Yield(), Task.Delay()
15. おわり