LLMを型安全に使うTips

#TSKaigi_学生LT
TypeScriptでOpenAIのGPTなどのLLMを、型安全に扱うための手法を紹介します

Transcript

1. Takumi Nakamura (@nyatinte) 2024/5/17 #TSKaigi_学生LT LLMを型安全に使う Tips
2. About Me GitHub: nyatinte X: nyatinte にゃちんてと読みます Takumi Nakamura (@nyatinte) （にゃちんて） 横浜市立大学データサイエンス学部4年 フリーランスでWebエンジニアをやっています 最近は生成AIのスタートアップで働いています TypeScript歴3年目突入 TSKaigiにも参加していました！
3. LLM + TypeScriptで アプリを作りたい
4. TypeScriptについて 教えて TypeScriptは JavaScriptの… かしこまりました。 TypeScriptは… 出力の不安定さ ユーザー LLM
5. 私5月11日にTSKaigiというTypeScriptのカン ファレンスに参加しました。 TypeScriptに関するノウハウを得ることが でき、とても有意義な時間を過ごすできまし た。 また、参加者の人々と交流することで、モ チベーションが高めることができました。 LLMを使った擬似アプリをTSで実装したい 「LLMを利用した日本語添削ツール」 添削 型変換 誤字を含む日本語文章
6. Level1 工夫なしで実装する
8. 型と出力フォーマットの差が 生じた時に気付けない 型アサーション（as）
9. Level2 TypeChat
11. Zodスキーマでレスポンスを定義 ↑を解析し、型の文字列に レスポンスのバリデーション失敗 時に、自動でリトライ
12. Zod　スキーマ宣言とバリデーション
13. 送信されるプロンプト
14. 送信されるプロンプト Zodスキーマの 情報が含まれる
15. TypeChatの限界 変換タスクに特化している 型に変換はできるが、文章の校閲までは行えない OpenAIとAzure OpenAIのサポートはあるが、他のLLMのサポートは微妙 createFetchLanguageModelを使えば実現はできるが、型付きSDKの恩恵 を受けられない AnthropicのClaude3 Opusなどの強力なモデルが登場しているので痛い
16. 出典: Chatbot Arena Leaderboard（2024/05/14） https://chat.lmsys.org/
17. Level3
18. 求められる機能 型と出力フォーマットは常に一致する LLMの出力はバリデーションされ、安全に扱える リトライ機能 特定のLLMに依存しない 変換タスク以外もこなすことができる
19. 型と出力フォーマットを一致させる
20. zod-to-ts Zodスキーマでレスポンスを定義 スキーマが文字列に変換される
22. 型と出力フォーマットの 一致 リトライ機構 レスポンスの バリデーション
23. 求められる機能 型と出力フォーマットは常に一致する → zod-to-ts LLMの出力はバリデーションされ、安全に扱える → zod リトライ機能 → ts-retryなど 特定のLLMに依存しない → OK 変換タスク以外もこなすことができる → OK
24. Thank you for listening!