Cloudflare Workers AIでwasm pluginを作る

Fukuoka.edge
https://engineercafe.connpass.com/event/396418/

実装は、 https://github.com/walf443/nginx-lint-cloudflare-agent にあります

Transcript

1. Cloudflare Workers AIで wasm pluginを作る walf443
2. nginx-lintとは nginxの設定ファイルのlintツール (rust製) たとえばこの前話題になった nginx Riftのパターンの設定を検知して自動でワークアラウンド設定への書 き換えなどができる wasmのpluginで独自ルールを追加することができる コアのルールの大部分は pluginとして実装しておりそれを真似しつつ独自ルールを追加できる WIT(Web Assembly Interface Types)をそなえており、それを用いることで nginxの設定ファイルの parserを作ることなく任意の言語で wasmでpluginを書けるとされている(がWITを使える環境は限られる TypeScriptではWITから生成したライブラリをnpmで配布しておりそれを使うことで pluginを実装できる
3. 独自に実装できるとはいっても... 自前でSDKの書き方覚えて実装するのはけっこう敷居が高い rustだと一番参照できるコードは多いけどrust自体のハードルがやや高め ということで最近よく聞くCloudflare Workers AIを使って何かできないかやってみた
4. Cloudflare Workers AI LLMを実行するアプリを手軽に公開できる仕組み ・ただし課金とかを考えるとアクセス制限を忘れないようにした方がよさそう const response = await env.AI.run("@@cf/openai/gpt-oss-120b", { prompt: "What is the origin of the phrase Hello, World", });
5. コーディングエージェントの流れ 1. ユーザーが要件を入力 2. LLMが要件をもとにコードを生成 3. ビルドしてテストが通れば完了 4. テストが失敗した場合はLLMが往復して調整することで質を担保する LLM呼びだしのときにtoolとしてビルドしてテストさせる処理を定義することでプロンプト にツールを使う判断をしてもらって使わせる
6. LLMが生成したコードを試す環境をどうするか? Cloudflare Sandboxes baseイメージは固定だけどdocker containerを動かせる ふつうにtscが動かせる rustもいけそうではあるがコア数などの関係でけっこう重そうなので試してない 実行はまずまずかかる。4785msほどだったがけっこうブレがある。 (npm installなどが実行されているのが大きい ) Cloudflare Dynamic Worker v8のsandbox環境でJavaScriptコードを実行できる コンテナより大きなimageのロードなどが必要ないので起動が早い (20msほど) 通常のnode.js環境ではないので動かせるコードは限られる CPU時間/リクエスト回数課金。利用できるメモリ上限はざっとみ書かれてはなさそうだった
7. nginx-lint-pluginの仕組み testのフレームワークではrustからビルドされたnginx設定ファイルのparserのwasmが 添付されておりそれをロードしてnode.jsから実行することでnginx-lintが手元になくても 素のnode.jsでテストできるようにしている 基本的には間違っている設定と実際に期待している設定を書けばそれを通すようなコー ドが書ければよいという寸法 wasmにするときは@bytecodealliance/jco でできるがこれはユーザーにやってもらう想 定 @bytecodealliance/jco ではjsファイルのimport時に透過的にwasmをロードする処理 を生成するが、node:fsが動かないので明示的にwasmをロードする処理を追加する必 要があった
8. 自作WIT基盤をLLMに書かせる仕組み LLMプロンプトにSDK側のd.tsをそのまま埋めこんでそれを使って書かせている こうすることでライブラリの更新 -> WIT -> SDK -> プロンプトの自動追従ができる 品質は今のところ簡単なものでしか見れてないが複雑なパターンだとうまく生成できない かもしれない
9. Dynamic Workersで動かすために必要な調整 pluginはTypeScriptで生成させているが、v8 isolateで起動するのでJavaScriptでないと いけない。型消去としてsucraseを利用してJavaScriptに変換してから渡す ライブラリのwasm部分は、importなどはできないので文字列化して渡す必要がある。 wasmを同梱したライブラリの作りかたによってはライブラリ側に調整が必要なこともある 今回はnode.jsのテストコードを実行させるのでnode:testで動かす必要があるがこれも 使えないので同じAPIのwrapperを作って同梱する必要がある
10. Demo たとえば、webサービスを新規で有効化するときはbrotilを有効化したい JavaScript/CSSをビルドするときは、*.brでbrotli圧縮したコンテンツを用意するようにしているのでそれをnginxでContent-Encodingに応じて うまく配信したい nginxの定番では、google/ngx_brotliというサードパーティーのモジュールが必要になってくるのでnginx-lintのコアではやりづらい brotli_static onという設定があり、これを有効化しておくと静的ファイルの配信時では .brがあればそちらを解釈できる環境では優先的に配信 してくれる 余談としてContent-Encoding: zstdもわりとサポートされてきたので動的圧縮はzstdが向いているが事前の静的圧縮ではbrotilの方がサイズ が小さくなるのでよいらしい