Zennに投稿した下記の記事に基づく発表です。 https://zenn.dev/syumai/articles/ca9n4e91eqljc44k6ebg
Cloudflare WorkersでGoのHTTPサーバーを動かすライブラリを作った話syumaiDP Engineering Monday (2022/8/1)
View Slide
自己紹介syumaiGo Documentation輪読会 / ECMAScript仕様輪読会 主催株式会社ベースマキナ所属GoでGraphQLサーバー (gqlgen)やTypeScriptでフロントエンドを書いていますTwitter: @__syumaiWebsite: https://syum.ai
話すことCloudflare Workersとは？syumai/workersの紹介実装テクニックの紹介syscall/jsの処理など現状の課題example集の紹介
Cloudflare Workersとは？Service Worker APIベースのJavaScriptのWorkerWebAssemblyも実行可能Cloudflare経由のリクエストに割り込んで処理を行いレスポンスを返せる裏側にトラフィックを流すことなく、Workerが単独でレスポンスを組み立てて返してもOKhttps://blog.cloudflare.com/ja-jp/cloudflare-workers-unleashed-ja-jp/#worker
Workerの例Requestを受け取って、Responseを返す関数を書く形式addEventListener("fetch", (event) => {event.respondWith(handleRequest(event.request));});async function handleRequest(request) {return new Response("Hello world");}https://developers.cloudflare.com/workers/より引用
Cloudflare Workersの機能KV分散 key / value store結果整合 (複数edgeからの同一キーへの書き込みは後勝ち)Durable Objectsedge間でのデータ同期に使えるObject強整合Cache APIブラウザのキャッシュAPIのようなものedgeのキャッシュを操作出来る
Cloudflare Workersの用途の広がり最近発表された新機能 (まだ使えないものもあります)R2S3互換のオブジェクトストレージD1SQLiteベースの分散データベースPub/SubMQTT互換のメッセージング基盤=> Cloudflare上でフルスタックアプリケーションを作れる環境に近付いている
syumai/workersの紹介
workershttps://github.com/syumai/workershttp.Handlerを作って、 workers.Serveに渡すだけでCloudflareWorkers上でHTTPサーバーとして動作する必要なツールはtinygoとwrangler (Cloudflare WorkersのCLI)だけtinygoを使ってWebAssemblyを生成して実行するJavaScript側のコードを触る必要が無いCloudflareの機能のバインディングを提供 (R2, KV)
workersを使ったコードのサンプル普通に http.HandlerFuncを作るだけfunc main() {handler := http.HandlerFunc(func(w http.ResponseWriter, req *http.Request) {name := req.URL.Query().Get("name")if name == "" {name = "world"}fmt.Fprintf(w, "Hello, %s!", name)})workers.Serve(handler)}https://hello.syumai.workers.dev/?name=syumai (=> Hello, syumaiと表示)
作ったモチベーションWebAssemblyとJavaScriptの知識が無くてもGoでWorkerを書けるようにしたかった最終的に、templateのリポジトリをコピーして、Goのコードとwrangler.tomlを編集するだけで済む形になったhttps://github.com/syumai/worker-template-tinygoentrypointとしてJSのコードを含んでいるが、修正は不要実用的なWorkerを短時間で実装できるようなライブラリが欲しかったhttp.Handlerのサポートで実現
workers packageを使わなかった場合の例GoとJSの2ファイルでそれぞれ実装が必要https://github.com/syumai/workers-playground/tree/main/tinygo-add
Go側は、処理のexportが必要export commentによる関数exportはtinygoの機能package main//export addfunc add(a, b int) int {return a + b}func main() {}
JS側は、Goインスタンスの初期化、Wasmのロード、Workerの処理の実装が必要const go = new Go();const load = WebAssembly.instantiate(mod, go.importObject).then((instance) => { ... });export default {async fetch(req) {const instance = await load;const url = new URL(req.url);const a = url.searchParams.get("a");const b = url.searchParams.get("b");if (a === null || b === null) {return new Response("invalid", { status: 400 })}const result = `${a} + ${b} = ${instance.exports.add(a, b)}`;return new Response(result);},};
実装テクニックの紹介
syumai/workersの基本的な実装形式Cloudflare Workersは、基本的にRequestオブジェクトを処理し、Responseオブジェクトを返すと言う構造になっているため、下記が実装できればOKJavaScript側で受け取ったRequestオブジェクトをGoに渡すGo側でResponseオブジェクトを組み立ててJavaScript側に渡すこれをGoの標準ライブラリのsyscall/jsを使って実装した
紹介するもの基本的な値の変換バイト列の変換Promiseの待ち受けストリームの変換
JSからGoへの基本的な値の変換Goのコード上で、JavaScript側の値は、全て js.Value型で扱われるjs.Valueのメソッドを使って値を変換、操作出来るGoの基本的な型の値への変換 => Int()、String()などObjectやArrayなど、複雑なObjectの操作 => Index()、Set()、Get()JavaScript側のメソッド、関数の呼び出し => Call()、Invoke()
GoからJSへの基本的な値の変換基本的に、ValueOfのルールに従って自動的に行われるため、実はあまり考えなくていいJavaScript側のnumber型は浮動小数点数型なので精度に注意| Go | JavaScript || ---------------------- | ---------------------- || js.Value | [its value] || js.Func | function || nil | null || bool | boolean || integers and floats | number || string | string || []interface{} | new array || map[string]interface{} | new object |
バイト列の変換syscall/jsの CopyBytesToGo / CopyBytesToJS関数を使うUint8Arrayと []byteで相互にデータのコピーが可能例func (kv *kvNamespace) PutReader(key string, value io.Reader, opts *KVNamespacePutOptions) error {b, _ := io.ReadAll(value)ua := newUint8Array(len(b))js.CopyBytesToJS(ua, b)p := kv.instance.Call("put", key, ua.Get("buffer"), opts.toJS())return awaitPromise(p)}
GoからJS側に値をコピーする時のテクニックコピー先のUint8ArrayがJavaScript側に無い時は、Go側から作る必要がある(Value).Newを使ってclassのインスタンスを生成できるのでこれを使うvar uint8ArrayClass = global.Get("Uint8Array")func newUint8Array(size int) js.Value {return uint8ArrayClass.New(size)}https://github.com/syumai/workers/blob/v0.3.0/jsutil.go
ストリームの変換JavaScript側のコードがReadableStreamを返した時、これをio.Readerとして扱えるようにしたかった逆もしかりdeno_stdのコードを参考に実装したhttps://github.com/syumai/workers/blob/v0.3.0/stream.go後から気付いたが、Goの標準ライブラリにも同様の実装があったのでこれを使っても良かったかもしれないnet/http/roudtrip_js.go
Promiseの待ち受けGoから呼んだJavaScript側の関数がPromiseを返す時、Go側のコードがブロックされないPromiseを待ち受けるための処理はsyscall/jsでは提供されていない自前でchannelを使って書く必要がある
thenとcatchを呼んでchannelに送信、select文で待ち受けreturnfunc awaitPromise(promiseVal js.Value) (js.Value, error) {resultCh := make(chan js.Value)errCh := make(chan error)var then, catch js.Functhen = js.FuncOf(func(_ js.Value, args []js.Value) any {defer then.Release()result := args[0]resultCh <- resultreturn js.Undefined()})catch = js.FuncOf(func(_ js.Value, args []js.Value) any {defer catch.Release()result := args[0]errCh <- fmt.Errorf("failed on promise: %s", result.Call("toString").String())return js.Undefined()})promiseVal.Call("then", then).Call("catch", catch)select {case result := <-resultCh:return result, nilcase err := <-errCh:return js.Value{}, err}}
現状の課題
ファイルサイズ制限圧縮後のサイズが1MB以内でないといけない制約があるため、バイナリサイズが大きくなる通常のGoではpublishに失敗した実はtinygoでもギリギリで、依存ライブラリを増やすと簡単に越える
tinygoでencoding/jsonが動かないtinygoのreflectの実装が完全でないため、encoding/jsonが動かないeasyjsonなどの別のJSON encoder / decoderを使う必要がある
tinygoでnet/httpのHTTP Clientが動かないtinygoを使った場合、Worker上でhttp.Getなどが動かないため、プロキシ用途で使うことが出来ない一応回避策を見つけて、ベーシック認証プロキシを作ることに成功したhttps://github.com/syumai/workers/tree/v0.3.0/examples/basic-auth-proxytinygo 0.24.0で動かなくなってしまったが、takasagoさんの修正で0.25.0でまた動くようになるはずhttps://github.com/tinygo-org/tinygo/pull/3036
example集JSON APIサーバーR2を使った画像アップロード /配信サーバーKVを使ったアクセスカウンターぜひ、templateリポジトリからWorkerを作ってpublishしてみてくださいhttps://github.com/syumai/worker-template-tinygo
発表内容についてZennの方にも記事を投稿しているので、興味があればぜひご覧くださいCloudflare Workersで簡単にGoのHTTPサーバーを動かすためのライブラリを作ったhttps://zenn.dev/syumai/articles/ca9n4e91eqljc44k6ebg
ご清聴ありがとうございました！
syumai
vrallev
deresmos
ohmae
aethiopicuschan
hpgrahsl
jrsaruo
mfunaki
ari_mharada
clown0082
murabayashi
subomi
nacatl
jonrohan
samanthasiow
cassininazir
trishagee
sachag
chriscoyier
hannesfritz
quramy
shpigford
brad_frost
eileencodes
erikaheidi