CloudflareのBetaサービスでローカルなLLMを安全に公開する

Cloudflare Workers Tech Talks in Kyoto #2 で発表。

https://workers-tech.connpass.com/event/397441/

Transcript

1. Cloudflare の Beta サービスで ローカルな LLM を安全に公開する Cloudflare Workers Tech Talks in Kyoto #2 2026/07/07 @rokuosan_dev id:rokuokun
2. ⾃⼰紹介 • rokuosan ◦ ◦ id: rokuokun @rokuosan_dev • 株式会社はてな アルバイト • Kyoto.kt やってます • 今⽇の発表で気をつけること ◦ ⼤きい声で話す ◦ ゆっくりしゃべる
3. デモ
4. https://workers-vpc-ai-calling.km3.workers.dev/
5. 今回は Wokers からローカル LLM を いい感じに呼び出す⽅法をお伝えします
6. ローカルLLM
7. ローカルLLMを動かすには • Mac が⼈気 ◦ Mac Mini ◦ Mac Studio ◦ ⾼い‧⼊⼿困難 • NVIDIA DGX Spark ◦ ⾼い
8. わけあって DGX Spark を⼊⼿した
9. （余談）サイズ⽐較
10. Workers からローカルLLM
11. Workers からローカル LLM を呼び出す これを Workers Workers AI
12. Workers からローカル LLM を呼び出す こうする Workers DGX Spark Workers AI
13. でもどうやって？ • Workers ←→ DGX Spark ◦ DGX Spark をインターネットに公開？ ◦ LiteLLM とか nginx を噛ませる？ • ちょっと⾯倒 • Cloudflare で上⼿にできないか
14. Workers VPC
15. Workers VPC • https://developers.cloudflare.com/workers-vpc/ • Workers から Cloudflare One Network にあるリソースに 直接アクセスできる • Beta サービス
16. Workers からローカル LLM を呼び出す これを Workers Workers AI
17. Workers からローカル LLM を呼び出す こうする Workers DGX Spark Workers AI
18. Workers からローカル LLM を呼び出す こうする（⻘枠の部分を繋げる） Workers DGX Spark Workers AI Workers VPC
19. ええやん
20. Workers VPC の種類 • VPC Services ◦ 特定ホストとポートに Bind される ◦ シンプル • VPC Networks ◦ Cloudflare {Tunnels,Mesh,WAN} に Bind される ◦ 実⾏時に好きな宛先に接続できる
21. 最⾼の図 https://developers.cloudflare.com/workers-vpc/confi guration/vpc-networks/
22. 今回は VPC Networks
23. Cloudflare Mesh / Cloudflare Tunnels • Cloudflare One の製品群の1つ ◦ e.g. Cloudflare Access • Cloudflare と接続するクン • Mesh は Beta サービス
24. Cloudflare Mesh / Cloudflare Tunnels • 最⾼の図
25. 今回は Cloudflare Mesh
26. Cloudflare Mesh • Getting Started に沿って進める ◦ warp-cli を Spark にインストールする ◦ ネットワークを⾃動構成してくれる ◦ https://developers.cloudflare.com/cloudflare-one/networks/connectors/cloudflare-mesh/get-star ted/ • ウィザードに沿ってやるだけ
27. Cloudflare Mesh
28. Cloudflare Mesh
29. Cloudflare Mesh の注意点 • アドレス空間 ◦ 100.96.0.0/12 ◦ 100.64.0.0/10（RFC 6598）のサブネット • Tailscale などと重複する（どっちが悪いとかではない） ◦ 同居の場合は調整する必要がある
30. Workers を VPC に接続する
31. ダッシュボードから Workers を作る
32. Mesh Network を Binding する
33. プロキシするコードを書く DGX Spark の IP アドレス Ollama が 10.200.0.1:11434 で listen
34. リクエストを送ってみる Ollama のレスポンスが見えた！
35. Workers からローカル LLM を呼び出す こうする（⻘枠の部分を繋げる） Workers DGX Spark Workers AI Workers VPC
36. Workers からローカル LLM を呼び出す こうする（⻘枠の部分を繋げる） Workers DGX Spark Workers AI 👍 Workers VPC
37. 完全に理解した
38. プロキシ⽤の Workers を作る
39. Workers でプロキシ
40. DGX Spark を公開したい • モチベーション ◦ Claude Code / Codex で使える ◦ アプリケーション連携 • 認証機能 ◦ Token
41. wrangler.jsonc でバインドして
42. いい感じに実装してデプロイ
43. Codex の config を書いて
44. 完成
45. でもこれだけだとなんか微妙
46. Cloudflare AI Gateway
47. Custom Provider (Beta) https://developers.cloudflare.com/ai-gateway/configuration/custom-providers/
48. Custom Provider の登録
49. Bring your own keys (BYOK) (Beta)
50. API Token の発⾏ • Provider ごとの制限はできない • ⾃由度は⾼くない
51. Codex の設定
52. テストしてみる
53. こんな感じになっている BYOK で設定された Token（自動付与） AI Gateway Cloudflare で発行した Token Workers Workers VPC (Mesh)で 接続 DGX Spark
54. AI Gateway のいいところ
55. メトリクスが⾒れる
56. ガードレールなどがある
57. プロンプトを読んで AI の気持ちになれる
58. OpenTelemetry 統合 • cf-aig-otel-trace-id ヘッダーで Span をぶら下げられる https://developers.cloudflare.com/ai-gateway/observability/otel-integration/
59. アプリケーションに組み込んでみる
60. rfc-map • https://rfc-map.km3.workers.dev/ • 翻訳機能 ◦ ここを AI に任せる • 参照の可視化機能
61. まとめ
62. まとめ • Workers をプロキシとしてローカル LLM を公開した • Workers VPC でローカルマシンと接続する • AI Gateway を前段におくといいことがある
63. Cloudflare の Beta サービスで ローカルな LLM を安全に公開する Cloudflare Workers Tech Talks in Kyoto #2 2026/07/07 @rokuosan_dev id:rokuokun