CloudflareのBetaサービスでローカルなLLMを安全に公開する

Cloudflare Workers Tech Talks in Kyoto #2 で発表。

https://workers-tech.connpass.com/event/397441/

Transcript

1. Cloudflare の Beta サービスで ローカルな LLM を安全に公開する Cloudflare Workers Tech Talks in Kyoto #2 2026/07/07 @rokuosan_dev id:rokuokun
2. ⾃⼰紹介 • rokuosan ◦ id: rokuokun ◦ @rokuosan_dev • 株式会社はてな アルバイト • Kyoto.kt やってます • 今⽇の発表で気をつけること ◦ ⼤きい声で話す ◦ ゆっくりしゃべる
3. ⾃然な導⼊
4. 去年の発表
5. https://speakerdeck.com/rokuosan/scheduled-cloudflare-workers
6. https://speakerdeck.com/rokuosan/scheduled-cloudflare-workers
7. https://speakerdeck.com/rokuosan/scheduled-cloudflare-workers
8. Workers AI 便利すぎて 困ることないｗ
9. 本当に？
10. 本当に困らない
11. 組み込みやすさが段違い
12. でも⼩さいモデルしか動かないんでしょ？
14. 🤯
15. Workers AI はお⼿軽 Workers AI 最⾼便利
16. でも1つ⽋点
17. 😭 従量課⾦ツラい 💸 （当たり前）（⾦⽋）（ケチをつけたいだけ）
18. そこで
19. ローカルLLM
20. ⾃然な導⼊に成功
21. デモ
22. https://workers-vpc-ai-calling.km3.workers.dev/
23.  今回は Wokers からローカル LLM を いい感じに呼び出す⽅法をお伝えします
24. ローカルLLM
25. ローカルLLMを動かすには • Mac が⼈気 ◦ Mac Mini ◦ Mac Studio ◦ ⾼い‧⼊⼿困難 • NVIDIA DGX Spark ◦ ⾼い
26. わけあって DGX Spark を⼊⼿した
27. （余談）サイズ⽐較
28. Workers からローカルLLM
29. Workers からローカル LLM を呼び出す Workers Workers AI これを
30. Workers からローカル LLM を呼び出す Workers Workers AI DGX Spark こうする
31. でもどうやって？ • Workers ←→ DGX Spark ◦ DGX Spark をインターネットに公開？ ◦ LiteLLM とか nginx を噛ませる？ • ちょっと⾯倒 • Cloudflare で上⼿にできないか
32. Workers VPC
33. Workers VPC • https://developers.cloudflare.com/workers-vpc/ • Workers から Cloudflare One Network にあるリソースに 直接アクセスできる • Beta サービス
34. Workers からローカル LLM を呼び出す Workers Workers AI これを
35. Workers からローカル LLM を呼び出す Workers Workers AI DGX Spark こうする
36. こうする（⻘枠の部分を繋げる） Workers からローカル LLM を呼び出す Workers Workers AI DGX Spark Workers VPC
37. ええやん
38. Workers VPC の種類 • VPC Services ◦ 特定ホストとポートに Bind される ◦ シンプル • VPC Networks ◦ Cloudflare {Tunnels,Mesh,WAN} に Bind される ◦ 実⾏時に好きな宛先に接続できる
39. 最⾼の図 https://developers.cloudflare.com/workers-vpc/confi guration/vpc-networks/
40. 今回は VPC Networks
41. • Cloudflare One の製品群の1つ ◦ e.g. Cloudflare Access • Cloudflare と接続するクン • Mesh は Beta サービス Cloudflare Mesh / Cloudflare Tunnels
42. • 最⾼の図 Cloudflare Mesh / Cloudflare Tunnels
43. 今回は Cloudflare Mesh
44. • Getting Started に沿って進める ◦ warp-cli を Spark にインストールする ◦ ネットワークを⾃動構成してくれる ◦ https://developers.cloudflare.com/cloudflare-one/networks/connectors/cloudflare-mesh/get-star ted/ • ウィザードに沿ってやるだけ Cloudflare Mesh
45. Cloudflare Mesh
46. Cloudflare Mesh
47. • アドレス空間 ◦ 100.96.0.0/12 ◦ 100.64.0.0/10（RFC 6598）のサブネット • Tailscale などと重複する（どっちが悪いとかではない） ◦ 同居の場合は調整する必要がある Cloudflare Mesh の注意点
48. Workers を VPC に接続する
49. ダッシュボードから Workers を作る
50. Mesh Network を Binding する
51. プロキシするコードを書く DGX Spark の IP アドレス Ollama が 10.200.0.1:11434 で listen
52. リクエストを送ってみる Ollama のレスポンスが見えた！
53. こうする（⻘枠の部分を繋げる） Workers からローカル LLM を呼び出す Workers Workers AI DGX Spark Workers VPC
54. こうする（⻘枠の部分を繋げる） Workers からローカル LLM を呼び出す Workers Workers AI DGX Spark Workers VPC 👍
55. 完全に理解した
56. プロキシ⽤の Workers を作る
57. Workers でプロキシ
58. • モチベーション ◦ Claude Code / Codex で使える ◦ アプリケーション連携 • 認証機能 ◦ Token DGX Spark を公開したい
59. wrangler.jsonc でバインドして
60. いい感じに実装してデプロイ
61. Codex の config を書いて
62. 完成
63. でもこれだけだとなんか微妙
64. Cloudflare AI Gateway
65. https://developers.cloudflare.com/ai-gateway/configuration/custom-providers/ Custom Provider (Beta)
66. Custom Provider の登録
67. Bring your own keys (BYOK) (Beta)
68. API Token の発⾏ • Provider ごとの制限はできない • ⾃由度は⾼くない
69. Codex の設定
70. テストしてみる
71. こんな感じになっている AI Gateway Workers DGX Spark Cloudflare で発行した Token BYOK で設定された Token（自動付与） Workers VPC (Mesh)で 接続
72. AI Gateway のいいところ
73. メトリクスが⾒れる
74. ガードレールなどがある
75. プロンプトを読んで AI の気持ちになれる
76. OpenTelemetry 統合 https://developers.cloudflare.com/ai-gateway/observability/otel-integration/ • cf-aig-otel-trace-id ヘッダーで Span をぶら下げられる
77. アプリケーションに組み込んでみる
78. rfc-map • https://rfc-map.km3.workers.dev/ • 翻訳機能 ◦ ここを AI に任せる • 参照の可視化機能
79. まとめ
80. まとめ • Workers をプロキシとしてローカル LLM を公開した • Workers VPC でローカルマシンと接続する • AI Gateway を前段におくといいことがある
81. Cloudflare の Beta サービスで ローカルな LLM を安全に公開する Cloudflare Workers Tech Talks in Kyoto #2 2026/07/07 @rokuosan_dev id:rokuokun