Slide 8
Slide 8 text
実装
難易度の高い要求でなければ、ローカル LLM は実
Xcode で Chat および Claude Agent のバックエン
ドに、ローカル LLM サーバーを設定しました。
装支援に活用できます。今はクラウドのトークン
消費を抑えるための補助的な利用が現実的です。
なお、実装中は検証機の GPU の消費電力とファ
ン回転数がほぼ最大まで上がりました。LLM の計
算負荷の高さを実感しました。
まとめ
実装に利用した ornith は正直使えました。LLM
のモデルとハードウェアは継続的に進化してお
り、いずれは本格的な開発手段になるでしょう。
図 3: Chat に Ollama を設定した
私が愛用している Radeon は、計算用ドライバー
の練度に伸び代があります。速度は劣るが、コス
今回は Ollama を利用するので、settings.json で
トに魅力があり、今後も付き合っていきたい。
モデルも指定します。
{
"env": {
"ANTHROPIC_AUTH_TOKEN": "oll
ama",
"ANTHROPIC_BASE_URL": "http:
//192.168.100.19:11434",
"ANTHROPIC_MODEL": "ornith:3
5b"
}
}
紙面の都合上、実装結果は GitHub 14 の PR で公
開します。対照として、ローカルの qwen 3.6、ク
ラウドの GPT-5 / Codex でも実装しました。
ローカル LLM の実装評価
ローカル LLM は、クラウドと比べると速度と品質
で見劣りしますが、ornith は健闘しました。
Chat は単純なタスクを問題なくこなせたため、短
く明確な指示には十分実用的だと感じました。
Agent は ornith では問題なかったですが、一般的
には分割して段階的に渡した方が安定します。
1. https://artificialanalysis.ai/models
2. https://ai.google.dev/gemma/docs/core/m
odel_card_4?hl=ja
3. https://benchlm.ai/compare/gemma-4-31bvs-gpt-4-1
4. https://www.alibabacloud.com/ja/solution
s/generative-ai/qwen?_p_lc=1
5. https://benchlm.ai/compare/claudesonnet-4-6-vs-qwen3-6-27b
6. https://deepreinforce.com/ornith_1_0.html
7. https://llama-cpp.com/
8. https://lmstudio.ai/
9. https://ollama.com/
10. https://qiita.com/mitsuharu_e/items/92a3e
ccb65d9b5c4ceca
11. https://ollama.com/library/gemma4:e4b
12. https://ollama.com/library/qwen3.6:35b
13. https://ollama.com/library/ornith:35b
14. https://github.com/mitsuharu/evaluatelocal-llms-for-ios-app