Qwen3.8-27Bをいろいろなハーネスで動かしてみよう

2026/09/05、【QwenMeetupTokyo】にて弊社社員がLT（ライトニングトーク）を発表いたしましたので、こちらに掲載いたします。

Transcript

1. Qwen3.8-27Bをいろいろなハーネスで動かしてみよう Qwen Meetup Tokyo #1 燈株式会社
2. はじめに 自己紹介 氏名 許 超舜 所属 燈株式会社 / AI Engineer 経歴 東京大学大学院卒。博士(情報理工学)。 燈では 言語系・画像系の開発に携わり、 複数のPJでPM / エンジニアを担当 Tech Blogで書いたローカルLLMの記事: • 「ローカルLLMをiPhoneで動かそう」 ◦ 往年の小型LLM出力を見ることができます • 「ローカルLLMはポケモンのタイプ相性を理解できるか？」 ◦ Qwen3の14Bが、さかさバトルで飛行・格闘タイプの技を ノーマル・ゴーストタイプに打ちます 2
3. Qwen3.8-27Bとは ベンチマーク上でGPT-5.6 Luna相当のモデルが、 4bit量子化ならローカルで動く Intelligence Index(Artificial Analysis) 66 Claude Fable 5.1 (max) 約14~16GB 4bit量子化のファイルサイズ ︙ GPT-5.6 Terra (xhigh) 53 Qwen3.8 27B (xhigh) 52 GPT-5.6 Luna (max) 52 約18~20GB 65K context予約時のVRAM 24GB VRAM で動く →ローカルで動かしてみよう！ Q．どのハーネスがいいんだろう？ 52はAPI上のxhigh設定の値。ローカルで動かすために4bit量子化を使用すると一定スコアは落ちる。出典: Artificial Analysis Qwen README 3
4. 主要なハーネスの設計思想比較 主要なハーネスの設計思想比較。これら5種類で同じタスクを実行。 Harness コンセプト 設計思想 Qwen Code 機能統合、Qwen向け 必要機能を広く統合し、Qwenモデルと一緒に進化。 Qwen以外にも使える。 OpenCode 役割分離 主エージェントと子エージェントに分け、 役割ごとにプロンプト、モデル、ツール権限を設定。 Pi 最小構成 コアを小さく保ち、能力はExtensions / Skillsで足す。 子エージェントや計画モードを中核に持たない Hermes Agent 学習、メモリ管理 永続メモリ、セッション検索、エージェント自身が編集す るSkillsを持つ。 DeepSeek Harness(DSH) 組み替え可能 すべてがプラグイン。セッションは追記専用のイベントロ グで、履歴はそこから組み立て直す 4
5. 短い実務task タスクA: 3つの文書に散った要件を全部拾って設定loaderを完成させる。 11ファイル、約1.2Kトークンのコードベースから必要ファイルを取得。 問題文 設定loaderのprecedenceとdeprecated key migrationを完成させてください。要件は`docs/`のADRと運用文書に 分散しています。CLI diagnosticsも更新し、後方互換性を維持してください。public APIを変えず、外部packageや network accessは使用しないでください。 リポジトリの11ファイル docs/adr/001-config-prece dence.md docs/adr/002-region-migra tion.md 手順(Agentがやること) 必要な入力 1 課題文を読み、テストを実行 2 docs/ の3文書を読む 3 config.py と cli.py を直す 4 テストを再実行して終了 docs/operations.md app/config.py 編集対象 app/cli.py app/environment.py 他2ファ イル 出力と採点 fixtures/verbose-startup.log おとり(偽起動ログ) tests/test_config.py 公開テスト3本 出力: 完遂runで2〜4ファイル、+88〜362行 採点: 公開テスト3本、非公開テスト4項目 5
6. 短い実務task それぞれのハーネスで3回実験。基本的に解けるが、所要時間と呼び出し 回数はハーネスで異なる。 条件: context 65K / 出力32K GPU: NVIDIA L40S （VRAM 48GB、最大帯域864 GB/s） Harness テスト通過 所要時間(中央値) LLM呼び出し回数 Qwen Code 3/3 約10分 約15回 OpenCode 3/3 約11分 約22回 Pi 3/3 約11分 約20回 Hermes Agent 2/3 7〜37分 ばらつき大 DSH 2/3 約19.5分 約19回 失敗要因 Hermes: region_nameしか存在しない場合のエッジ ケースを試さず、非公開テストに失敗 DSH: 自分で追加したテストが落ちたまま終了し失 敗 →所要時間の内訳はどうなってるの？ 6
7. 短い実務task 最初の設計の長い生成が1/3〜2/3を占める。 また、ハーネスごとに読み書きの長さ、検証ループの回数が異なった。 最長のLLM応答が占める時間 モデル応答時間が99%以上 ハーネスごとの典型的な実行パターン 生成速度33〜41 tok/s run中央値 最大応答 秒 全体比 OpenCode r2 9.2K 229 34% Qwen Code r3 11.7K 311 50% Hermes r1 12.3K 310 70% Pi r2 15.5K 371 55% DSH r2 23.4K 588 66% ・各ハーネスとも、要件を読んだ直後の設計の場 面で巨大な応答(9K〜24Kトークン)を生成。 所要時間のの約1/3〜2/3を占めた。 ・Hermes Agentの外れ値、37分かかった回は独 自エッジケースを大量に検証して修正、完遂 Qwen Code Pi DSH read ×3 read ×3 read ×7 長考 11.7K 長考 15.5K 最大の長考 23.4K 1応答で 複数ツール write ×1 write write_file で まとめて書く bash×12 の 検証ループ 実行 実行×3 編集→実行 →修正 まとめて進める 検証を 何度も回す 細かく読んで 大きく考える 7
8. 広く探索して移行するtask タスクB: 119ファイル、約100Kトークンのリポジトリで、 古い定義を8領域またいで全面移行する。 問題文 workflow platform の scheduling model を canonical ScheduleSpec に移行してください。 （中略） 古い設計文書も残っています。public testsを実行し、必要なregression testsを追加してください。 リポジトリの119ファイルのイメージ 実装領域 8領域 ├ api/ ├ cli/ ├ persistence/ ├ scheduler/ ├ worker/ ├ migration/ ├ diagnostics/ └ audit/ 手順(Agentがやること) 要件源 8〜12文書 ├ adr/ ├ runbooks/ ├ api_contract/ └ migration_note/ 1 有効な仕様を見つける 2 API / CLI / 永続化 / scheduler / worker / 移行 / 診断 / 監査 の8領域から影響する実装箇所を探す 3 後方互換を保ちつつ、新形式へ移行 判断を邪魔するもの 30文書+ ├ archive/ 古い設計文書 └ metrics/plugins/ おとり 4 テストして要件漏れを探す 出力と採点 出力: 実測で8〜12ファイル、+69〜280行 採点: 公開テスト + 非公開15要件 8
9. 広く探索して移行するtask 5つ全部が完走し、非公開15要件のうち13はどれも通過。 落ちたのは診断と監査の2つ。 条件: context 262K / 出力32K GPU: NVIDIA L40S （VRAM 48GB、最大帯域864 GB/s） Harness 所要時間 取りこぼした要件 変更ファイル / 追加行 OpenCode 12.1分 診断 + 監査 8 / +69 Qwen Code 14.9分 診断のみ 8 / +139 Hermes 19.1分 診断 + 監査 10 / +167 Pi 21.1分 診断のみ 11 / +280 DSH 22.7分 診断 + 監査 12 / +172 診断(要件13): 5つ共通の穴 警告文 deprecated: interval_seconds を誰も出 さなかった 監査(要件14): Qwen CodeとPiのみ 同じ予定を2回記録しても1件にまとめる処理。 他のハーネスは2回呼べば2件積まれる。 9
10. まとめ Qwen3.8-27Bは100ファイル級でも主要実装まで到達。 ハーネスで仕事の進め方が変わり、時間と要件の拾い方に差が出た。 Harness コンセプト 今回観測した動き Qwen Code 機能統合、Qwen向け まとめて読んで、比較的少ない呼び出しで大きく進め る OpenCode 役割分離 呼び出し回数は多めだが、1回の生成は比較的小さい Pi 最小構成 書いた後に検証を細かく何度も回す Hermes Agent 学習、メモリ管理 検証の深さがrunごとに大きく変動。7分で直行する runも、37分かけてエッジケースを詰めるrunもあった DeepSeek Harness(DSH) 組み替え可能 細かく読んでから、1回の巨大な生成に寄せる 実験回数が少ないため、あくまで今回観測した動きからの各ハーネスの印象 10
11. 最後に 燈ではAI開発を推進しています。 ご興味ある方、是非気軽にカジュアル面談しましょう！ 弊社は建設業や製造業に導入するための エージェント開発にも力を入れてるのでぜひ一緒に作りましょう！！ カジュアル面談申込フォーム エージェント構築 こんなことやってます！ • RAG構築 • ハーネス構築 • ナレッジ活用 (ナレッジグラフなど) • データ分析 • ハーネスの進化
12. 弊社は、本書の作成および管理には万全の配慮をしておりますが、その内容に関する正確性および完全性について保証せず、また責任を負いません。弊社は、本書およ びお打合せ等で弊社がご提供する情報等（以下「本書等」といいます。）の提供及び本書等のいかなる利⽤について何ら保証するものではありません 。また、本書等に は将来に関する予測、⾒通し⼜は仮定（以下「予測等」といいます。）が含まれる場合があります。予測等に関しては、弊社が現在⼊⼿している情報および合理的であ ると判断する⼀定の前提に基づいており、弊社としてその実現や発⽣等を約束する趣旨のものではありません。 本書等に係る著作権（著作権法第27条及び第28条に係る権利も含みます。）、特許権、商標権その他の権利（以下総称して「知的財産権等」といいます。）は弊社⼜は 第三者に帰属しています。本書等について、弊社の許可なく複製、転⽤等する事は法律で禁⽌されています。また、弊社は、貴社に対し、第三者の知的財産権等につい て何らの許諾をしません。貴社は、本書等について複製、公表、販売、頒布⼜は修正することを禁じられています。 本書等は、弊社から貴社に提供する「秘密情報」に該当します。貴社は、弊社の事前の書⾯による承諾なく、本書等を第三者に対して開⽰⼜は提供することはできませ ん。 本書等は貴社の参考のために提供されるものであり、貴社は⾃らの判断の下に本書等を利⽤するものです。弊社ならびにその役員および従業員は、本書等の利⽤に基づ き貴社が具体的にとった⾏為の結果を含む、貴社の本書等の利⽤によって⼜は本書等に関連して発⽣するすべての損害⼜は損失に関して、⼀切の責任を負いません。ま た、弊社は、本書等においてリンクが設定されている他のサイトの利⽤によって⽣じた損害⼜は損失に関しても、⼀切の責任を負いません。 Ⓒ Akari Inc. l Confidential