visionOS 開発向けの MCP / Skills をつくり続けることで XR の探究と学習を最大化

by kazuhiro hara

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

はなすひと原一浩 (Kazuhiro Hara) @kara_d カンソクインダストリーズ代表よりひろいフロントエンド主催 Swift をやり始めたのは ChatGPT 登場以降生粋の Open AI ファン (個人で Pro 課金) Photo by Rin Yano

Slide 4

Slide 4 text

この頃つくっているもの ● Seiro MCP ○ visionOS 向けビルドをサポートして Codex CLI / App の自律的コーディングを補助するツールセット ● Even G1 とブラウザを直接 Web Bluetooth で接続するライブラリ ○ とくに名前はない ○ TypeScript で構築 ○ 以前 LODGE XR Talk Vol.30 にてデモ展示 Photo by Rin Yano

Slide 5

Slide 5 text

質問

Slide 6

Slide 6 text

みなさん、 AIを使った開発でこれがあったら完璧なのにと思う課題もってますか？

Slide 7

Slide 7 text

それが達成したら完璧になると思いますか？

Slide 8

Slide 8 text

LT の構成 ● Seiro MCP でやっていること ● AI ツールを作る先にあるもの ● いまの自分なりの、サイクルをつくろう

Slide 9

Slide 9 text

Seiro MCP でやっていること

Slide 10

Slide 10 text

Seiro MCP について少し ● visionOS 向けの開発をサポートして Codex CLI / App の自律的コーディングを補助する MCP / Skills / CLI ○ Rust ベースで構築 ○ OSS で公開中 (MIT ライセンス) ○ 昨年12月に最初のバージョンをリリース ● もともと似たようなものがあったが、自分の環境では動作しなかった ● 2月に本家からも Xcode MCP が出た ○ まあ、今企画してたら作り始めないかもしれない ● でもおかげで仕様とかも読む興味ができた

Slide 11

Slide 11 text

Seiro MCP について少し

Slide 12

Slide 12 text

Seiro MCP について少し

Slide 13

Slide 13 text

Codex + Seiro MCP で

Slide 14

Slide 14 text

毎日のように Codex + Seiro MCP で UI の実装思索を続けてる

Slide 15

Slide 15 text

AI ツールを作る先にあるもの

Slide 16

Slide 16 text

AI ツールを作るその先にあるもの「これができたら」ができると更に先があることに気づく Seiro MCP の場合… ● 抽象的なエラーが発生するとAIはどうしていいかわからなくなる ○ より詳しいログを掘りにいく ● 同じようなエラーが何度も起き、似たような問題を再解決する ○ これ前もあったような … ● 同じミスを何度もするし、起きるミスは偏りがある ● これらを毎回エラーのたびに行っている ● 解決のノウハウを集約できないものか、が今の課題の一つ

Slide 17

Slide 17 text

エラーを確認できるかはすごく大事 ● ビルド時コンパイルエラー ○ ビルドエラーを AI が捕捉できれば、まずは最初のフィードバックループをクリア ● ビルドの詳細エラーや抽象的エラー ○ 抽象的なエラーやエラーからかけ離れた事象をどう捉えるかは結構課題 ● ランタイムエラー ○ ビルドは正常に出来たのに実行時に発生するエラーというものもある ● ビジュアルエラー ○ ビルドもできて、実行時エラーもないけど、そもそも表示が微妙だったりとか ○ 意図したデザインになっていなかったり

Slide 18

Slide 18 text

Slide 19

Slide 19 text

たぶん、課題はむちゃくちゃある

Slide 20

Slide 20 text

先はまだ長いから …

Slide 21

Slide 21 text

いまの自分なりのサイクルをつくろう

Slide 22

Slide 22 text

いまの自分なりのサイクルをつくろう OSS プロダクトを開発、改修作ったプロダクトをつかって自分のアプリ開発、ちょっとしたこともすぐ実験実験したものは日々発信詰まったらチャンス新しい課題の発見最近ようやくできるようになったプロセスのサイクル自分なりの歩みかたが見えた感じ

Slide 23

Slide 23 text

お互いサバイブしていきましょう細かい話は懇親会などでぜひ聞いてください