Share
Embed
Transcript
52 slides
-
デモ: ショップアシスタントAI モデルの出力(Markdown) tions.addToCart}>カートに入れる</Button> </CardBody> </Card> ``` ほかの候補も見たい場合は **お気軽にどうぞ**。 ```ui+jsx
<Row> <Button variant="ghost" onClick={action s.showCheaper}>もっと安いもの</Button> <Button variant="ghost" onClick={action s.showWireless}>完全ワイヤレス</Button> </Row> ``` 画面 ご要望に合いそうなヘッドホンを見つけまし た。 Aurora ワイヤレスヘッドホン 在庫あり ノイズキャンセリング搭載のオーバーイヤ ー型。 バッテリーは最大30時間持ちます。 ¥24,800 4.8 価格 評価 1284 レビュー カートに入れる ほかの候補も見たい場合は お気軽にどうぞ。 もっと安いもの 完全ワイヤレス -
UIのストリーミングの問題 UI定義は、ただのテキストとは 異なり、構造を持つ。 どうストリーミングする? (UI定義JSONの一部が中途半端に届いていても 意味をなさない) { "root": "card", "state":
{ "chartData": [ { "label": "Mon", "value": 12 }, { "label": "Tue", "value": 28 }, { "label": "Wed", "value": 19 }, { "label": "Thu", "value": 34 }, { "label": "Fri", 15 -
既存手法の例: json-render Vercelが開発しているGenerative UI フレームワーク。 ストリーミングモードでは、JSON Patchの列で 徐々に組み上がるUIを表現する。 {"op":"add","path":"/root","value":"root"} {"op":"add","path":"/elements/root","value":{"type":"Card","props":{"title":"Dash
{"op":"add","path":"/elements/metric-1","value":{"type":"Metric","props":{"label" {"op":"add","path":"/elements/metric-2","value":{"type":"Metric","props":{"label" 16 -
json-renderのデモ 受信したSpecStream(JSONL) ["price","rating","reviews"]}} {"op":"add","path":"/elements/price","val ue":{"type":"Stat","props":{"label":"価 格","value":"¥24,800"},"children":[]}} {"op":"add","path":"/elements/rating","va lue":{"type":"Stat","props":{"label":"評 価","value":4.8},"children":[]}} {"op":"add","path":"/elements/reviews","v
alue":{"type":"Stat","props":{"label":"レ ビュー","value":1284},"children":[]}} {"op":"add","path":"/elements/button","va lue":{"type":"Button","props":{"label":"カ ートに入れる","variant":"primary"},"on":{"p ress":{"action":"addToCart"}},"children": []}} 画面 Aurora ワイヤレスヘッドホン 在庫あり ノイズキャンセリング搭載のオーバーイヤ ー型。バッテリーは最大30時間持ちます。 ¥24,800 4.8 価格 評価 カートに入れる 1284 レビュー -
デモ: 同じUIを並べてストリーミング ingenui JSX 0.0 441 / 441 文字 受信テキスト
秒 json-render SpecStream (JSONL) 0.0 1,355 / 1,355 文字 } 入 / 受信テキスト 入 , p y }, </CardBody> </Card> n":{"press":{"action":"addToCart"}},"chil dren":[]}} 画面 画面 Aurora ワイヤレスヘッドホン 在庫あり Aurora ワイヤレスヘッドホン 在庫あり ¥24,800 4.8 価格 評価 ¥24,800 4.8 価格 評価 ノイズキャンセリング搭載のオーバーイヤ ー型。 バッテリーは最大30時間持ちます。 カートに入れる 1284 レビュー ノイズキャンセリング搭載のオーバーイヤ ー型。バッテリーは最大30時間持ちます。 カートに入れる 1284 レビュー 秒 -
デモ: パーサーが返すReactツリー 受信したJSX ノイズキャンセリング搭載のオーバーイヤー 型。 React 要素ツリー 新しく作られた要素 <Card> <CardHeader>
バッテリーは最大30時間持ちます。 </Text> <Row> <Stat label="価格" value="¥24,800" / > <Stat label="評価" value={4.8} /> <Stat label="レビュー" value={1284} / > </Row> <Button variant="primary" onClick={ac tions.addToCart}>カートに入れる</Button> </CardBody> </Card> <Title> "Aurora ワイヤレスヘッドホン" <Badge tone="success"> "在庫あり" <CardBody> <Text> "ノイズキャンセリング搭載のオーバーイヤー型。 バ ッテリーは最大30時間持ちます。" <Row> <Stat label="価格" value="¥24,800" /> <Stat label="評価" value={4.8} /> <Stat label="レビュー" value={1284} /> <Button variant="primary" onClick= {ƒ addToCart}> "カートに入れる" -
結果: UIのトークン数 ingenui(JSX) 商品カード ダッシュボード プロフィール 注文状況 天気予報 料金プラン比較 メンバー一覧
障害レポート json-render(SpecStream) 250 285 236 248 712 397 340 548 496 881 718 788 749 1,196 1,008 1,694 −65% −68% −67% −69% −67% −68% −34% −66% -
結果: その他の数値(入出力関連) ingenui(JSX) json-render(SpecStream) システムプロンプト −74% 出力トークン(平均) −70% 1,570 427
6,032 1,439 応答時間(中央値) −67% 1リクエストの料金 −71% 1.6 秒 $0.38 / 1000回 4.7 秒 $1.33 / 1000回 Haiku 5.5(effort: low)、8種類のUI × 20回ずつ -
結果: 成功率 モデル Haiku 5.5(思考なし) Haiku 5.5(effort: low) Sonnet 5.5(effort:
low) Opus 5.5(effort: low) ingenui 96% 153/160 100% 160/160 100% 40/40 100% 40/40 json-render 99% 158/160 99% 158/160 98% 39/40 100% 40/40 UIを正しく出力できた割合。どちらもほぼ100%。 34 -
失敗の例 ingenui: コンポーネン json-render: ない型を トの仕様を誤解する 作る ( value="1.2%" が正解)
{"type":"member-list", …} <Stat label="解約率" value={1.2} /> 方式の問題というよりプロンプトの書き方の範疇 か。 35 -
仮説の検証 • 文字数効率(出力): JSXはトークン数約64%減 → 時間・料金も約3分の1 • 成功率: 差は見られず システムプロンプトはjson-renderが4倍くらい
長いので、JSXのほうがAIが書き慣れていると言え なくもないかも? 36 -
デモ: ingenuiのメッセージ(再掲) モデルの出力(Markdown) tions.addToCart}>カートに入れる</Button> </CardBody> </Card> ``` ほかの候補も見たい場合は **お気軽にどうぞ**。 ```ui+jsx
<Row> <Button variant="ghost" onClick={action s.showCheaper}>もっと安いもの</Button> <Button variant="ghost" onClick={action s.showWireless}>完全ワイヤレス</Button> </Row> ``` 画面 ご要望に合いそうなヘッドホンを見つけまし た。 Aurora ワイヤレスヘッドホン 在庫あり ノイズキャンセリング搭載のオーバーイヤ ー型。 バッテリーは最大30時間持ちます。 ¥24,800 4.8 価格 評価 1284 レビュー カートに入れる ほかの候補も見たい場合は お気軽にどうぞ。 もっと安いもの 完全ワイヤレス -
デモ: 問題のフィードバック モデルの出力(Markdown) 今週のレポートです。 ```ui+jsx <Card> <Title>今週のアクセス</Title> <Row> <Stat label="訪問者"
value={9320} /> <Stat label="登録" value={signups} /> </Row> <Chart data={weekly} /> <Button onClick="alert(1)">詳細</Button> </Card> ``` 画面 今週のレポートです。 今週のアクセス 9320 訪問者 登録 詳細 ⚠ 4 件の問題 → モデルへのフィードバック block 1: Unknown variable reference {signups} block 1: Unknown variable reference {weekly} block 1: Unknown component <Chart> block 1: Invalid prop "onClick" on <Button>: expected function (a predefined variable reference), got string Your last message had problems in its `ui+jsx` blocks. The UI may have i -
まとめ: Generative UIフレームワークの 概観 • ワイヤーフォーマットの整備 • ui+jsx ブロック(ingenuiの場合) •
プロンプト類の提供 • 会話サイクルの制御 • アクションによる返答 • サーバーでの割り込みエラー処理 51 -
まとめ: みなさんができること • ingenuiでGenerative UIを実践してもいい • https://github.com/uhyo/ingenui • JSXというアイデアを活かして独自の Generative
UIフレームワークを作ってもいい • AI時代の良いUXについて考えたい 52