20241113_AIミーティング

AIミーティング 2024/11/13「OpenAI 画像認識で手書き指示でIoT カーが動かせた話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20241113_AIミーティング OpenAI 画像認識で手書き指示で IoT カーが動かせた話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. ゆるいメカトロ車（ゆるメカー）が ありまして遠隔操作ができます 進む・戻る・左右に回る・止まる・メロディを奏でる
6. ホワイトボードに指示を描いてボタンを押すと カメラが撮影して ChatGPT で指示生成
7. ↑＝前　↓＝後　←＝左回り　→＝右回り ×＝止まる　〇＝メロディを奏でる
8. 同じ Wi-Fi （ローカルネットワーク）内で 指揮をしている Raspberry Pi と Node-RED が活躍
9. おおまかな仕組み ホワイト ボード Node-RED OpenAI 画像認識 撮影 画像 指示(JSON) 動く指示
10. 押したら動きます！ 動画を見てみましょう
11. ライブデモもやってみます！
12. がんばったところ
13. 20240814_AIミーティング で 研究したことが活用できた ホワイト ボード Node-RED OpenAI 画像認識 撮影 画像 指示(JSON) 動く指示
14. 全体の Node-RED のフロー
15. プロンプト
16. プロンプト 矢印（↑↓→←）なしでも結構判断するけど、あるとより確実になった。丸とかバツがまだ弱い。
17. Function Calling 設定
18. Function Calling 設定 これで steps という配列に direction で指示が入ってます。JSON Schema 規格で書ける。
19. カメラの読み込む仕組み
20. エクストラ 時間があれば ➔ JSON Schema の規格準拠はサイトがあって分かりやす かった ◆ https://json-schema.org/ ➔ 1st バージョンはホワイトボードを立てると下部のスイッ チが押されて・・・という仕組みだったが難しかった ➔ 1 日くらいイベント使ってもすごくお金がとられるという 感じではなくて可能性は感じる ➔ 実は幼稚園の参観日（親が園児に参観される日）の出し物 でチャレンジしようと思ってます！
21. ➔ OpenAI ChatGPT の画像認識 Vision と Function Calling の合わせ技で描いた指示もイイ感じに読み取れた ➔ その指示 JSON を良い感じに IoT カーの遠隔操作に使え て楽しいインターフェースになりそう ➔ ホワイトボードの描き文字というやわらかい入り口をうま く作ってくれる生成 AI のアプローチに可能性を感じる！ まとめ