20250115_XRミーティング

20250115_XRミーティング「Meta Quest 3 と Azure AI Foundry の Whisper と ChatGPT をつないでみた話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20250115_XRミーティング Meta Quest 3 と Azure AI Foundry の Whisper と ChatGPT をつないでみた話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. Meta Quest 3 のマイク入力を Whisper で 文字起こしして ChatGPT に回答してもらう仕組み もともとは Open AI のほうの Whisper と ChatGPT の API で構築してた Open AI Whisper API Open AI ChatGPT API Unity マイク入力 WAVデータ 文字起こし 質問 回答
6. Meta Quest 3 のマイク入力から Azure AI Foundry の Whisper と ChatGPT をつなげた！ Azure AI Foundry Whisper Azure AI Foundry ChatGPT Unity マイク入力 WAVデータ 文字起こし 質問 回答
7. 以前のソースから Open AI 実装から Azure AI Foundry に改修できた記事も公開 https://www.1ft-seabass.jp/memo/2025/01/10/unity-with-azure-ai-foundry-whisper-model-and-gpt4o-model/
8. 実際に動く様子
9. ライブデモします！
10. いろいろ学んだところ
11. API の置き換え方は比較的シンプルでよかった Whisper と ChatGPT 各エンドポイントと API キーの伝え方を置き換えれば動く
12. 結構待たされるかなと思ったら OpenAI API に近いレスポンスの速さがある
13. OpenAI 側が調子悪い時には Azure AI Foundry に 差し替える使い方ができそう
14. ➔ Meta Quest 3 と Azure AI Foundry の Whisper と ChatGPT をつないで OpenAI API と同じように動かせた ➔ OpenAI API がたまに調子が悪いときがあり展示や登壇に 小リスクは感じてたので二重に対策できるのはうれしい ➔ 生成 AI へのアクセスや付け替えが XR デバイスや Unity でもカジュアルにできるようになってきていて楽しい ➔ 生成 AI での文字起こしとチャット応答の連携まわりは 日々より良いアプローチが出ているので試していきたい！ まとめ