20241218_XRミーティング

20241218_XRミーティング「Whisper API の Text to speech と Meta Quest 3 の連携で声が語りかけてくる仕組みができた話」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20241218_XRミーティング Whisper API の Text to speech と Meta Quest 3 の連携 で声が語りかけてくる仕組みができた話 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. Whisper API の Text to speech と Meta Quest 3 の連携で声が語りかけてくる仕組み https://x.com/1ft_seabass/status/1868897505876099507
6. ということでライブデモ
7. がんばったところ
8. 一番参考になったのははなちるさんの記事！ 再生させる CreateAudioClip 部分はそのまま参考になったくらい。感謝。 WAV からの音のデータの取り出しは今回の事情に合わせてうまくつないだところは自分でがんばりました～ https://www.hanachiru-blog.com/entry/2022/08/01/120000
9. さまざまなエラーに遭遇したけど ChatGPT とディスカッションして突破できた これは今回特有の事情という感じなので、記事はめっちゃ助かってます！
10. データが不正みたいな話もでるけど 私はそれは違う気がするなあという会話 発想の視野が広がったりヒントがあればいいよね
11. こんな話とかもありましたね 地道なデータチェックとか
12. ナレッジもまとめました https://www.1ft-seabass.jp/memo/2024/12/18/whisper-api-text-to-speech-getting-wav-data-play-in-unity/
13. ➔ いままで録音して WAV データを送るのはできていたけ ど、WAV データを XR 内で再生するのができた！ ➔ Whisper API わりと日本語も良くしゃべってくれる。まる で語りかけてくるような面白さがあるので、他にもいろい ろと使えそう！ ➔ 一度やってみないと分からないことは多くうまく実装でき た時はやっぱりうれしい！ ➔ 声をつくるサービスは色々あるので他にもつなぎたい！ ➔ ひきつづき語りかけてくる仕組みも磨いていきたい！ まとめ