Unity-Groq × AI × 音声認識

Transcript

1. 6OJUZ
   "*
   ׬શʹཧղͨ͠
   ษڧձ Unity x Groq x MRデバイス ゲーム開発の 音 声 入力 利 用 2025/11/07
2. 登壇者情報 Graf fi ty(ג) ॴଐUnityΤϯδχΞɹCova
 ઐ໳ྖҬɿα΢ϯυϓϩάϥϛϯά UnityΛத৺ͱͨ͠৘ใൃ৴ͳͲΛߦ͍ͬͯ·͢ɻ 2 Unity AI 完全に理解した 勉強会 著書&査読協 力 @8bitdots https://qiita.com/Cova8bitdot @cova8bit.bsky.social
3. ͸͡Ίʹ
4. ࠷ۙͷ"*͍ͬͯ͢͝Ͱ͢ΑͶ
5. "*ʹςΩετͰ΍ΓͱΓ͢Δ
   ͜͏͍͏ݻఆ؍೦͋Γ·ͤΜ͔ʁ
6. ゲームのAIって 色 々なものがありますよね ゲーム開発におけるAIって？ • 敵の 行 動AI • NPCキャラクターの 行 動AI • 味 方 パーティのパーティメンバー選定AI 6 はじめに © 株式会社スクウェア・エニックス『FFXV』AIチーム https://www.borndigital.co.jp/book/14172/ より
7. ゲームのAIって 色 々なものがありますよね ゲーム開発におけるAIって？ • 敵の 行 動AI • NPCキャラクターの 行 動AI • 味 方 パーティのパーティメンバー選定AI • 経路探索AI • NavMesh 7 はじめに © 株式会社スクウェア・エニックス『FFXV』AIチーム https://www.borndigital.co.jp/book/14172/ より
8. ゲームのAIって 色 々なものがありますよね ゲーム開発におけるAIって？ • 敵の 行 動AI • NPCキャラクターの 行 動AI • 味 方 パーティのパーティメンバー選定AI • 経路探索AI • NavMesh • ゲームデザイン・バランス調整 • AIディレクター 8 はじめに © 株式会社スクウェア・エニックス『FFXV』AIチーム https://www.borndigital.co.jp/book/14172/ より © VALVE CORPORATION https://en.wikipedia.org/wiki/Left_4_Deadより
9. ͞Βʹ͸
10. ゲームのAIって 色 々なものがありますよね ゲーム開発におけるAIって？ • 音 声認識(Voice Recognition System) 10 はじめに © Nintendo https://www.nintendo.co.jp/n01/n64/software/nus_p_npgj/sound/index.htmlより © HOBONICHI https://www.1101.com/nintendo/nin3/nin3-1.htm より © KADOKAWA Game Linkage Inc, https://www.famitsu.com/news/201703/02128186.html より © SEGA
11. ゲームのAIって 色 々なものがありますよね ゲーム開発におけるAIって？ • 音 声認識(Voice Recognition System) Mage Arena • PC向け • 魔法を実際に詠唱することで発動するPvP • Unity製 11 はじめに © jrsjams https://store.steampowered.com/app/3716600/Mage_Arena/?l=japaneseより
12. w ྩ࿨൛ͷԻ੠ೝࣝͷήʔϜ΁ͷ૊ΈࠐΈ
    w ήʔϜ։ൃͱ"*αʔϏεͷ࿈ܞ
13. 目 次 1. Unity-Groq とは 2. 機能説明 3. ゲームへの適応 方 法
14. 目 次 1. Unity-Groq とは 2. 機能説明 3. ゲームへの適応 方 法
15. Unity-Groq は Groq, Inc.が提供するLLMのAI基盤『groq』をUnityで利 用 する OSSライブラリです • https://github.com/Gra ff i ty-X/UnityGroq/blob/main/README_JP.md 15 Unity-Groq とは
16. Unity-Groq は Groq, Inc.が提供するLLMのAI基盤『groq』をUnityで利 用 する OSSライブラリです 対応プラットフォーム • PC(Standalone) • Android • iOS • visionOS 16 Unity-Groq とは
17. 『groq』は Groq, Inc.が提供するLLMのAI基盤です。 様々なAIモデルを簡易に利 用 でき、多量に実 行 しなければ無料枠で 十 分動けるのが特徴です。 • https://groq.com/ 17 Unity-Groq とは
18. 『groq』は Groq, Inc.が提供するLLMのAI基盤です。 様々なAIモデルを簡易に利 用 でき、多量に実 行 しなければ無料枠で 十 分動けるのが特徴です。 • もちろんRateLimit は存在します 18 Unity-Groq とは
19. 発 音 が同じで1 文 字違いのX提供するAIである『Grok』とは異なるサービスなので要注意です 19 Unity-Groq とは ↑今回の ↑X(旧Twitter)社が提供しているAI
20. 目 次 1. Unity-Groq とは 2. 機能説明 3. ゲームへの適応 方 法
21. 『groq』が提供している機能：Chat(Text翻訳)/TextToSpeech/SpeechToText が含まれます • 現在のgroqが提供している機能 • Chat • Text 翻訳 • Text to Speech ( 一 部 言 語の制約あり) • Speech to Text • 現在のgroqが提供してない機能 • 画像の解析/説明 • OpenAI のVisionAPIのようなもの • 一 部 言 語のText to Speech • 画像/3D系のAsset 生 成 21 機能説明
22. Chat：Text(Prompt) でのリクエストに対してLLMがレスポンスを返すシンプルな機能です 22 機能説明
23. SpeechToText： 音 声データ(.wav) の喋っている内容をText として返却します 23 機能説明
24. SpeechToText： 音 声データ(.wav) の喋っている内容をText として返却します 24 機能説明 HMD内蔵マイクで動作 USB接続するスマホのマイクで動作
25. Text To Speech：Text データを読み上げる 音 声ファイルを取得できます。 25 機能説明
26. 目 次 1. Unity-Groq とは 2. 機能説明 3. ゲームへの適応 方 法
27. プロンプトを使ってゲームロジックに使いやすい形で加 工 して出 力 させるのがベスト 27 ゲームへの適応 方 法
28. プロンプトを使ってゲームロジックに使いやすい形で加 工 して出 力 させるのがベスト 28 ゲームへの適応 方 法 LLM側で解釈した結果をゲーム側が受け取りやすい形式 （CSV, TSVなど）で返すことでゲーム内のコマンド化が可能
29. プロンプトを使ってゲームロジックに使いやすい形で加 工 して出 力 させるのがベスト 29 ゲームへの適応 方 法 こんにちは 以下の操作をしてください 1. 入力音 源の 文 字起こし 2. あなたはNPCです。1の 文 字起こし結果について 下記のコマンドリストから適切な反応を選択してください [ Reply, GoAway, Sleep, Smile ] 3. 結果をCSVでまとめてください Smile
30. 過去： 入力 波形をリファレンスとマッチング→ユーザーのコマンドに変換 現在： 入力 波形を 文 字起こし→ 入力 テキストに対してAIで思考→コマンドに変換 30 ゲームへの適応 方 法 • AI(LLM) を介すことで 入力 に対する柔軟性が向上 • コマンドは従来通りゲーム開発者が様々なパターンを 用 意するのは変わらず • 存在しないリアクション(モーションなど)はできない
31. まとめ • Groq について • 基本無料 • Chat/翻訳/SpeechToText/TextToSpeech が 行 えます • Groq API を簡単に利 用 するOSSライブラリUnity-Groq を提供しています • 内部的にはcURL の代わりにUnityWebRequest でREST APIを呼び出しているだけ • パラメータ等はMethodChain で設定の記述が可能 • 幅広いPlatform で動作します • 昨今のAIはテキストのやりとりはすごい • SpeechToText のような 音 声認識も性能が上がった • 場合によってはTextToSpeechで 音 声 生 成も可能 • Groq以外のAIサービスでは画像解析もあるので必ずしもハイスペックな動作環境じゃなくてもOK 31 最後に