Food Virtualizationへの挑戦

VRChatエンジニア集会 第0回ハッカソン発表資料

Transcript

1. Food Virtualizationへのチャレンジ🍽 2024.3.3🎎 うえぞう@うな技研 第0回エンジニア集会ハッカソン
2. ⾃⼰紹介 うえぞう うな技研 代表／プログラマー LINEヤフー認定 LINE API Expert ⾦融DXコンサルタント ⾼校卒業後に単⾝上京。バリスタの⾒習いをしながら独学でプロ グラミングを習得。 その後⾦融業界に転⾝し、三井住友海上と三菱UFJ銀⾏にて各種 デジタルトランスフォーメーション案件をリード。現在はテクノ ロジー企業にて⾦融機関向けのコンサルティングに従事するほか、 総務省地⽅公共団体経営・財務マネジメント強化事業にてDX分野 のアドバイザーを務める。近年は⽣成AIとXR関連技術を活⽤した AIアシスタントの開発や書籍・記事の執筆等を中⼼に活動。 uezo @uezochan uezo uezo
3. ChatGPTに関する書籍を執筆しました ベストセラー1位 amazon 表計算ソフトカテゴリー 2023年9⽉7⽇時点 l Excel上で動作する対話型のアシスタントツールの作成 l アンケート回答⼀覧から重要なキーワードと聴講者の要 望を⼀括で抽出 l 問い合わせを分類し、内容に応じて商品在庫の確認など を⾃動化 l 1つの製品を元に、その競合製品を⽐較した表を⾃動⽣成 l 複数のWebページの情報を要約してワークシートに転記 l マニュアルの内容など事実に基づいたQ&Aやコンテンツ の作成 ＼次世代の⽣産性Hack／ ChatGPT API×Excel VBAで業務を徹底的に効率化！ ✅ChatGPT APIがゼロからわかる ✅Excelと組み合わせて⾝近な業務に役⽴てられる ✅応⽤テクニックで業務全体を⾃動化できる ChatGPTを現場で⾃ら活⽤することにこだわり抜いた内容です。考え⽅から実践的テクニッ クまでこれ⼀冊で幅広く網羅。 業務担当者やデジタル担当者、エンジニアなどあらゆる⽅々にお役⽴ていただけます！ l ChatGPTを使った⼤量データの処理 や業務⾃動化の⽅法を知りたい⼈ l ChatGPTのより便利な活⽤⽅法を知 りたい⼈ l Excel VBAを実務で使っていて、 ChatGPTと組み合わせる⼿法を知り たい⼈ l ChatGPT APIを使ってみたい⼈ ▼本書で解説している内容の⼀例 ▼このような⽅におすすめ 詳細 / Amazon商品ページ https://www.amazon.co.jp/dp/429501768X
4. 五感による知覚の割合 l ⼈の情報⼊⼒における割合は、視覚が全体の8割以上を占めるといわれている* l したがって「⾷」の体験全体の仮想化に際しても他の知覚に優先して仮想化すべきと考える のが合理的 視覚 83.0% 聴覚 11.0% 嗅覚 3.5% 触覚 1.5% 味覚 1.0% ⾒た⽬が全く別の⾷べ物（0.0%）で あっても視覚の仮想化によりわず かにそれっぽさを実現することで、 理論上は味覚を完全再現した場合 と同等の効果が得られる。 *1972 年出版の「産業教育機器システム便覧」が出典としては代表的らしいですが、そんなに科学的根拠があるわけでもないっぽい？です
5. 今回チャレンジした題材 仮想メロン Virtual Melon 仮想うに Virtual Uni
6. 仮想メロン 味覚の仮想化 Virtual Melon Architecture Overview l きゅうりを実体とし、視覚の仮想化にAR技術、味覚の仮想化にはちみつを⽤いる はちみつ 視覚の仮想化 AR技術 きゅうり
7. 仮想うに 味覚の仮想化 Virtual Uni Architecture Overview l プリンを実体とし、視覚の仮想化にAR技術、味覚の仮想化にしょうゆを⽤いる l Uniは名称的にUnityと似ているため相乗効果が期待できる しょうゆ 視覚の仮想化 AR技術 プリン
8. Demo https://youtu.be/kkdvbCQwNUo
9. 視覚の仮想化 l 物理きゅうり上に拡張現実としてメロンを表⽰することで視覚の仮想化を実現 l UnityによりiOS上で動作するARアプリケーションとして実装
10. 味覚の仮想化 l きゅうりにはちみつをかけることでメロン味をエミュレート l マヌカハニー⼊りのはちみつを使⽤
11. 仮想うに l 仮想メロン同様にAR技術を⽤いて視覚を仮想化 l プリンにしょうゆをかけてウニの味をエミュレート
12. 検証結果と課題 lきゅうりにはちみつをかけてもメロンにはならなかったし、プリ ンにしょうゆをかけてもうににはならなかったが、はちみつきゅ うりは結構おいしかった lオブジェクト追従への対応が未済なため、⾷べる時は物理実体が ⾒えてしまった。⽬を閉じることで視覚情報をシャットアウトし て暫定対応 lはちみつがたくさん余っているので使い道についてオススメある かたは教えてください🙏
13. Thank you👋 うえぞう @うな技研 VRChat: uezo / cluster: uezo / X: @uezochan / GitHub: @uezo