わたしの事例紹介

生成AI オンラインハッカソン4 by #protopedia「わたしの事例紹介」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. #生成AI オンラインハッカソン4 by #protopedia わたしの事例紹介 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 10 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. 最近の私の制作物を軸に話します～ 設備制御+AI+xR、位置情報+AI+xR、ローカル LLM に可能性感じてる話あたり
6. OpenAI API 活用 + xR + 音声認識 + 位置情報 扱いやすい AI API をフル活用！
7. XREAL Air で現在地周辺情報探索アプリを 作ってみました HERE Discover API を使って現在地周辺探索をしています
8. XREAL Air は AR 眼鏡デバイスで 話しかけた言葉で検索をかける感じ 東京の飯田橋駅近くでやってみた
9. こんな仕組み XREAL Air が AR モードで動作してAndroid アプリとして位置情報を常に把握。 しゃべると位置情報つき質問が Node-RED に渡され HERE API と ChatGPT API で良い感じに回答します。 Whisper API Node-RED ＋HERE API Unity Android アプリとして位置情報を常に把握 マイク入力 WAV データ 文字 起こし 位置つき 質問 回答
10. XREAL Air からの見え方
11. 他の LLM 活用 + xR + 音声認識 + 設備制御 OpenAI や Genimi や Bing などの前線以外の生成 AI もうまく活用したい
12. Meta Quest 3 による xR からの声から行う 設備制御（照明・エアコン） https://twitter.com/1ft_seabass/status/1773633863396344150
13. こんな感じで設備制御できる
14. Unity 実際の仕組み Meta Quest 3 で音声を取得して Whisper API で文字起こしをしつつ IBM Cloud Code Engine で作った watson.ai API 連携プログラムで帰ってきたオンオフの値を設備制御に命令するイメージ Whisper API IBM Cloud Code Engine ＋ watsonx.ai マイク入力 文字起こし 質問 回答(JSON) Node-RED エアコン 照明 スマートライト社 設備制御
15. ローカル LLM も最近楽しい ローカル LLM で手元でイイ感じに動かして以前からのプロンプトや知見をやってみたい
16. Raspberry Pi でもローカル LLM が動く世界に なってきていて可能性を感じる！ からあげさんの記事 → https://zenn.dev/karaage0703/articles/5fd411a9358898
17. Windows の WSL2 で入れた Ubuntu で Docker + Ollama + llama3 を動かしたメモ https://www.1ft-seabass.jp/memo/2024/05/26/windows-wsl2-ubuntu-docker-ollama-llama3/
18. とはいえ！これを動かしちゃうと マシン負荷がすごくて配信できなくなっちゃう！
19. 別環境で軽量 LLM を使ってみるのも楽しい Raspberry Pi とか GitHub Codespaces とか
20. Raspberry Pi Docker で動く ライブデモやってみます！ tinyllama だとイイ感じに動く！
21. GitHub Codespaces で Ollama をインストール して軽量な TinyLlama を試してみた https://www.1ft-seabass.jp/memo/2024/05/29/github-codespaces-ollama-tinyllama/
22. GitHub Codespaces で動く ライブデモやってみます！ 時間があれば！
23. 先行している扱いやすい生成 AI もありつつ 手元環境を活かした生成 AI も馴染んできてますね 今回のハッカソンも色々なアプローチでぜひお楽しみいただければ！