生成 AI のインプット・アウトプット している試行錯誤

水曜ワトソンカフェvol.35「生成 AI のインプット・アウトプットしている試行錯誤」の登壇資料です。

◆スライド内の素材は以下を使用させていただいております。ありがとうございます！

・シルエットデザイン http://kage-design.com/
・human pictogram 2.0 http://pictogram2.com
・ICOOON MONO http://icooon-mono.com/
・Adobe Stock https://stock.adobe.com/jp

Transcript

1. 20240710_水曜ワトソンカフェ 生成 AI のインプット・アウトプット している試行錯誤 ワンフットシーバス 田中正吾
2. 私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！
3. 50 分くらいで話します！
4. 田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。
5. 生成 AI 。登場以来、進化が早いですよねー。 かくいう私もどうにか生成 AI とうまく付き合うべく、 自分なりに手を動かしてインプットしつつあれこれ試してアウトプットしています。
6. ➔ IBM watson.ai でのシンプルな新しいモデルの試し方で自 分にインプット ➔ 他の仕組みに馴染ますために JSON データで受け取るプロ ンプトの試行錯誤 ➔ 実際の xR + 設備制御 + watson.ai の事例紹介 ➔ IBM AI モデル Graniteファミリーをオープンソース化で ローカル LLM でも楽しそうな試行錯誤 今日話すこと
7. ➔ IBM watson.ai でのシンプルな新しいモデルの試し方で自 分にインプット ➔ 他の仕組みに馴染ますために JSON データで受け取るプロ ンプトの試行錯誤 ➔ 実際の xR + 設備制御 + watson.ai の事例紹介 ➔ IBM AI モデル Graniteファミリーをオープンソース化で ローカル LLM でも楽しそうな試行錯誤 今日話すこと
8. OpenAI など LLM 系サービス使ってるが 他のクラウドの技術も触りたい 至れり尽くせりの世界も感じつつ、また別のアプローチでも触ることで知っていきたい！
9. AI モデルがいろいろ出てて 楽しそうなので追いたかった https://www.ibm.com/jp-ja/products/watsonx-ai/foundation-models
10. とりあえず試す ここで試せる
11. ひとまず無料で試せるので探索
12. いろいろありつつ入れた模様 ちょっと確定的な手順では記録できなかったけどたどり着いたからヨシ！
13. プロジェクト作成
14. できた
15. プロンプトラボをクリック
16. Watson Machine Learning を作成してプロジェクトに関連付け
17. ようこそ
18. モデルを選べて色々試せるプロンプトラボ
19. AI モデルの様子
20. 日本語が強そうなモデルが！
21. このあたりでリアルタイムデモをしてみます うまくウォンバットを答えてもらおう
22. いろいろ学んだところ
23. トークン数が最初 20 と少なくて すぐ止まることでトークンを意識できた 別サービスでカジュアルに今まで質問しまくってて意識してなかった
24. カジュアルに別リージョンに飛んだりするので 丁寧に対象リージョンに戻る気合い クラウドあるある
25. 素のモデルを触っている感じで 回答ループ症状など見れて楽しい わりと AI モデルの性質のそのままが見れて、使えるように、様々な知見が載っていることを知れる。 「ウォンバットは、オーストラリアの紋章にも登場する」
26. ➔ 他の生成 AI で培ってきた技術感覚を IBM watsonx.ai で は、どのように捉えていくかインプット ➔ 日本語ならではの注意点や、あるある的なつまづきについ ても実際に体験してインプット ➔ もちろん UI の使い勝手や費用感も実感しつつ ポイント IBM watson.ai でのシンプルな新しいモデルの試し方で自分にインプット
27. ➔ IBM watson.ai でのシンプルな新しいモデルの試し方で自 分にインプット ➔ 他の仕組みに馴染ますために JSON データで受け取るプロ ンプトの試行錯誤 ➔ 実際の xR + 設備制御 + watson.ai の事例紹介 ➔ IBM AI モデル Graniteファミリーをオープンソース化で ローカル LLM でも楽しそうな試行錯誤 今日話すこと
28. JSON でうまく受け取りたい IBM watsonx プロンプト・ラボで granite-8b-japanese モデルに質問してオンやオフの JSON データを取得するメモ https://www.1ft-seabass.jp/memo/2024/04/08/watsonx-granite-8b-japanese-model-sample-prompt-json-data/
29. ➔ ChatGPT API でサッとやれていた JSONデータを定義し てうまく返す Function Calling のような手法はやはり必 要になってくる ➔ まだ途上ではあるけれど、やはりプロンプト操り力は大切 そうな実感がインプットできた ポイント 他の仕組みに馴染ますために JSON データで受け取るプロンプトの試行錯誤
30. ➔ IBM watson.ai でのシンプルな新しいモデルの試し方で自 分にインプット ➔ 他の仕組みに馴染ますために JSON データで受け取るプロ ンプトの試行錯誤 ➔ 実際の xR + 設備制御 + watson.ai の事例紹介 ➔ IBM AI モデル Graniteファミリーをオープンソース化で ローカル LLM でも楽しそうな試行錯誤 今日話すこと
31. Meta Quest 3 による xR からの声から行う 設備制御（照明・エアコン） https://twitter.com/1ft_seabass/status/1773633863396344150
32. こんな感じで設備制御できる
33. Unity 実際の仕組み Meta Quest 3 で音声を取得して Whisper API で文字起こしをしつつ IBM Cloud Code Engine で作った watson.ai API 連携プログラムで帰ってきたオンオフの値を設備制御に命令するイメージ Whisper API IBM Cloud Code Engine ＋ watsonx.ai マイク入力 文字起こし 質問 回答(JSON) Node-RED エアコン 照明 スマートライト社 設備制御
34. いろいろ学んだところ
35. Watson Machine Leaning が下地に動いている API として使うときは、ここにつないでいく意識
36. こんな構成
37. 文献があってとてもありがたい！ watsonxのAPIを呼び出せるようになるまで #ibmcloud - Qiita https://qiita.com/katahiro/items/3258cd42226ed82268ac
38. 日本語だとすぐトークン超過しちゃう！ ノリノリで試すと月初 3 日で超過だったかなあ
39. 無料評価版はとてもありがたいが より試すために Essentials にしました IBM watsonx | 料金体系 https://www.ibm.com/jp-ja/watsonx/pricing
40. このあたりが詳しい 結果として Essencial で優しく使って追加料金はかかってないです（個人的感想です） https://www.ibm.com/docs/ja/watsonx/saas?topic=learning-watson-machine-plans
41. ➔ いよいよ今までの知見が組み合わせられるようになってき て楽しくなってきた ➔ と同時に、複合的な組み合わせの大変さはいつも通りある ので、いろいろと試す機会を得つつ試行錯誤 ➔ あとやっぱり日本語でのトークン数は結構多くなるぞーと か、実際の費用感とか見えてきた（安いですけども） ポイント 実際の xR + 設備制御 + watson.ai の事例紹介
42. ➔ IBM watson.ai でのシンプルな新しいモデルの試し方で自 分にインプット ➔ 他の仕組みに馴染ますために JSON データで受け取るプロ ンプトの試行錯誤 ➔ 実際の xR + 設備制御 + watson.ai の事例紹介 ➔ IBM AI モデル Graniteファミリーをオープンソース化で ローカル LLM でも楽しそうな試行錯誤 今日話すこと
43. ローカル LLM も最近楽しい ローカル LLM で手元でイイ感じに動かして以前からのプロンプトや知見をやってみたい
44. Raspberry Pi でもローカル LLM が動く世界に なってきていて可能性を感じる！ からあげさんの記事 → https://zenn.dev/karaage0703/articles/5fd411a9358898
45. Windows の WSL2 で入れた Ubuntu で Docker + Ollama + llama3 を動かしたメモ https://www.1ft-seabass.jp/memo/2024/05/26/windows-wsl2-ubuntu-docker-ollama-llama3/
46. 別環境で軽量 LLM を使ってみるのも楽しい Raspberry Pi とか GitHub Codespaces とか
47. IBM LLM granite-code も動く！ Windows WSL2 Ubuntu + Docker + Ollama で IBM の LLM granite-code を動かしたメモ https://www.1ft-seabass.jp/memo/2024/05/29/windows-wsl2-ubuntu-docker-ollama-ibm-llm-granite-code/
48. GitHub Codespaces で Ollama をインストール して軽量な TinyLlama を試してみた https://www.1ft-seabass.jp/memo/2024/05/29/github-codespaces-ollama-tinyllama/
49. GitHub Codespaces で動く ライブデモやってみます！ 時間があれば！
50. ローカル LLM 楽しんでいたら面白い話が！ IBM が Granite code をオープンソー化して広めていくっていう流れ！おもしろい！ https://research.ibm.com/blog/granite-code-models-open-source
51. Ollama で調べてみたら出てきました！ https://ollama.com/ で調べてみましょう
52. で、あれば granite-code も動きそう
53. granite-code を GitHub Codespaces で動かす ライブデモやってみます！ 時間があれば！
54. ➔ ちょうど生成 AI を触っていて手元でサッと試しにくいと ころにローカルで動かせる LLM が出てきて楽しい。 ➔ なんか IBM の生成 AI も試したいなあと思っていたら、 IBM のオープンソースの取り組みがうまくつながって、自 分の試行錯誤につながった！ ➔ ローカル LLM で IBM の生成 AI も試せることが分かって 色々と発想が広がって楽しい ➔ ここまでちょっとずつ色々試しておいてよかったー ポイント IBM AI モデル Graniteファミリーをオープンソース化でローカル LLM でも楽しそうな試行錯誤
55. ➔ IBM watson.ai でのシンプルな新しいモデルの試し方で自 分にインプット ➔ 他の仕組みに馴染ますために JSON データで受け取るプロ ンプトの試行錯誤 ➔ 実際の xR + 設備制御 + watson.ai の事例紹介 ➔ IBM AI モデル Graniteファミリーをオープンソース化で ローカル LLM でも楽しそうな試行錯誤 今日話したこと こんなことを話しましたー。ふりかえりつつ。
56. エクストラ
57. ➔ 生成 AI は進化が早いがどこかで一度検証しておくと、そ の知見をベースに進化具合や変化の差異が分かりやすい ➔ IBM watsonx.ai でも同様で LLM モデルの性質や日本語で の注意点などが分かると他の日本語 LLM にも応用が利く ➔ クラウド利用の IBM 発の言語モデルを追っていたら最近 はローカルでも動く流れがありオープンソースへの IBM の親和性が体験できて面白い ➔ とりあえず手を動かしておくと次の動きもしやすくなるの でやりつづけていきたい！ まとめ