AI真乃さんとLLMの発展 2024/10/08 しょうゆ(@shsub)

お断り ここから話す内容は所属する会社とは関係なく、個人の意見になります

自己紹介 名前：しょうゆ 　非IT業のITエンジニア・マネージャ(クラウド、データエンジニアリング) 経歴：(モバ ->) ラブライブ！(Aqours, …) -> シャニ -> デレ/AS/ミリ-> 蓮 -> 学 担当： 　シャニ：真乃初めとするイルミネ 　デレ：　卯月、凪、愛梨 　AS：　　美希 　ミリ：　歌織さん 学マス：補修組(広、千奈、佑芽), 　　　　　中の人だと薄井さん 蓮：　　スリーズブーケ

最近の活動 初心公演の前日

まとめ LLMの発展は早く、半年で事前学習が必要だったものが不要になってきている 少し前はGPT‐3.5、GPT‐4、今ならClaude3.5、Gemini、半年後には別のが これらをうまくつかうと擬人エージェントが簡単に作れる

その前に：ノーベル物理学賞さん・・ なお化学賞もAlphaFoldで 機械学習

ニューラルネットワークとは？ https://www.sbbit.jp/article/cont1/33345#&gid=null&pid=1 コンピュータ上で脳の動きっぽく振る舞う仕組み。Deep Learningの原点

Hopfield先生：ホップフィールド型ネットワーク(連想記憶ニューラルネットワーク)の産み の親 ホップフィールド型ネットワーク：全てのノードは結合。重みwijで情報が伝播

Hinton先生：ホップフィールドネットワークに確率を取り入れた、ボルツマンマシンの産み の親 2012年にHinton先生のチームがAlexNetという多層ニューラルネットで圧倒的な精度の 高さを叩き出し、画像認識界隈がDeep Learningに傾倒していった https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

なんでこんな話をしてるのか？ ニューラル ネット ホップフィールド ネットワーク (制限付き)ボルツマ ンマシン Deep　 Learning … Transformer (Deep Learningの文字生成 に適用したものの一種 ) ChatGPT (GPT=Generative Pre-trained Transformer) Transformerを発展させたものに、対話 型のUIを付けたもの

今日の話 ChatGPTで星井美希を 降臨された方が存在 https://x.com/yakionigiri765/status/1644863737252421632

設定用プロンプト 2023年時点では事前に設定を 大量に入れておく必要があった https://x.com/yakionigiri765/status/1644863737252421632/photo/1 やきおにぎり氏のプロンプト

今年の8月 京都で961のライブがあり参加 Day1に、やきおにぎり氏と会話 「最近私が触っている Claude3.5ならもっと精度良 く出せるんじゃ？」 https://idolmaster-official.jp/live_event/re/

Day2の朝 Claude3.5で試す

Day2の朝 Claude3.5で試す

！！

No content

No content

！！！！

Claude(https://claude.ai/ )とは ● ChatGPTを作ったOpenAI社の一部メンバーが独立して作った会社のサービス ● 今年になってClaude(特に3 Opusや3.5 Sonnet)がGPT-4を超える精度を出している(以降 抜きつ抜かれつ) ● GPT-4に比べ、入力として与えられる文字数が多い (GPT-4は32000トークン、Claude3.5 Sonnetで20万トークン程度) ● ChatGPTも含め、大量の言語データを学習して生成するので、Large Language Model(LLM)と呼ばれる　(LLMは他にはGoogleのGemini、FacebookのLlama。日本だと llm-jpとかswallow, サイバーや富士通の等)

やきおにぎり氏版との違い 2023年当時：事前情報の入力が重要 今：(学習範囲が広がっているのか)何も事前に入れなくて も演じられるようになってしまった ( 実はClaudeだからできるようになったわけでなく、最 近の学習データがアイマスの情報を拾っているだけの 話 実際ChatGPT4に橘ありすの話を投げても返ってくる (右図) )

ここまで来たら作りますよね (これをRe:FLAMEのDay2開演前にロームシアター前で実 装) さっき整理したのをpushしました https://github.com/showyou/ai_mano_san

驚いた例

プロンプトを送る際のコツ 今日の天気や発動する際の時刻、イベントなどがあればそれをプロンプトに加えるべ き。 例：f’これからあなたは”アイドルマスター シャイニーカラーズの櫻木真乃”になりきってく ださい。ただし今日の天気は{weather}, 今の時刻は{time}時です。今日のイベントは次 の通りです{events}’

LLMの制約 モデルの学習には大量の時間が必要 現在提供されているモデルも、最新の学習データは2024/04(2024/10/08時点)

最新データが2024/04ということは・・ 学園アイドルマスターは当然認知していない(リリースが5月なので)

でも学マスの広島夜公演で・・

https://www.club-quattro.com/sp/hiroshima/floor/ 学マス初心公演@広島・夜

https://www.club-quattro.com/sp/hiroshima/floor/ 学マス初心公演@広島・夜 花岩 さん 伊藤 さん 薄井 さん

学マスの広島夜公演で 莉波に脳を焼かれたので作ってみた お姉ちゃん、３曲目来るなんて聞いてないよ・・

この際のプロンプトはこちら

No content

LLMの制約2 ClaudeのオフィシャルのAPIは、登録時のクレジットを使ったら決済手段の登録が必要 この際税番号を入れる必要があるが、日本の場合この番号はマイナンバー 自分はよくわかんないサービスにマイナンバー打ち込みたくないので、AWSのBedrock からClaudeを呼ぶことで回避 (価格も同じみたい)

まとめ LLMの発展は早く、半年で事前学習が必要だったものが不要になってきている みんなもLLMに担当の名前入れてみよう ただし細かい状況などはプロンプトで与えてあげる必要があり、そこのチューニングがリ アリティの差になりそう また仮に作品内の文章が生成された場合、その文章の著作権などは問題になりそうな ので注意 ソースコード：https://github.com/showyou/ai_mano_san

おまけ：Re:FLAME開演前に美希 で作ったメール

おまけ2 (2)　10月19日（土）開催 
 「ちくせい花火大会2024」 
 大会を盛り上げるため、スペシャルコラボミュージッ クスターマインの打ち揚げに加え、アンバサダーの 星井美希による場内アナウンスを行います！
 筑西市公式ページより https://www.city.chikusei.lg.jp/page/page011575.html

参考資料 1. “FOR FOUNDATIONAL DISCOVERIES AND INVENTIONS THAT ENABLE MACHINE LEARNING WITH ARTIFICIAL NEURAL NETWORKS” 2. https://aics.riken.jp/labs/cms/workshop/20170322/presentation/yasuda.pdf 3. https://speakerdeck.com/kaityo256/introduction-of-rbm?slide=7 4. ホップフィールドネットワークとボルツマンマシン 5. Claude 6. 基盤モデルによる生成 AI アプリケーションの構築 - Amazon Bedrock 7. https://okumuralab.org/~okumura/python/claude_api.html 8. Anthropic Claude - Prompt Design大全 #AWS - Qiita 9. https://otona-life.com/subject/167447/

スケジュール？ 月日 イベント 2024/11/10(日) ミリオン11th Day2 2024/12/01(日) 学マス初心公演梅田 (延期) SideMファンコン 2025/01/11(土) シャニXRライブDay1 2025/02/01(土) 961 Re:FLAME追加公演

スケジュールのブッキング 月日 イベント 2024/11/10(日) ミリオン11th Day2 だまゆBDライブ 2024/12/01(日) 学マス初心公演梅田 (延期) SideMファンコン 蓮ノ空3rdスリーズブーケ 2025/01/11(土) シャニXRライブDay1 蓮ノ空3rd Day2 2025/02/01(土) 961 Re:FLAME追加公演 ラブライブ！アジアツアー Day1