AI真乃さんとLLMの発展

AI真乃さんとLLMの発展 2024/10/08 しょうゆ(@shsub)

お断りここから話す内容は所属する会社とは関係なく、個人の意見になります

自己紹介名前：しょうゆ　非IT業のITエンジニア・マネージャ(クラウド、データエンジニアリング) 経歴：(モバ ->) ラブライブ！(Aqours, …) -> シャニ ->
デレ/AS/ミリ-> 蓮 -> 学担当：　シャニ：真乃初めとするイルミネ　デレ：　卯月、凪、愛梨　AS：　　美希　ミリ：　歌織さん学マス：補修組(広、千奈、佑芽), 　　　　　中の人だと薄井さん蓮：　　スリーズブーケ

最近の活動初心公演の前日

まとめ LLMの発展は早く、半年で事前学習が必要だったものが不要になってきている少し前はGPT‐3.5、GPT‐4、今ならClaude3.5、Gemini、半年後には別のがこれらをうまくつかうと擬人エージェントが簡単に作れる

その前に：ノーベル物理学賞さん・・なお化学賞もAlphaFoldで機械学習

ニューラルネットワークとは？ https://www.sbbit.jp/article/cont1/33345#&gid=null&pid=1 コンピュータ上で脳の動きっぽく振る舞う仕組み。Deep Learningの原点

Hopﬁeld先生：ホップフィールド型ネットワーク(連想記憶ニューラルネットワーク)の産みの親ホップフィールド型ネットワーク：全てのノードは結合。重みwijで情報が伝播

Hinton先生：ホップフィールドネットワークに確率を取り入れた、ボルツマンマシンの産みの親 2012年にHinton先生のチームがAlexNetという多層ニューラルネットで圧倒的な精度の高さを叩き出し、画像認識界隈がDeep Learningに傾倒していった https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

なんでこんな話をしてるのか？ニューラルネットホップフィールドネットワーク (制限付き)ボルツマンマシン Deep　 Learning …
Transformer (Deep Learningの文字生成に適用したものの一種 ) ChatGPT (GPT=Generative Pre-trained Transformer) Transformerを発展させたものに、対話型のUIを付けたもの

今日の話 ChatGPTで星井美希を降臨された方が存在 https://x.com/yakionigiri765/status/1644863737252421632

設定用プロンプト 2023年時点では事前に設定を大量に入れておく必要があった https://x.com/yakionigiri765/status/1644863737252421632/photo/1 やきおにぎり氏のプロンプト

今年の8月京都で961のライブがあり参加 Day1に、やきおにぎり氏と会話「最近私が触っている Claude3.5ならもっと精度良く出せるんじゃ？」 https://idolmaster-official.jp/live_event/re/

Day2の朝 Claude3.5で試す

！！

！！！！

Claude(https://claude.ai/ )とは • ChatGPTを作ったOpenAI社の一部メンバーが独立して作った会社のサービス • 今年になってClaude(特に3 Opusや3.5 Sonnet)がGPT-4を超える精度を出している(以降抜きつ抜かれつ) •
GPT-4に比べ、入力として与えられる文字数が多い (GPT-4は32000トークン、Claude3.5 Sonnetで20万トークン程度) • ChatGPTも含め、大量の言語データを学習して生成するので、Large Language Model(LLM)と呼ばれる　(LLMは他にはGoogleのGemini、FacebookのLlama。日本だと llm-jpとかswallow, サイバーや富士通の等)

やきおにぎり氏版との違い 2023年当時：事前情報の入力が重要今：(学習範囲が広がっているのか)何も事前に入れなくても演じられるようになってしまった ( 実はClaudeだからできるようになったわけでなく、最近の学習データがアイマスの情報を拾っているだけの話実際ChatGPT4に橘ありすの話を投げても返ってくる (右図)
)

ここまで来たら作りますよね (これをRe:FLAMEのDay2開演前にロームシアター前で実装) さっき整理したのをpushしました https://github.com/showyou/ai_mano_san

驚いた例

プロンプトを送る際のコツ今日の天気や発動する際の時刻、イベントなどがあればそれをプロンプトに加えるべき。例：f’これからあなたは”アイドルマスターシャイニーカラーズの櫻木真乃”になりきってください。ただし今日の天気は{weather}, 今の時刻は{time}時です。今日のイベントは次の通りです{events}’

LLMの制約モデルの学習には大量の時間が必要現在提供されているモデルも、最新の学習データは2024/04(2024/10/08時点)

最新データが2024/04ということは・・学園アイドルマスターは当然認知していない(リリースが5月なので)

でも学マスの広島夜公演で・・

https://www.club-quattro.com/sp/hiroshima/floor/ 学マス初心公演@広島・夜

https://www.club-quattro.com/sp/hiroshima/floor/ 学マス初心公演@広島・夜花岩さん伊藤さん薄井さん

学マスの広島夜公演で莉波に脳を焼かれたので作ってみたお姉ちゃん、３曲目来るなんて聞いてないよ・・

この際のプロンプトはこちら

LLMの制約2 ClaudeのオフィシャルのAPIは、登録時のクレジットを使ったら決済手段の登録が必要この際税番号を入れる必要があるが、日本の場合この番号はマイナンバー自分はよくわかんないサービスにマイナンバー打ち込みたくないので、AWSのBedrock からClaudeを呼ぶことで回避 (価格も同じみたい)

まとめ LLMの発展は早く、半年で事前学習が必要だったものが不要になってきているみんなもLLMに担当の名前入れてみようただし細かい状況などはプロンプトで与えてあげる必要があり、そこのチューニングがリアリティの差になりそうまた仮に作品内の文章が生成された場合、その文章の著作権などは問題になりそうなので注意ソースコード：https://github.com/showyou/ai_mano_san

おまけ：Re:FLAME開演前に美希で作ったメール

おまけ2 (2)　10月19日（土）開催   「ちくせい花火大会2024」   大会を盛り上げるため、スペシャルコラボミュージックスターマインの打ち揚げに加え、アンバサダーの星井美希による場内アナウンスを行います！  筑西市公式ページより https://www.city.chikusei.lg.jp/page/page011575.html

参考資料 1. “FOR FOUNDATIONAL DISCOVERIES AND INVENTIONS THAT ENABLE MACHINE
LEARNING WITH ARTIFICIAL NEURAL NETWORKS” 2. https://aics.riken.jp/labs/cms/workshop/20170322/presentation/yasuda.pdf 3. https://speakerdeck.com/kaityo256/introduction-of-rbm?slide=7 4. ホップフィールドネットワークとボルツマンマシン 5. Claude 6. 基盤モデルによる生成 AI アプリケーションの構築 - Amazon Bedrock 7. https://okumuralab.org/~okumura/python/claude_api.html 8. Anthropic Claude - Prompt Design大全 #AWS - Qiita 9. https://otona-life.com/subject/167447/

スケジュール？月日イベント 2024/11/10(日) ミリオン11th Day2 2024/12/01(日) 学マス初心公演梅田 (延期) SideMファンコン
2025/01/11(土) シャニXRライブDay1 2025/02/01(土) 961 Re:FLAME追加公演

スケジュールのブッキング月日イベント 2024/11/10(日) ミリオン11th Day2 だまゆBDライブ 2024/12/01(日) 学マス初心公演梅田 (延期)
SideMファンコン蓮ノ空3rdスリーズブーケ 2025/01/11(土) シャニXRライブDay1 蓮ノ空3rd Day2 2025/02/01(土) 961 Re:FLAME追加公演ラブライブ！アジアツアー Day1

AI真乃さんとLLMの発展

AI真乃さんとLLMの発展

show you

More Decks by show you

Other Decks in Technology

Featured

Transcript