GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話

Transcript

1. GPT-3.5 Turbo をファインチューニングして 自分のクローンを作った話 TOGATTA SERVER LT Vol.5 しんぶんぶん
2. 自己紹介 • 名前: しんぶんぶん • 所属: 会津大学学部3年 • Twitter: @shinbunbun_, @4fa19623 • LINE API Expert / seccamp ’23 / Cybozu labyouth 13th ◦ セキュキャン: 分散合意ゼミ（Raft） ◦ ラボユース: CRDTを使ったP2P分散データベースの開発
3. 突然ですがみなさん、自分のクローン作りたくないですか？
4. クローンを作るとこんなに良いことが！ • 突然死んでも大丈夫！（諸説） • 自分自身と会話することでメタ認知が進む！（諸説）
5. ほな作るかー
6. レシピ • X（Twitter）のツイートアーカイブ少々 • Python少々 • “圧倒的財力”(嘘) ◦ 実験には100ドル以上かかった
7. で、作り方は？？
8. 全ての叡智がここに！！ TOGATTA SERVER TECHBOOK VOL.1 1冊 1000円 https://techbookfest.org/product/rqa UJGEBP4Gkmexq8v0unS
9. ということで、作り方は解説しません（カス）
10. 簡単に手法を解説 • まずTwitterのアーカイブをとってくる • アシスタント側の発話にツイートをぶち込んでファインチューニングする これだけ！簡単！！！
11. そして生まれた化け物がこちら
13. 鍵垢のツイートも全部放り込んだらだいぶ思想強めになりました😇
14. 感想 • 鍵垢の思想強めなツイートをたくさん放り込んだので、思想強めなことを返してくる ようになった • 支離滅裂な回答をすることが多いけど、たまにめちゃめちゃ面白いことを言ってくる のとても好き • 化け物を生み出してしまった...の気持ち
15. 今後の展望 • 最近GPT4もファインチューニングできるようになったらしいので試したい • shinbunbunGPTを埋め込んだGPT墓石を作って突然の死に備えたい