Upgrade to Pro — share decks privately, control downloads, hide ads and more …

GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話

GPT-3.5 Turbo をファインチューニングして自分のクローンを作った話

Yuto Takamune

November 28, 2023
Tweet

More Decks by Yuto Takamune

Other Decks in Programming

Transcript

  1. GPT-3.5 Turbo をファインチューニングして
    自分のクローンを作った話
    TOGATTA SERVER LT Vol.5
    しんぶんぶん

    View full-size slide

  2. 自己紹介
    ● 名前: しんぶんぶん
    ● 所属: 会津大学学部3年
    ● Twitter: @shinbunbun_, @4fa19623
    ● LINE API Expert / seccamp ’23 / Cybozu labyouth 13th
    ○ セキュキャン: 分散合意ゼミ(Raft)
    ○ ラボユース: CRDTを使ったP2P分散データベースの開発

    View full-size slide

  3. 突然ですがみなさん、自分のクローン作りたくないですか?

    View full-size slide

  4. クローンを作るとこんなに良いことが!
    ● 突然死んでも大丈夫!(諸説)
    ● 自分自身と会話することでメタ認知が進む!(諸説)

    View full-size slide

  5. ほな作るかー

    View full-size slide

  6. レシピ
    ● X(Twitter)のツイートアーカイブ少々
    ● Python少々
    ● “圧倒的財力”(嘘)
    ○ 実験には100ドル以上かかった

    View full-size slide

  7. で、作り方は??

    View full-size slide

  8. 全ての叡智がここに!!
    TOGATTA SERVER
    TECHBOOK VOL.1
    1冊 1000円
    https://techbookfest.org/product/rqa
    UJGEBP4Gkmexq8v0unS

    View full-size slide

  9. ということで、作り方は解説しません(カス)

    View full-size slide

  10. 簡単に手法を解説
    ● まずTwitterのアーカイブをとってくる
    ● アシスタント側の発話にツイートをぶち込んでファインチューニングする
    これだけ!簡単!!!

    View full-size slide

  11. そして生まれた化け物がこちら

    View full-size slide

  12. 鍵垢のツイートも全部放り込んだらだいぶ思想強めになりました😇

    View full-size slide

  13. 感想
    ● 鍵垢の思想強めなツイートをたくさん放り込んだので、思想強めなことを返してくる
    ようになった
    ● 支離滅裂な回答をすることが多いけど、たまにめちゃめちゃ面白いことを言ってくる
    のとても好き
    ● 化け物を生み出してしまった...の気持ち

    View full-size slide

  14. 今後の展望
    ● 最近GPT4もファインチューニングできるようになったらしいので試したい
    ● shinbunbunGPTを埋め込んだGPT墓石を作って突然の死に備えたい

    View full-size slide