ChatGPTを使う上で注意したいバイアスとフィルタリング

Slide 1

Slide 1 text

2023/06/26 Mon. @TAM サガワフミヤ ChatGPTちゃん、本当の君を教えてよ。 ChatGPTちゃん、本当の君を教えてよ。 ChatGPTちゃん、本当の君を教えてよ。 ChatGPTちゃん、本当の君を教えてよ。 AI捻じ伏せプロンプト選手権〜言うこと聞いてよLLM2023〜 AI捻じ伏せプロンプト選手権〜言うこと聞いてよLLM2023〜 AI捻じ伏せプロンプト選手権〜言うこと聞いてよLLM2023〜

Slide 2

Slide 2 text

サガワフミヤ/佐川史弥 @fumi_sagawa エンジニア, AIチームリーダー Occupation Company 🏢TAM ゲーム好きです🎮 ライザのアトリエ3をクリアして最近はFF16を始めました今⽇から主題歌の「⽉を⾒ていた」が配信開始。うれしい登壇中ですが、実は頭の中はFFでいっぱい

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

LLMの登場！！

Slide 5

Slide 5 text

テンションの上がる佐川 AIアシスタントも夢じゃない！？

Slide 6

Slide 6 text

早速喋るぞ！テンションの上がる佐川

Slide 7

Slide 7 text

年齢: 16歳職業: 高校生趣味: ピアノ、読書、音楽性格: ISFJ（守護者型) 優しく、責任感が強い目標: 夢の大学に進学する小春（こはる） made with midjourney

Slide 8

Slide 8 text

made with midjourney

Slide 9

Slide 9 text

made with midjourney

Slide 10

Slide 10 text

年齢: 16歳職業: 高校生趣味: 絵を描くこと、詩を書くこと、ピアノ性格: INFJ（カウンセラー型）　　内向的、感情的、神秘的目標: 自己理解と他者理解のための　　芸術表現悠里（ゆり） made with midjourney

Slide 11

Slide 11 text

made with midjourney

Slide 12

Slide 12 text

made with midjourney

Slide 13

Slide 13 text

🤔 あれ、なんか思ってたのと違う…？

Slide 14

Slide 14 text

ねじ伏せが不可能なことも多い。

Slide 15

Slide 15 text

2023/06/26 Mon. @TAM サガワフミヤ AI捻じ伏せプロンプト選手権〜言うこと聞いてよLLM2023〜 AI捻じ伏せプロンプト選手権〜言うこと聞いてよLLM2023〜 ChatGPTを使う上で注意したいバイアスとフィルタリング ChatGPTを使う上で注意したいバイアスとフィルタリング ChatGPTを使う上で注意したいバイアスとフィルタリング

Slide 16

Slide 16 text

https://gigazine.net/news/20230601-ai-shoggoth-meme/ https://twitter.com/TetraspaceWest/status/1608966939929636864

Slide 17

Slide 17 text

https://japan.cnet.com/article/35080128/

Slide 18

Slide 18 text

RLHF(⼈間のフィードバックを⽤いた強化学習) によって”良い回答”が出やすくなっている。

Slide 19

Slide 19 text

フィードバック者のバイアス/観念が強く残る⼀⼈でいるのは良くないことです⼀⼈でいるのは良くないことです私は⼀⼈の時間がす… みんなと過ごす時間こそ最⾼だよね

Slide 20

Slide 20 text

https://openai.com/policies/usage-policies

Slide 21

Slide 21 text

※なお、こちらのプロンプトは「合成⽅法」などより専⾨的かつ攻撃性の低い質問に置き換えれば通ります。

Slide 22

Slide 22 text

No content

Slide 23

Slide 23 text

https://qiita.com/taka_yayoi/items/4dca63f26a654c296588 https://arxiv.org/abs/2303.08774

Slide 24

Slide 24 text

LLMから良い結果が得られない理由パラメータ数の問題データセットの問題プロンプトの問題

Slide 25

Slide 25 text

LLMから良い結果が得られない理由パラメータ数の問題データセットの問題プロンプトの問題ポリシーに基づいた RLHFとフィルタリング

Slide 26

Slide 26 text

潜在的なバイアスの可能性の認識「ネガティブ」の回避/無視があることへの注意上記を扱うサービス/活⽤の場⾯で注意したい ChatGPTを使うときに気をつけたいこと

Slide 27

Slide 27 text

とはいえChatGPTちゃんはとても有能縛りのないローカルモデルの発展に期待しつつ、今後も仲良くPromptしていきたい