ChatGPT ⼊⾨ 2023.04.12 - 社内テクニカルカンファレンス Shumpei Miyawaki keywalker,inc. @catshun_

P.1 • ChatGPT がどんなサービスか簡単に説明できるようになる • ChatGPT の⻑所・短所について理解してよりよい共⽣ができるようになる 本カンファレンスの⽬的 ai.com

いま話題の ChatGPT って何︖ https://trends.google.co.jp/trends/explore?q=ChatGPT 2023.04.12 時点

P.3 https://kigyolog.com/article.php?id=1758 クイズ︓何の数字でしょうか︖

P.4 https://kigyolog.com/article.php?id=1758 クイズ︓何の数字でしょうか︖ ユーザ数が 100 万⼈を達成するのにかかった⽇数 現在は 1 億⼈越え ∑(ﾟДﾟ)

P.5 百聞は⼀⾒にしかず (1/2)

P.6 百聞は⼀⾒にしかず (2/2)

P.7 API 利⽤ https://platform.openai.com/docs/api-reference/authentication

ちょっと余談

P.9 GPT などの対話 AI がどのように展開されていくか︖ 1. 1ターン出⼒ 2. 複数ターン・対話履歴を参照した返し 3. 外部知識資源・ツールの利⽤（Zapier・LangChain） 4. 思考の連鎖による反芻・プロンプトプログラミング 5. マルチモーダル化 6. 発話以外のトリガー（時間・センサ・⼿話） 7. 現実世界・仮想世界との融合、新体制の拡張（XR・HCI） ☕ 妄想︓⼤規模⾔語モデルの⾼次利⽤

P.10 ☕ GPT-4 によるマルチモーダル化 GPT-4: この画像のユーモアは、 ⼤きくて時代遅れの VGA コネクタを、 ⼩さくて最新のスマホ充電ポートに 差し込むという不条理からきています。 この画像のどこが⾯⽩いか説明してください 以下の論⽂を要約してください。 グルジアと⻄アジアにおける1⽇あたりの⾁の平均消費量の合計は？

P.11 ☕ API 利⽤ × ハードウェア IUUQTUXJUUFSDPNKBWTUBUVT T ChatGPT API × Holo Lens https://youtu.be/nkcKaNqfykg ChatGPT API × GateBox

正しい使い⽅をしよう 畠⼭⽒（Microsoft）- ChatGPT Impact – その社会的/ビジネス価値を考える (2023) https://speakerdeck.com/dahatake/bizinesujia-zhi-wokao-eru

P.13 • ChatGPT API 以外の対話ログは学習に使⽤される → 記憶した情報が他⼈に渡ってしまう • API では 30 ⽇間保存されたのち削除される（機密情報を他社 API に⼊⼒しないのは常識） • Azure OpenAI API やローカル環境で動作可能な⾔語モデルを使⽤する選択肢もある • サムスン、機密情報を ChatGPT にリークして⼤問題に • 機密コードをコピーして⽋陥のある機器の修正プログラムを依頼 • 会議⾳声をチャットボットに投げて、議事録の作成を試みた 機密情報を 絶対に ⼊⼒しない https://openai.com/policies/terms-of-use

P.14 • ChatGPT は 平気で嘘をつく（嘘であっても、尤もらしい単語列であれば出⼒する） 懐疑的な⼼を持とう

P.15 https://arxiv.org/abs/2202.03629 • ⼼理学⽤語としての定義 a percept, experienced by a waking individual, in the absence of an appropriate stimulus from the extracorporeal world ⽬覚めている個⼈が、体外世界からの適切な刺激がないときに経験する知覚 • ⾔語⽣成においては２種類に⼤別される • intrinsic hallucination ⽣成された⽂章が参照元の内容と⽭盾している • extrinsic hallucination ⽣成された⽂章が（たとえ事実でも）参照元の内容からは事実判定ができない • Response Classification Taxonomy (Dziri+’22, NAACL) では … 原⽂に存在する情報に起因しない個⼈的な意⾒、経験、感情、リアリティに対する内部評価なども該当している https://arxiv.org/abs/2204.07931 ☕ Hallucination 図2. キャプション⽣成における object hallucination 画像から 確認不可 画像とは ⽭盾する

P.16 • サービスによって出⼒の利⽤許諾や出⼒データの知財が異なる • 専⾨家に相談しましょう（知識不⾜のため割愛） • STORIA法律事務所+’23 - ⼤規模⾔語モデル（LLM）に関連するビジネスを展開する際に留意すべき法規制・知的財産権・契約 https://storialaw.jp/blog/9239 知財について確認しておこう

ChatGPT の何がスゴいのか︖

P.18 • 圧倒的に ⾼性能* な対話システム • ⾃然⾔語を介した使いやすいユーザインターフェース ChatGPT の何がすごいのか︖ *⾃然性・話題提供・話題追随といった観点で⾼性能 安宅教授（慶應義塾⼤学 / Zホールディングス）- これからの⼈材育成を考える / 今後の教育課程、学習指導及び学習評価等の 在り⽅に関する有識者検討会 (2023) https://www.mext.go.jp/content/20230328-mxt_kyoiku01-000028726_02.pdf

P.19 • ⾼度情報処理技術者試験 (午前I) に合格 https://r-kurain.hatenablog.com/entry/2023/04/10/165730 • ⽶国医師免許試験（USMLE）で合格ライン https://www.microsoft.com/en-us/research/publication/capabilities-of-gpt-4-on-medical-challenge-problems/ • 司法試験の模擬試験に合格 https://arxiv.org/abs/2303.08774 ☕ GPT-4 はどれくらい賢いの︖

P.20 • パラメータ数が⼤きいほど⾼性能なモデルが作れる • GPT-3 は Web コーパスで事前学習。175B パラメータ。学習に数億〜数⼗億円。 ☕ スケール則 GPT-4 (100 T?) 松尾教授（東京⼤学）- AI の進化と⽇本の戦略 / (2023) https://note.com/akihisa_shiozaki/n/n4c126c27fd3d

P.21 ☕ ChatGPT の学習⽅法 松尾教授（東京⼤学）- AI の進化と⽇本の戦略 / (2023) https://note.com/akihisa_shiozaki/n/n4c126c27fd3d 真実性・無害性・有益性 の三つの観点で評価

P.22 • NLP2023 緊急セッション「ChatGPT で⾃然⾔語処理は終わるのか」 • 4/10 OpenAI CEO が⾃⺠党 AI プロジェクトで講演 https://note.com/akihisa_shiozaki/n/n4c126c27fd3d • ⼤学でも ChatGPT を含む⽣成 AI に対する⾒解を表明 • 利⽤上の注意点、教員はどう対応するべきか 社会への影響⼒ https://utelecon.adm.u-tokyo.ac.jp/docs/20230403-generative-ai https://olg.cds.tohoku.ac.jp/forstudents/ai-tools#h.l1wfiwq045m

P.23 ChatGPT を使えば ((何でも)) 出来そうだ ٩( ᐛ )و 松尾教授（東京⼤学）- AI の進化と⽇本の戦略 / (2023) https://note.com/akihisa_shiozaki/n/n4c126c27fd3d

ChatGPT の本質は ⾔語モデル であり、 何でも解決してくれる訳ではない

P.25 • ChatGPT は「過去の⽂脈 に基づいて 次の単語 を予測している」にすぎない ChatGPT ∈ ⾔語モデル ⽇本のスマホは ... • デザインが豊富 • ⾼すぎる • 品質が⾼い 尤もらしい選択

P.26 • ChatGPT は「過去の⽂脈 に基づいて 次の単語 を予測している」にすぎない ChatGPT ∈ ⾔語モデル ⽇本のスマホは ... • デザインが豊富 • ⾼すぎる • 品質が⾼い ⽶倉さんが仲間になりたそうに こちらを⾒ている。 追加 尤もらしい選択

P.27 • ChatGPT は「過去の⽂脈 に基づいて 次の単語 を予測している」にすぎない ChatGPT ∈ ⾔語モデル ⽇本のスマホは ... • デザインが豊富 • ⾼すぎる • 品質が⾼い ⽶倉さんが仲間になりたそうに こちらを⾒ている。 追加 尤もらしい選択 望ましい出⼒をしてくれるかは、 我々がきちんと指⽰を書けるかで決まる

P.28 ☕ ワイゼンバウム症候群 • ChatGPT がヤバすぎる︕ という “プロの驚き屋” が作成した記事が氾濫 • ⽬にする機会が多くなり段々と嫌になってくるという ChatGPT 疲れ が⼀部で発⽣ • 有識者からのご意⾒ • パターンマッチを⾃動的に獲得しているにすぎない • 確かに⾔語モデルでここまで出来るのかという驚きはある 清⽔+’23 - コンシューマサービスとしてのAI / ⽇本ディープラーニング協会 - JDLA緊急企画︕「⽣成AIの衝撃」〜 ChatGPTで世界はどう変わるのか︖ 〜 (2023) https://www.youtube.com/live/TVaB5R4-uOE?feature=share

P.29 ☕ オッカムの剃⼑ • ある事柄を説明するには、必要以上に多くを仮定するべきではない → 同程度にデータを説明できるのであれば、より単純なモデルにするべき • Entities should not be multiplied unnecessarily. 実体（存在）は、むやみに増やされるべきでない • Plurality should not be posited without necessity. 不要に複数の仮定を⽴てるべきではない • It is pointless to do with more than what can be done with less. より少ないことでできること以上のことをやるのは無意味だ

ChatGPT でどうやって価値を⽣み出すか︖

P.31 ChatGPT サービスの氾濫 852 件 2023.04.12 現在

P.32 • ChatGPT を使いこなせない⼈は ⼤勢 いる • ↪ ⾃分のやりたいことをロジカルに⾔語化できる⼈が少ない • ↪ ChatGPT への最適な⼊⼒形式が分からない • ↪ UI や細かい技について詳しくない • ↪ 結局 ChatGPT について知らないと顧客ニーズへの転移は難しい 顧客ニーズへの介⼊余地 エンジニアに求められる能⼒ 顧客の要望を正しく⾔語化して⽬的タスクに落とし込む

P.33 https://www.linkedin.com/pulse/framework-evaluating-generative-ai-use-cases-barak-turovsky • ChatGPT が作成した記事が増えていく → 情報の正確性が重要視 • 顧客ニーズは少なくとも ①創造性 ②正確性 ③リスク の観点から正しく理解しよう 情報の正確性が重要視される社会に 創造性 正確性 致命的でない QA プレゼン作成 ビジネスメール 意思決定における データサポート 買い物の広告 旅⾏代理 レビュー記述 ブログ作成 挨拶作成 ポエム作成 絵本作成 作詞 リスク ⾼ 低 データ依存で介⼊困難 = ビジネスチャンス

ChatGPT を使いこなしたい⼈へ プロンプトデザインの紹介

P.35 • ChatGPT は 賢い部下として丁寧かつ明瞭なプロンプトを与えるとよい（諸説あり） • OpenAI+’23 - Best practices for prompt engineering with OpenAI API https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-openai-api • ChatGPT 研究所+’23 - 敬語による ChatGPT の驚くべき変化︕プロンプトの本質に迫る https://chatgpt-lab.com/n/nd8dde92016ec • note+’23 - あなたの仕事が劇的に変わる!? チャットAI使いこなし最前線 https://youtu.be/ReoJcerYtuI ☕ 適切な出⼒を得るためのプロンプトデザイン # 命令書: あなたは[プロの編集者]です。 以下の制約条件と⼊⼒⽂をもとに[最⾼の要約]を出⼒してください。 # 制約条件: • ⽂字数は300⽂字ていど。 • ⼩学⽣にもわかるように。 • 重要なキーワードを取り残さない。 • ⽂章を簡潔に。 # ⼊⼒⽂： [⼊⼒⽂章] # 出⼒⽂： 深津式プロンプトシステムの例 ChatGPT は「テキストの続きを予測する」⾔語モデルであり ⾏間・⾔外の意味を読むことはあまり得意ではない 丁寧かつ明瞭なプロンプトを与えることが有効である もう少し丁寧に⾔うと「対象タスクの特定性* を上げる」ことが重要 （参考）murawaki+’23 – ChatGPT 雑感 / はてなblog https://rekken.hatenablog.com/entry/20230331/1680245944#f-1e1682c0 *問題となっている名詞が具体的に指している対象を話し⼿が頭に思い浮かべているかどうかを表す概念 • 「〇〇 の専⾨家として〜」といったロールプレイ • 丁寧かつ明瞭な指⽰や制約条件 • 敬語による問いかけ

P.36 • 変数やコマンドを⽤いてプロンプトを記述する • (参考) ChatGPTのPromptDesign AIを使いこなす技術。初級編 https://youtu.be/6hCPb7jX8VM • (参考) ChatGPTのプロンプトデザインって何だ︖ / soy software http://soysoftware.sakura.ne.jp/archives/3691 ☕ テンプレートによるプロンプトデザイン [@HaveShun]

P.37 • タスクごとに設計していたプロンプトを ⼀般化できるように発展 • 曖昧な⼊⼒に対して、 内部の中間推論過程で補完し変数の⾒直しを⾏う • (参考) マジ!?ChatGPTでプロンプトを作成するプロンプトを作成しました!! https://youtu.be/kgfjzIJGD2k • (参考) ChatGPTのプロンプトデザインって何だ︖ / soy software http://soysoftware.sakura.ne.jp/archives/3691 ゴールシークプロンプト [@HaveShun]

P.38 ☕ オブジェクト指向型プロンプト [@ochyai] https://twitter.com/ochyai/status/1637965411575791616?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7 Ctwterm%5E1637965411575791616%7Ctwgr%5Ecd2caadfe96a382fc8531fe2d50ea1756b44c55d%7Ctwcon%5 Es1_c10&ref_url=https%3A%2F%2Fnote.com%2Fdaichi_mu%2Fn%2Fnb881b4073d30 • (参考) だいち+’23 - 落合陽⼀さんのツイートを勝⼿に考察 / note https://note.com/daichi_mu/n/nb881b4073d30

P.39 プロンプトデザインの限界 創造性の壁 パラメータ数 知的⽣産性 正解のない社会的問題 正解のある問題 LSTM BERT GPT-3 GPT-* • 強化学習 • 思考の連鎖 • 外部知識資源 • UI 相転移 清⽔+’23 - コンシューマサービスとしてのAI / ⽇本ディープラーニング協会 - JDLA緊急企画︕「⽣成AIの衝撃」〜 ChatGPTで世界はどう変わるのか︖ 〜 (2023) https://www.youtube.com/live/TVaB5R4-uOE?feature=share

LangChain を使⽤した開発 https://trends.google.co.jp/trends/explore?q=langchain 2023.04.12 時点

P.41 • ChatGPT ... ⾃然⾔語を⼊⼒して尤もらしい応答を返す • w/ LangChain ... ⾃律駆動型エージェント として機能する • 思考の連鎖 エージェントが思考を反芻できるようになった • 外部知識資源との連携 エージェントが実世界の情報を取得できるようになった LangChain • 質問から抽出したキーワードで Web 検索を⾏い、記事の情報に基づいて応答できる • メールが届いたら要約・返信案を slack に流し、OK スタンプを押すと返信する • 報告書を共同で作成し、また期限が近づいたら進捗状況に応じてリマインドする • など 何ができるの︖

P.42 LangChain を⽤いた際の推論過程 (ReAct) Olivia Wilde ͷ෉͸ Harry Styles Ͱ͢ɻ ൴ͷ೥ྸʹ 0.23 ৐ͨ͠஋͸ 2.15... Ͱ͢ɻ 0MJWJB8JMEFͷ෉͸୭ʁ ൴ͷ೥ྸʹ ৐ͨ͠஋͸Կʁ 思考・⾏動・観測を繰り返す

P.43 • 25 ⼈のエージェントを箱庭に住まわせる研究 • 各エージェントが「⽬覚め、朝⾷を作り、仕事に向かう」⾏動をすることを観測 • アーティストは絵を描き、作家は⽂章を書くことも観測 ☕ ⾃律駆動型エージェント [Park+’23] パーティーを開きたいと提案 ２日間に渡り招待状を配る。 新しい知人を作る。 パーティーへのデートに誘う。 適切な時間にパーティーに現れる。 エージェントの⾏動を観測

keywalker 社員によるお試し *チェリーピッキング であることに注意 *他社員の成果物については同意を得ていないため省略

P.45 ChatGPT の簡単なデモ（宮脇）

P.46 ChatGPT ×スクレイピング（⼭中さん） タスク説明+HTML を⼊⼒した結果 スクレイピング元のサイト 実行結果

P.47 レビュー⽂からの情報抽出（⽥代）

P.48 ニュース記事からの情報抽出（宮脇） 各地で相次いだ広域強盗事件で「ルフィ」などと名乗り犯⾏を指⽰した疑いがある4⼈のうち、 今村磨⼈（38）、藤⽥聖也（38）両容疑者について、警視庁は28⽇、特殊詐欺事件に絡む窃盗 容疑で再逮捕した。残る 渡辺優樹（38）、⼩島智信（45）両容疑者も3⽉1⽇に窃盗容疑で再逮 捕する⽅針。 広域強盗事件では、ルフィの他に「キム」や「ミツハシ」を名乗る指⽰役が浮上。警視庁は4⼈ が拘束されていたフィリピンの⼊管施設で押収されたスマートフォンなどの解析を進め、関連 を調べている。 捜査関係者によると、今村、藤⽥両容疑者は仲間と共謀し2019年4〜11⽉、 ⾦融庁職員 に成り済まして 埼⽟県と東京都の⾼齢⼥性 からキャッシュカードを盗み、数百万 円ずつを引き出した疑いが持たれている。 警視庁によると、4⼈の特殊詐欺グループによる 被害額は全国で60億円以上に上るとみられる。警視庁はフィリピンから強制送還された4⼈を特 殊詐欺事件に絡む別の窃盗容疑で逮捕していた。 • “被害者 と 加害者 を抽出してください” と指⽰ 被害者ではない

P.49 ロールプレイ型ブレインストーミング（宮脇） https://www.keywalker.co.jp/blog/tech-ai-chatgpt-roleplay-00.html

P.50 プロンプトプログラミング（⽥代） 実⾏結果

P.51 任意ページからの情報抽出（宮脇） • AI を⽤いた情報抽出システムの試作 #00 / keywalker blog https://www.keywalker.co.jp/blog/tech-ai-openqa-2023.html リクエスト

P.52 画像処理との組み合わせ（宮脇） • Visual ChatGPT を踏襲した視覚ツールの利⽤ / keywalker blog https://www.keywalker.co.jp/blog/tech-ai-chatgpt-visual-tools.html ⼊⼒：画像に写っている料理が⾷べられる港区のレストラン（Google 評価 3.5 以上）を教えて •（4.5）Burger Revolution Tokyo Wine & Bar 六本⽊店 •（4.5）Wagyu to Worldwide •（4.2）つばめグリル •（3.7）ザ・ステーキハウス •（4.2）Authentic •（4.4）Munchʼs Burger Shack キャプション⽣成 +

P.53 Tableau QA（⼭本，⼩林，宮脇）

P.54 Tableau QA（⼭本，⼩林，宮脇） 続き (JU)VCΛ༻͍ͨμογϡϘʔυͷόʔδϣϯ؅ཧʹ͍ͭͯ

P.56 Drive QA（柳瀬，宮脇） google drive 疑似的に作成 問い合わせ 問い合わせ結果を 参照して回答

まとめ

P.59 まとめ • ChatGPT について紹介した • 圧倒的に⾼性能な対話システム • ⾃然⾔語を介した使いやすいインターフェース • 正しい使い⽅をしよう • 機密情報は絶対に⼊⼒しない • 懐疑的な⼼を持とう • 知財について確認しておこう • 顧客ニーズへの介⼊余地 • 顧客の要望を正しく⾔語化して⽬的タスクに落とし込む能⼒を養おう • 今後は情報の信頼性が重要視される • LangChain を⽤いた⾃律駆動型エージェント • 思考の連鎖による反芻が可能になった • 外部知識資源と連携することで実世界の情報にアクセス出来るようになった

P.60 • 鈴⽊教授（東北⼤学）- ChatGPT 周辺のファクト（⽤語・技術・課題）/ ⾔語処理学会 緊急セッション (2023) Coming soon … • ⿊橋教授（京都⼤学）- ChatGPT の仕組みと社会へのインパクト / NII 教育機関 DX シンポ (2023) https://www.nii.ac.jp/event/upload/20230303-04_Kurohashi.pdf • NTT ⼈間情報研究所 – NLP と Vision-and-Language の基礎・最新動向 (1) / DEIM Tutorial Part 1: NLP (2023) https://speakerdeck.com/kyoun/deim-tutorial-part-1-nlp • 松尾教授（東京⼤学）- AI の進化と⽇本の戦略 / (2023) https://note.com/akihisa_shiozaki/n/n4c126c27fd3d • 横井助教（東北⼤学）- ChatGPT と⾃然⾔語処理 / ⾔語の意味の計算と最適輸送 / Workshop OT (2023) https://speakerdeck.com/eumesy/chatgpt-and-intro-of-ot-for-nlp • 岡崎教授（東京⼯業⼤学）- ⼤規模⾔語モデルの脅威と驚異 (2023) https://speakerdeck.com/chokkan/20230327_riken_llm • ⽇本ディープラーニング協会 - JDLA緊急企画︕「⽣成AIの衝撃」〜 ChatGPTで世界はどう変わるのか︖ 〜 (2023) https://www.youtube.com/live/TVaB5R4-uOE?feature=share 参考

P.61 • 安宅教授（慶應義塾⼤学 / Zホールディングス）- これからの⼈材育成を考える / 今後の教育課程、学習指導及び学習評価等の 在り⽅に関する有識者検討会 (2023) https://www.mext.go.jp/content/20230328-mxt_kyoiku01-000028726_02.pdf • 畠⼭⽒（Microsoft）- ChatGPT Impact – その社会的/ビジネス価値を考える (2023) https://speakerdeck.com/dahatake/bizinesujia-zhi-wokao-eru • 蒲⽣⽒（Microsoft）- ⼤規模⾔語モデルで変わる ML システム開発 / (2023) https://speakerdeck.com/hirosatogamo/da-gui-mo-yan-yu-moderudebian-warumlsisutemukai-fa • 今井⽒（東京⼤学） - ChatGPT ⼈間のフィードバックから強化学習した対話AI (2023) https://speakerdeck.com/imai_eruel/chatgpt-imai • 吉⽥研（東京⼤学）- ChatGPT・AI の教育関連情報まとめ (2023) https://edulab.t.u-tokyo.ac.jp/chatgpt-ai-resources/ • Yu+’23 - Nature Language Reasoning, A Survey https://arxiv.org/abs/2303.14725 • Prompt Engineering Guide https://www.promptingguide.ai/jp 参考