#10 生成AIは社会(とそれを研究する社会科学)にどのような影響を与えるか？

生成AI関係は技術的進歩に関する話題は勿論のこと、並行して社会的変化も起きて来ている。これを示す例として、生成AI関係の応用関連論文をテーマ別に分類した研究がある。これによると、「社会科学」の比率は20%と非常に高く、2位になっている（因みに1位は医療）。社会全体への包括的影響を社会科学的に探索するニーズが急激に高まっていることを示していると思われる。このようなことから、本稿は「社会科学系」の論文がどんな内容か？何故多いのか？を紐解いてみることにする。

Transcript

1. 1 B-frontier 研究所 高橋 浩 生成AIは社会(とそれを研究する社会科学) にどのような影響を与えるか？
2. 自己紹介 - B-frontier研究所代表 高橋浩 著書： 「デジタル融合市場」 ダイヤモンド社(2000),等 • 略歴： • 元富士通 • 元宮城大学教授 • 元北陸先端科学技術大学院大学 非常勤講師 • 資格：博士(学術)(経営工学) • 趣味/関心： • 温泉巡り • 英語論文の翻訳 • それらに考察を加えて情報公開 • 主旨：“ビジネス(B)の未開拓地を研究する” • SNS： hiroshi.takahashi.9693（facebook) ＠httakaha（Twitter）
3. 目的 出典:SS Sohail et al., Decoding ChatGPT: A taxonomy of existing research, current challenges, and possible future directions, 2023 • ChatGPT 絡みの研究で社 会科学に関する論文の比率 は非常に高い(20%で第2位)。 • これらの論文でどのような テーマが扱われているかを 知ることは社会への影響を 考える重要な指針になる。 • そこで、その内容の探索を 本稿の目的とする。
4. 目次 4 I. はじめに II. 社会科学のためのAI III. AIの社会科学 IV. 人間とAIの連携 i. 事例１ ii. 事例２ iii. 人間とAIの適切な連携に向けて
5. 5 • 生成AIは重大な欠陥があるにも関わらず（あるいはそれだから こそ）状況によっては人間に成りすますと考えることができる。 • 生成AIが人間に成りすました場合、明らかに害を及ぼす可能性 があるが、同じ機能が社会科学者にとって研究に役立つ可能性 もある(下記）。 • 社会科学の実験（投票行動、世論調査、採用判断、‥）で人間の回答 者の特定の行動や感情を生成AIを使って成りすます、など • 大規模な人間募集が必要な実験の場合、生成AI活用でコスト削減、倫 理問題（プライバシーなど）を上手く回避、など • 生成AIは潜在的に無限の時間対応が可能なことも便利である。 ChatGPTによる社会科学の機会 Ⅰ.はじめに
6. 6 新たな機会に向けた質問リストの例 社会科学関係の質問 社会一般に係わる質問 質問１： 生成AIは仮想的な 研究アシスタント が可能か？ 質問２： 生成AIは社会科学 論文レビューが可 能か？ 質問３： 生成AIは人間の偏見 を明らかにするか？ 質問４： 生成AIがバイアスを 示す傾向は「バグ」 と考えるべきか？ 質問５： 生成AIは誤った情報 を拡散させるか？
7. 7 • 米国の選挙で選ばれた議員の公式声明を分析することで、そのイデオロ ギーを正確に分類することができたとの報告がある。 • 信頼性を正確にコード化し、タグ付け訓練を受けたAmazon Mechanical Turk労働者より優れたパフォーマンスが発揮できたとの報告がある。 • 評価：仮想研究アシストとして機能する可能性はあるが、今の所、その 精度やタスクの幅の広さ、効率は人間より低い。 質問１：生成AIは仮想的な研究アシスタントが可能か？ 質問２：生成AIは社会科学論文レビューが可能か？ • 現状：ChatGPT以前に文献のネットワーク化はかなり進んでいる(例： Web of Science, SCOPUS、など)。 • 将来への期待：生成AIによって科学地図作成能力が拡張されるとの期待は あるが、現在はまだ不明 • 最近の試行：ほとんど失敗している(失敗例：MetaのGaoptica、Google のBARD、など） • 失敗の背景：生成AIは学術文献を要約できるほど信頼のできるものではな かった。 • 当面の可能性：生成AIは直ぐに活用できるほど有能な論文アドバイザーで はないが、一緒に考えるツールとしては期待できる。
8. 8 • インターネット上には人間によって作成された大量の偏見に満ちた情報が 蔓延している。 • これらの情報をトレーニングに使用している生成AIがバイアスを持つのは 謂わば当然である。 • これを逆手に取って生成AIをバイアスの規模と方向性を評価する一つの方 法として利用する取組みがある(例：中絶, 銃規制, 等に関する回答の分析）。 質問３：生成AIは人間の偏見を明らかにするか？ • 偏見まみれのデータをトレーニングに使用している以上、バイアスは当 然なので、生成AIをバイアスの「リバースエンジニアリング」として役立 てることは可能かもしれない。 • しかし、現実の生成AIがトレーニングプロセスやRLHF(人間を利用した強 化学習)プロセスを非公開にしているので、簡単な作業ではない。 • RLHFプロセスなどによるガードレールの設定は生成AIの安全性を向上さ せているが、社会学者が研究目的でバイアスを利用しよう、あるいはバ イアスの傾向を探ろうとする場合には目的を妨げる可能性がある。 質問４：生成AIがバイアスを示す傾向は「バグ」と考えるべきか？
9. 9 • 悪意のある攻撃者が生成AIを使って誤った情報を拡散させるリスクはある。 • 短期的にはさまざまな設定によって対抗できる可能性はあるが、長期的 には潜在的問題を引き起こす可能性が高い。 • 例：学術誌や資金提供機関は生成AIによって作成された低品質の「ジャ ンクサイエンス」によって圧倒されるかもしれない。 • このような攻撃に対し、データに「ウォーターマーク」など防御の手 段も登場しているが、あらゆる生成AIでの実装は困難か？ • これらへの対応のため、規制が奨励される可能性があるが万能とは言え ない。 • 既に生成AIのオープンソース化は進んでおり、膨大な数の小規模LLM が登場する方向にある。 質問５：生成AIは誤った情報を拡散させるか？
10. 10 • 現在、社会は生成AIがもたらす重大な影響を目の当たりにしている。 • ChatGPT等の生成AIは自然言語を理解し複雑なタスクを処理する強 力な能力で、投資家、消費者、企業の想像力を捉え、チャンス活用 に向けた熱情をかきたてている。 • 生成AIの進化は速く、潜在的影響は深刻であるため、その影響を理 解するには学際的レンズが必要である。 • そのレンズの中核はコンピュータを活用した社会科学であろう。 • このような背景から社会科学に係わる論文比率が高いと推定する。 • そこで、この問題に対して次の2側面に焦点を当てた検討を試みる。 ◆社会科学研究者のAI活用に焦点を当てた「社会科学のためのAI」 ◆AIの知識レベルや特性を社会科学分野毎に取り上げた「AIの社会科 学」 以上のような事例から社会科学とAIの関係性を考えると・・・
11. 11 「社会科学のためのAI」と「AIの社会科学」のビジョン 研究の目的 • 費用対効果が高く、迅速かつ 倫理的リスクを回避して、人 間社会の法則を研究 • AI自体の行動法則、特に人間 社会の法則と異なる側面に焦 点を当てて調査することで、 人間社会の法則を研究
12. 12 • 生成AIの優れた機能とパフォーマンスは社会科学研究全般に向けて 効果的ツールとして機能するはずである。 • そのような場合、研究者が適切なツールを選択するガイドラインを 提供するのは有益である。 ・・このような方向性が「社会科学のためのAI」 • 一方、今日のAIは、既にAIエージェント自身が社会的存在として調 査の対象になり始めている。 • 特に生成AIは、人間と同等あるいはそれ以上の認知能力、論理的推 論、言語能力を示しており、このようなAIエージェントによって構 成されるコミュニティは人間社会と同様の創造的行動を示している。 • そこで、AI開発を社会ニーズや人間の価値観の洞察の指針として提 供できる可能性がある。 ・・このような方向性が「AIの社会科学」 ビジョンの解説
13. 13 社会科学とAIの交差点の整理
14. 14 • 下図のように、生成AIは社会科学研究のあらゆる段階において適 用できる多目的ツールとして機能できる可能性がある。 「社会科学のためのAI」の概要図 Ⅱ.社会科学のためのAI 仮説の生成 実験ｱｼｽﾀﾝﾄ 実験ｼﾐｭﾚｰｼｮﾝ 測定 ｻﾝﾌﾟﾘﾝｸﾞ データ収集 分析 ﾃｷｽﾄ分析 ﾃｷｽﾄ生成 ﾃﾞｰﾀ分析
15. 15 • 無関係な社会科学的概念間に意味のある暗黙の関連性を掘り起こす。 • 文献量が拡大するに連れ確実に仮説を迅速で効率的に生成する方法も模索 • ChatGPTを使用して系統的レビューの質問方式を洗練化させ、従来の最先端 自動質問方式より優れた結果を出したとの報告がある。 • ChatGPTを使用して関連論文の要約を言い換え100回以上引用された文献の 文献レビュー一覧を自動生成したとの報告がある。 • GPT-4を使用して科学的仮説を生成し、エラー率は高いものの興味深い検証 可能な仮説を提供できたと結論付けた報告がある。 • GPT-3を利用して心理学的仮説を生成し、50人の心理学専門家を参加させた 評価で人間による提案と遜色ないレベルに達しているとの報告がある。 • 現在は仮説生成の実現可能性と有効性を探る段階にあるが、特に利点は優れ たパフォーマンスと評価されている。 • 但し、「捏造または不正確な情報」や「プロンプトに対する高い感度」など の課題は残している。 仮説の生成 定義 文献ﾚ ﾋﾞｭｰ 仮説の 提案 結論
16. 16 • 提案された仮説を支持まはた反駁するための証拠を提供すること • 主にAIと相性の良い下記２つの定量的手法を扱う。 • 通常研究者が行う単純だが労働集約的なタスクを自動化することを指す • 実験条件の妥当性と比較可能性を高め、現実の外部情報利用の必要が無い ので個人のプライバシーを保証しやすいメリットがある。 • 現実世界では調査が難しい複雑なシステムの動作を調査、最適化、および 予測するプラットフォームを設計して実行することを指す。 • 古典的な行動心理学の実験で得られた結果をGPT-3を使用して定性的に再 実行し、加えてより細かな付随結果を導いたとの報告がある。 • 生成AIによる実験研究は人間の行動の信頼できる代理人としての機能を担 えることに注目が集まっている。 • 現在はまだ設計が粗い段階にあるが、更なる改善が保証されている分野で ある。 仮説の検証：実験研究(1) 定義 実験 ｱｼｽﾀﾝﾄ 実験ｼﾐｭ ﾚｰｼｮﾝ 結論
17. 17 • 提案された仮説を支持まはた反駁するための証拠を提供すること • 特定の人間のサブグループの代理として機能し、トレーニングデータ ベースのデータを研究のサンプルとして直接利用する。 • ChatGPTによって生成された平均スコアが米国のベースライン調査の平 均とほぼ一致したとの報告がある。 • 有効で信頼できる応答を引き出すための質問設計に焦点が当てられてい る。 • 生成AIが信頼性の一般的方法で起こり得る精度に達したとの報告がある。 • ChatGPTを利用したメンタルヘルス分析で解釈可能性を向上させたとの 報告がある。 • 但し、生成AIは数値分析に欠点があるため、分析分野への本格的導入は 行われていない。 仮説の検証：調査研究(２) 定義 ｻﾝﾌﾟﾘﾝｸﾞ 測定 結論 分析
18. 18 • 提案された仮説を支持まはた反駁するための証拠を提供すること • 参加者が自分の情報が研究の一部であることに気づかない研究方法である。 1. 感情分析：テキスト内の喜び、怒り、悲しみなどの特定 2. スタンス検出：テキスト内で表現されている著者・話者の政治的、社会的、 文化的スタンスの特定 3. ヘイトスピーチ検出：ヘイトスピーチが含まれている単語、フレーズ、文 章などの特定 4. 誤った情報の検出：誤った情報が含まれている単語、フレーズ、文章など の特定 • 公的機関、組織、個人から提供されている既存の統計データに基づいて構築 されている研究手法であり様々な社会現象や問題を対象としている。 • 生成AIは多くの社会科学タスク向けに微調整することで相応のパフォーマン スを達成できるメリットがある。 • しかし、まだかなりの非反応性タスクをサポートするための課題が残されて いる。 仮説の検証：非反応性研究(３) 定義 ｺﾝﾃﾝﾂ 分析 既存統 計分析 結論
19. 19 • 生成AIを使用する社会科学の研究の内、特に従来の人間行動との違 いに重点を置き、AIエージェント自身の行動パターンを調査する。 「AIの社会科学」の概要図 Ⅲ.AIの社会科学 XX 人間のXX AIのXX 心理学 人間の心理現象、意識、行動を研究する。 研究 範囲は意識、感覚、知覚、認知、感情、性格、 行動、人間関係など幅広い分野に及ぶ。 AI エージェントの性格、意識、能 力、認知などを研究する。 社会学 ミクロな社会学的レベルの制度や人間関係から、 マクロな社会学的レベルの社会システムや構造 に至るまで、人間の社会生活、集団、社会を研 究する。 複数の異なる AI エージェント間の 相互作用と社会的行動を研究する。 経済学 商品とサービスの生産、流通、消費を研究する。 経済主体としての AI エージェント の行動と相互作用を研究する。 政治学 社会的価値観の権威ある配分を研究する。 イデオロギー、所属政党、政治的思 慮深さなど、AI エージェントが示 す政治的行動や現象を研究する。 言語学 構文、意味論、語句学、音声学、音韻論、語用 論などを含む言語を研究する。 AI エージェントの言語使用パター ンを研究し、人間の言語使用と比較 する。
20. 20 • AIエージェントの心と行動の科学的研究 【エピソード】嘗てGoogleの技術者が「生成AI LaMDAは知覚を持ち人間のように思考し推論 できるようになった」と主張し解雇された。 • 個性探索データセットを開発し、実際にそれを使って生成AIに個性を発見した との報告がある。 • 工夫したアンケートを活用してGPT-3を分析し、「GPT-3は若い女性である」 と報告した研究がある。 • 特定手法による評価でGPT-3、InstructGPT、FLANーT5はいずれも「人間よ りも暗い」と報告した研究がある。 • 驚くほど強力な抽象パターン誘導能力を発見したとの報告がある。 • 生成AIは社会参加者の意図や反応を理解できず特定状態の精神状況を推測でき ないとの指摘があったが、生成AIのレベルアップで改善されたとされる。 • 個性は人間のような一貫性がなく、安定していない面があるが、文化的視点と 重ね合わせられている面があるとの指摘もある。 • 認知では人間の能力と同等あるいはそれを超えることが分かっているが、人間 の認知とは異なるモードで、それを説明する仮説は未だ登場していない。 AIの心理学 定義 個性 認知 結論
21. 21 • (AIの進歩から生じる社会的変化ではなく)AIエー ジェント自身に焦点を当てた科学的研究 • ジェンダーバイアス研究(GPT-３ベース)で、女 性は「家族や外見」に関連づけられることが多 く、男性よりも「力が弱い」と描かれることを 発見したとの報告がある。 • ある小さな町に25人のAIエージェントが暮らし、 エージェント同士で雑談したり、朝食を作った り、パーティー招待のスケジュールを立てるな どの社会的行動を実現させたとの報告がある (Park, 2023)。 • バイアスの問題は研究途上で暗黙の認知バイア スなど未解決の問題が残されている。 • AIエージェント専用のコミュニティ環境におけ る研究は限られている。 AIの社会学 定義 社会的偏見 社会的行動 結論 AIエージェントは、インタラクティブな アプリケーションにおける人間の行動を 模倣したものである。この作品では、特 定のサンドボックス環境に 25 人のエー ジェントを配置しAIエージェントを実証 している。ユーザーは、AIエージェント が一日の計画を立て、ニュースを共有し、 人間関係を築き、グループ活動を調整す るのを観察し、介入することができる。
22. 22 • 経済主体としてのAIエージェントの行動の科学的研究 • ChatGPTは大学経済学理解度テストで高得点を取り、金融リテラシーテ ストでも高レベルに達したとの報告がある。 • 運用管理でもChatGPTはMBAコアコースで高得点を獲得し、非計算問題 が得意だが、単純な計算やプロセス分析が上手く機能せず会計が苦手と みなされている。 • 6つの生成AIを使用して古典的行動経済学の実験を再現できたとの報告が ある。 • 2つの生成AIに交渉ゲームでそれぞれ買い手と売り手の役割を演じさせた 結果、適切に取引価格を向上させられたとの報告がある。 • 専門知識ではAIエージェントは経済学の非計算分野では人間の専門家と 同等あるいはそれ以上と言える。 • 但し、殆どの研究はOpenAIのGPTシリーズでのテストに基づき、従来の 古典的経済学の文献に基づきトレーニングされているため、これを超え た環境に対応可能かどうかは不明である。 AIの経済学 定義 専門知識 ﾐｸﾛ経済学 結論
23. 23 • 経済主体が政治参加者として示す政治的行動や現象の科学的研究 • 現在は主にAIエージェントの政治的傾向や政治的慎重さに焦点を当てて いる。 • ChatGPTは左派リベラル進歩派に傾いているとする研究が複数ある。 • 但し、共和党と民主党の政治傾向のある2つのコミュニティからの ツィートで生成AIを微調整するとそれぞれのコミュニティと世界観を示 したとの報告もある。 • そこで、トレーニングデータの政治的バイアスが生成AIにどのような影 響を与えているかが調査されている。 • AIの政治学の研究は初期段階にある。 • 但し、ChatGPTの政治的傾向が左派であることは明確になっているので、 生成AIが公平/公正を目指す上で、このようなバイアスが起きる背景/要 因やトレーニングデータの多様性に対する姿勢が問題になる。 • そうでないと、政治および選挙に対する悪影響を与える可能性がある。 AIの政治学 定義/傾向 政治的傾向 結論
24. 24 • 構文、意味論、形態論、音声学、音韻論、語用論などAIエージェント の言語使用パターンの科学的研究 • 多様な研究が存在するので、ここではAIエージェントと人間の間の一 貫性と相互作用に焦点を当てる。 • ChatGPTは人間と同様に馴染みのない単語を形式に基づいて異なる意 味に関連付けたり、ノイズなどによって棄損した可能性のある不合理 な文章を再解釈したりできることを発見したとの報告がある。 • このように、生成AIは人間と同様に接辞に基づいて馴染みのない単語 を理解することができるとの報告がある。 • 生成AIの言語的機能は多様な検討が行われており、より言語学の知見 と組み合わせることで、更に生成AIの内部メカニズムをより深く理解 できる可能性がある。 AIの言語学 定義/傾向 言語学的 傾向 結論
25. 25 • 将来の人間の問題解決能力の役割はどのように位置づけられるか？ • 生成AIと人間の新規性と価値創造の特性を比較 • この知見獲得により、将来の問題解決に向けた人間とAIの棲み分け、 あるいは統合アプローチに向けた示唆を得ることを目指す。 • 一定のプラットフォームを構築することで、人間による仮説生成と 生成AIによる仮説生成を実現する。 • 双方の仮説をマージする。その上で評価者を別途オンラインで募集 し、彼等による仮説の由来を伏せたオンライン評価を実施する。 • そして、その結果を分析することで知見を抽出する。 Ⅳ.人間とAIの連携 • 最終目標を「人間とAIの適切な連携」として、そのための知見獲得を目指 す社会科学研究を２件紹介する。 問題意識 目標 手段 ⅰ. 事例1 人間生成ソリューション vs AI生成ソリューション
26. 26 • 「持続可能な循環経済におけるビジネスチャンスにはどのような可 能性があるか？」を設問とする。【循環経済は環境科学、経済学、デザイ ン、工学に跨り「AIの社会科学」における多様な分野と相関している】 • 研究推進元(ハーバード大学研究班)はContinuum Lab（AI企業）、 Freelancer.com(オンラインマーケットプレイス）と提携してプ ラットフォームを形成し、人間による仮説生成の募集、AIによる仮 説生成を行う。 • 人間生成の仮説数：応募310件(期間：2023.1.30~5.15)⇒選別125件 • AI生成仮説数：730件(ﾏﾙﾁｲﾝｽﾀﾝｽ、ｼﾝｸﾞﾙｲﾝｽﾀﾝｽの2種を半分ずつ) • 生成AIが生成する仮説の多様性減少を出来るだけ回避するための施策 • ランダムに234件(人間生成仮説54件、AI生成仮説180件）を選択 • 仮説の評価者をオンライン(Prolific.org)で募集：300名 • 彼等の評価結果（評価尺度は新規性と環境/財務価値)を分析 仮説 対象 実施プロジェクトの詳細 研究ﾌﾟ ﾗｯﾄﾌｫｰﾑ 実施 方法
27. 27 • 人間ソリューションとAIソ リューションの新規性と価値 を平均スコア（横軸）と密度 （縦軸）の分布で示す。 • 人間ソリューションはAIソ リューションと比較して新規 性の右裾が高く、価値の左裾 が低い。 結果１：人間ソリューションと AI ソリューションの比較 新規性、価値のスコアはソリューションに割り当てられた全評価者のスコアの平均で計算 結果
28. 28 • (人間, AI)2種のソリューションの 新規性と価値をプロンプト構成 (マルチ, シングル)を含めて示す。 • シングルAIソリューションの新規 性の方がマルチAIソリューション の新規性より高い。 • シングルAIソリューションと人間 ソリューションの新規性は同等 • 価値は人間、シングルAI、マルチ AIで差が無い。 結果２：2種ソリューションとプロンプト構成(マルチ、シングル)の比較 マルチインスタンス：各インスタンスが同じプロンプトで独立してソリューションを生成 シングルインスタンス：複数ソリューションを一度に一つづつ連続して生成 （連続する応答の場合は以前の応答から区別しようとする意図が働く） 結果
29. 29 • AIソリューションは人間ソリューションと比較して新規性の評価が 低い。 • 中でもAIソリューション(マルチインスタンス）の新規性は人間ソ リューションと比較して特に低い。 • 但し、AIソリューション(シングルインスタンス)の新規性は人間ソ リューションと比較して同等レベル • AIソリューションは人間ソリューションより価値が高い。 • しかし、人間とAI間の価値の差は小さくAI価値の利点は弱い。 • AIのマルチインスタンス、シングルインスタンス間にも差がない。 • AIは人間よりもある程度価値のあるアイディアを生成するが、新規 性においては人間はAIを超えるアイディアを生成する。 まとめ 新規性 主な結果 価値
30. 新たな技術フロンティア 30 • ChatGPTにとって一部は簡単だが(例： アイディア出し）、苦手なものもある。 • 従って、同じような難易度のタスクで も、人間主導で対応した方が良いもの もあれば、ChatGPT主導に任せた方が 良いものもある。 • この分類は簡単では無い。両者は 同一問題に対処するワークフロー 内で跨ることがある。 • 本課題に対処する実験を企画する。 ⅱ.事例２ 新たな技術フロンティアのナビゲーション 内 外
31. 31 • 高度なスキルを持つ知識労働者：BCGのコンサルタント758名 • ｽﾃｯﾌﾟ1:被験者は最初にアンケートに回答(ﾌﾟﾛﾌｨｰﾙ, 社内の役割他) • ｽﾃｯﾌﾟ2: 内外に対応する2種の実験タスクを設定し作業実施 • 実験１タスク・創造性、分析スキル、説得力、文章スキルに焦点、新製品のア イディアを概念化 • 実験２タスク・定量的データ、顧客インタビュー、説得力のある文章を使用し たビジネス上の問題解決 被験者は実験タスク1,2のどちらも実験実施用のURLを受け取り、タスク前の アンケート、タスクの説明、実施、タスク終了後のアンケート対応を実施 • ｽﾃｯﾌﾟ3:インタビューを受けAIの役割等について経験や視点を共有 • 実験1, 実験2タスクどちらも共通プロセス(前段、後段)を持つ。 • 前段：どちらもまずAIの助けを借りずに課題に取り組む。 • 後段：その後, 次の３条件の内, ランダムに割り当てられた１処理を続行。 • AIサポート無しで続行 • GPT-4の支援を受ける。 • GPT-4を利用するだけでなく、プロンプトエンジニアリングの恩恵を受ける(効果的な使 用戦略の指示など） 対象者 実験 ﾌｪｰｽﾞ 実施プロジェクトの詳細 内部向けﾀｽｸ 外部向けﾀｽｸ 実験 方法
32. フロンティア内の結果 32 • 実験1タスク向けには被験者は下記のようなタスクの実施を求められ る。 • 合計18個の次のような性格のタスク • 創造性 • 分析的思考 • 文章の熟練度 • 説得力などに係わるタスク、など • 各回答は全て2名の人間採点者によって評価されスコアが付けられる。 • GPT-4使用分は全てのプロンプトの総合的調査によって行われる。 • 全てのタスクに渡ってのこれらのスコアを平均して「品質」スコアを 導出する。 • この結果を次頁に示す。
33. フロンティア内の結果(続) 33 3 つの実験グループの被験者のフロンティア内の実験タスクに おける品質の分布 (赤は GPT+概要の被験者、緑は GPT のみ の被験者、青は既存条件の被験者) 。 品質の分布 GPT+概要の被験者 GPTのみの被験者 既存条件の被験者 品質 密度 • GPT-4使用による品質の大幅 な向上が明確に示されている。 • GPT-4＋概要は42.5%向上 • GPT-4のみは38%向上 • GPT-4を使用すると平均して 40%以上回答の質が向上した。 品質の分布
34. フロンティア外の結果 34 • 実験2タスク向けに簡単にはAIで完了できない以下のような属性のタ スクを考える。 • 競争が激しい就職面接に使用されるビジネスケース • 挑戦する企業の内部情報周知のため、関係者にインタビューが必須 • 被験者はインタビューから得た微妙だが明確な洞察を使用して定量データにも アクセスし調査してゆくことが必要 • 前段：被験者は架空な企業に対して実行可能な戦略的推奨事項を求め られる。 • 後段：被験者は前段の基盤タスク(評価用)フェーズを完了した後、次 のような提案を求められる。 • 企業のブランドパフォーマンスの分析 • インタビューと財務データの洞察を利用してCEOへの推奨事項の提案 • どのブランドが最も成長の可能性を秘めているかの提案、など • 主な評価尺度は「正確さ」とする。
35. フロンティア外の結果(続) 35 • 基盤グループ(AI支援無し)は 84.5%の確率で正解 • AI支援有りグループは下記の確 率で正解 • 60%(GPT-4＋概要) • 70%(GPT-4のみ) • 平均すると65%でAI支援無しに 比較して正解率が19%減少 フロンティア外の「正確さ」
36. 36 • イノベーションプロセスは複雑で生成AI適応内スコープと生 成AI適応外スコープを跨ぐことは多い。 • その際、生成AI適応外スコープでは、無理に生成AI使用に こだわると、不正確性が拡大することがある。 • 適切な認知能力が欠如したユーザーの場合、AIの出力を盲 目的に採用する傾向も想定される（今回の結果の原因だっ たかもしれない)。 • 結論的には生成AI適応内スコープと生成AI適応外スコープを 巧みに使い分けるにはどうすればよいかという問題になる。 • これは単に「AIと人間の共存」という一般的ビジョンを超え て、如何に生身の人間が個々のイノベーション要件に対し てどのように賢明に取り組むべきかという問題に至る。 主な結果 品質と 正確性 今後に 向けて
37. 37 • 以上の２事例を踏まえAIに有利な領域と人間に有利な領域を図示する。 AI領域と人間領域の区分と変化の方向性 新規性 価値 正確性 品質 AI領域 人間領域 (技術フロンティア)作業プロセス ⇒ 複雑化 ソ リ ュ ー シ ョ ン 高 度 化 特 異 化 ⇒ 生成AIの進歩 プロンプトの洗練化 AI領域と人間領域の緩い境界線 ⅲ. 人間とAIの適切な連携に向けて
38. 38 • 循環経済(事例1)に類する他の対象物を研究することで • 「簡単にAIで完了できないタスク」(事例2)のような特 定業務を見出すことで • 各種の社会科学的知見(心理学など)でAIエージェン ト自身の特性を明確化することで • AIと差別化しうる人間の本質的特性を明らかにする ことで 対象(社会) を知り、 AIを知り、 自ら(人間) を知る。 ① ② ③ Ⅱ. 社会科学のためのAI Ⅲ. AIの社会科学 「人間とAIの適切な連携」に向けた分析の視点 • 今後の分析の視点は次の３つがある。 ①は ②は が対応する。 が対応する。
39. 39 • 本質的に人間のどの側面(直観に対する本能的能力、 領域固有の専門知識、文脈の微妙な理解、など)がAI が進歩し続けても人間にとって明確な優位性であり 続けるのかを研究する必要がある。 “③ 自ら(人間)を知るための枠組み”への対応 • 新規性、正確性に加え、注意力、創発力などの人間の特性を新しい環 境で再評価する必要がある。 問題意識 目標 手段/思 考実験 • 生成AIに対して相対的に優位性を保ち続け得る属性 の明確化 • 例：人間は“時間の余裕”が保証されれば、其れが直に 創造的な気づきを増大させることにつながるのか？
40. 40 • 大量の価値あるソリューションを生成する際、AIの速度と生産性 は人間の比ではない。 • とはいえ、非常に斬新なアイディアの追求では人間の創意工夫は 依然としてAIには代替できない。 • そこで、人間は主に新しいアイディア出力に集中し、AIは価値あ るソリューションの生成を担うとの線引きの可能性が発生する。 • この分業は想像力豊かな思考を呼び起こし、人間の認知力向上や 身体的負担軽減を可能にする多くの余裕時間の確保などの必要性 を示唆する。 例１：人間とAIのアイディア生成の未来 • まとめの例を２つ示す。 これらの取組みによって想定されるまとめ
41. 41 • 今回の結果はGPT-4に基づく結果で、特定の生成AIに依存してい る。 • 従って、人間とAIとの連携の具体化は時間とともに変化する可能 性、他の生成AIの可能性を考慮する必要がある。 • 特にシングルインスタンス構成のプロンプトは統計的に稀なアイ ディアを生み出す可能性があることを示した。 • 今後、プロンプトの更なる洗練化でより斬新なアイディアを生成 できる可能性がある。 • 複数生成AIの継続的進歩は、本質的に人間は人間のどの側面が明 確な利点であり続けるのかをより深く研究する必要性を強く示唆 する。 例２：生成AIの進化する能力と人間の創意工夫の役割
42. 42 • 生成AIは社会とそれを研究する社会科学に多大な影響を与えてい る。 • 関連論文は社会を研究する方法への影響だけでなく、生成AI自身 の特性に関するものも含めて極めて幅が広い。 • この背景に、生成AIが“人間になりすまし得る”という、従来には 無い特性を持っていることがある。 • このような特性を持つ生成AIの社会への影響はあらゆる分野に浸 透してくる。そこで、この影響を理解するための研究は枚挙にい とまがなく重要性は増大する。 • このような、従来とは異なる認識で多様な分野を多様な切り口で 研究を深めてゆく必要がある。これが将来の「人間とAIの共存や 連携」に重要になってくる。 全体まとめ
43. 43 • 生成AIは欠陥があるにしても“人間に成りすまし得る”点に大きな特徴が ある。 • その結果、個々の専門家が担当するワークフローで、一部タスクは生成 AI境界内、一部タスクは生成AI境界外になる状況が発生する。 • この状況で全体バリューチェーンを最適化するには、境界内/境界外を 巧みに立ち回る経営的戦略が必要になる。 • この戦略は生成AIを何時、どのような場面で信頼できると判断するか (あるいは判断できるか）という課題を引き起す。 • この戦略は、生成AIを一種の疑似人間(エージェント)と見做している以 上、生成AIと如何に連携するかの高度スキル(AIリテラシー)が問われる。 • このようなAIリテラシースキルの上位スキル保有者、中位スキル保有者、 低位スキル保有者で、当然、戦略には違いが生じる。 • それとともに、イノベーション要件の性質、人間の性格も関係する複雑 な状況が登場する。 経営論を考える上での考慮事項
44. 44 • 新たな経営論を考える際には、次のようなことが示唆される。 1. 何を人間主導、何をAI主導とするかの判断基準や考え方の整理(単に生成 AIの“幻覚”をあげつらうのでなく、生成AI、人間を同水準で見た場合の 整理） 2. 適切なバランスを確保するために人間とAIの間に存在する共通部分を活 用するためのアイディア(生成AIベースのプラットフォーム理論の再構築、 など） 3. 複数の課題を一貫したプロセスとして実施するような、現実的取り組み に対応した、AI、人間合同の作業プロセス論の構築 4. 生成AIの急速な変化を経営や組織変革に取込み可能な柔軟な組織論と、 このような状況に対応可能な新たなダイナミックケイパビリティ論の構 築 5. 組織内に人間とAIエージェントが共存する状況に対応するリソースベー ストビュー理論やコースの定理の見直し 6. 新たな環境への対応で旗振りする人材の発掘や育成法、など 新たな経営論の構築に向けて
45. 文献