生成AIの台頭に応対する大学組織の動向： 表明内容の分析に基づく試論 第47回JAIR研究会 2023年5月27日 森木 銀河(九州大学)

1 プロフィール https://note.com/pogohopper8/n/n3126b312f209 https://note.com/pogohopper8 https://twitter.com/pogohopper8 Pogo / gmoriki 大学業務の傍らで、 生成AIと大学組織の関係の調査 データマネジメントの実践/研究 https://note.com/pogohopper8/n/n380b90cc6181 2023年4月3日～ 2023年3月26日

2 発表概要 1. 背景と目的 • 生成AIの動向 • 高等教育機関の動向 2. データ収集・分析方法 • 情報の収集 • 計量テキスト分析 3. 分析結果 • 単純集計 • 計量テキスト分析 4. 考察 / 生成AIと大学IRの実務 • 大学IRと生成AI禍福との付き合い方

1. 背景と目的 3

4 背景 生成AI(Generative AI)の台頭と利用的/社会的動向 G７デジタル・技術大臣会合の閣僚宣言における 「責任あるAIとAIガバナンス」3 (5月11日) 「生成AI技術が顕著になる中で、生成AI技術の持つ機会と課題を早急に把握し、技術が発展 する中で、安全性と信頼性を促進し続ける必要性を認識」 生成AIの利用者の動向に関する研究（Miyazaki et al(2023)2） 生成AIに対する感情はおおむねポジティブである(AIへの接触度合いと正の相関がある) ※ イラストレーターが例外的にネガティブな感情を抱いてる 生成AIの台頭 “The Promise and Potential Risks of Generative AI”における定義1 生成AI(Generative AI)とは、一般的に、写真、テキスト、コンピュータコード…など、ユー ザーからの指示に基づいてオリジナルのコンテンツを生成できる人工知能(AI)の一種である。

5 背景 高等教育機関の生成AIに関する動向 高等教育機関の対応 国外：ハーバード大学、MIT等が教員向けのChatGPT利用方針を表明 国内：東京外国語大学(3月22日)以降、複数の大学がChatGPT等の生成AIへの対応を表明 高等教育におけるChatGPT利用のクイックスタートガイド6 2023年4月13日にUNESCOが公開。ChatGPTの仕組みの概要や高等教育における使用方法を 説明する、専門用語を使用しない短いガイド。管理運営業務との関係にも言及。 高等教育関係者による情報・知見の共有例 東京大学・吉田塁研究室「ChatGPT・AI の教育関連情報まとめ」4(2023年3月1日～) 東京工業大学・岡崎直観「大規模言語モデルの驚異と脅威」5(AIPシンポジウム 特別講演) 本発表では 生成AIと大学組織および生成AIとIR・管理運営の関係に焦点を当てる • 文部科学省が「学校現場での取り扱い」ガイドラインを公表予定 • 各大学がFD等の機会を利用して生成AIに関する知見を共有

■ 生成AIという技術/サービスの特質に対する認識不足 • 過去のサービス・アプリに該当しない新しい汎用技術 • AIモデルの特性7：データ依存性、予測不可能性、創発的行動性、普遍性 • 生成AIの“the hype-worthy characteristics” (Miyazaki et al,2023)2 • 発展途上の技術である上、社会的事象としての生成AIサービスへの理解は不十分 ■ 生成AIが大学IR/大学の管理運営に寄与するための運用を考える一助 6 課題（モチベーション） ■ 生成AIに応対する国内大学組織の動向に対する考察不足※ • 生成AIが大学組織に影響を与えている現状の実態をベースとした議論 • 各大学組織が自組織の規範・運用を守るための自律的な行動による結果？ • 外的要因を受け入れ、受容し、再構成する組織内プロセスの結果？ ■ 大学組織の実態の一側面への理解に寄与し得る ※ 本来、戸村(2019)13の分析枠組みにおける「社会」と「機関」の関係に位置づけられる「大学組織の理念モデル」等を参照の上で議論 されるべきテーマであるが、今回の発表では射程に含めず、直近のデータに基づく探索的分析および考察の報告に留める。 生成AI 社会 機関 組織内 プロセス 分析枠組み 影響 表明の 公表 構成員

7 目的/リサーチクエスチョン(仮) ● 国内の各大学の組織的動向にどのような特徴があるのか ● Institutional Researchは生成AIといかに付き合うべきか • 生成AIに応対する大学組織の動向の特徴を論じる • 社会的事象としての生成AIサービスに対する組織慣性に関する一試論 • Institutional Researchにおける業務と生成AIが担う役割の関係性 • 大学における管理運営業務と生成AIとの関係性を考える先駆け 大学の表明内容を探索的に分析し、大学組織の動向の仮説を得る 現時点における生成AIの知見とIRの知見の統合を図る(皆さんと一緒に考えたいです！！）

8 2. データ収集・分析方法

データ収集の方策 ✓ データ収集 要素 説明 範囲・ソース 日本国内の4年制大学もしくは当該大学の学部・研究科が公式Webサイトより発出 した、ChatGPTを含む生成AI等に対する意思表明や対応方針の提示に関するテキス ト※1。URLや表明対象者等が異なる場合、同一大学でも別レコードとして扱う。ま た原則として初版とする。 期間 2023年3月1日～2023年4月30日 言語 日本語 方法 人力（定期的に“(inurl:ac.jp) (生成AI 大学)”等のクエリを手動で実行） その他変数 表明日、大学種別※2、表明タイトル、表明者、表明対象者、掲載URL、URL閲覧日 ※1 本研究は著作権法47条の7における「必要と認められる限度」で情報解析を実施している ✓ データ収集方法の詳細 • 使用検索エンジンはGoogle • “(inurl:ac.jp) (生成AI 大学)”等と設定したクエリを期間指定で実行 • 検索結果に表示されない大学に対して目視 or 別途クエリにより調査 • スクレイピングの定期実行の自動化は諸懸念により不採用 • 例：html形式で情報を掲載していない大学の場合、生成AI等の値を拾えないため判別不可 ※2 大学種別＝設置形態

10 内容分析の方策 ✓ KHCoder(樋口,2020)8 による計量テキスト分析を実施 同ツールを用いて東京大学の歴代総長の式辞内容を分析した橋本(2016)9の手法を参考に実施 • 入学定員数（学部＋研究科、研究科）：大学の規模および研究に関する規模を示す指標として採用。 全体に対する四分位数を用いてデータを分割の上、グルーピングを実施。（1~4） • 入学定員数のみ、1の中で顕著な差が見られたため、更に「0と1」に分割 • 表明内容：元データの傾向に基づき、テキスト全体を最大4つに分割し表明内容を採用。 表明内容 説明 表明の背景 表明の背景にある社会的動向や大学の現況 生成AIの説明 生成AI等の特徴や機能に関する説明 リスクの説明 生成AI等の各種リスク・危険性に関する説明 方針の提示 大学組織としての意思表明、方針 形態素解析はChasenを使用し、品詞に名詞・サ変名詞を選択したデータを各種解析(単純集計を除く)には使用 使用した語の情報：総抽出語数(使用)：32,627(14,026),異なり語数（使用）：2,564(2,150) ✓ テキスト分析の前処理（テキストに対する外部変数の追加） 1表明

11 3. 分析結果

12 単純集計 国立大学：21 私立大学：26 公立大学：7 計：54組織

13 単純集計 大学種別ごとの対象者数 大学種別ごとの表明者数 抽出語 出現回数 学生 115 文章 103 可能 102 教育 98 場合 92 レポート 89 学習 85 必要 82 作成 80 課題 79 考える 77 内容 77 回答 76 授業 75 注意 75 出現回数Top20(Top5を除く) 対象者は学生、 表明者は学長が大多数 表明者と対象者の対応

14 語の共起ネットワーク（外部変数：表明内容） 大学種別ごとのテキスト内容数 最小出現回数30回以上の 全ての語がテキスト内容 のいずれかに分類される ＝表明内容の全体像を端 的に示した図 共起ネットワーク： 「出現パターンの似通った 語...を線で結んだネット ワーク」(樋口,2020)8

15 語の対応分析（外部変数：設置形態） 対応分析： 原点から離れるほど、 各外部変数を特徴づける語 私立大学： “皆さん”・“自分”・“思考” 国立大学： “著作”・“個人”・“留意”

16 対応分析（外部変数：設置形態/ テキスト内容） 私立大学： 「表明の背景」を特徴づけ る語と関係がある 国立大学： 「リスクの説明」を特徴づ ける語と関係がある 対応分析： 原点から離れるほど、 各外部変数を特徴づける語

17 対応分析（外部変数：入学定員数※ グループ） 0-2(入学定員数が中央値以上)： “社会”・“皆さん”・“活動” 3-4(入学定員数が中央値以下)： ”思考”・“回答”・“対話” 対応分析： 原点から離れるほど、 各外部変数を特徴づける語 ※学部＋研究科の入学定員数の合計

18 対応分析（外部変数：研究科入学定員数グループ） 1-2 (研究科定員数が中央値以上)： “学び”・“皆さん”・“論文” 3-4 (研究科定員数が中央値以下)： ”思考”・“回答”・“自分” 対応分析： 原点から離れるほど、 各外部変数を特徴づける語

19 結果 ◆ 表明数は増加傾向にある。当初は国立大学、次いで私立大学の表明が急増した。 ◆ 全ての大学種別にて、大多数の表明者は学長であり、大多数の対象者は学生である。 ➢ 学長を除く表明者のバラつきは大きい ◆ 表明内容は「表明の背景」「リスクの説明」「方針の提示」を含む傾向にある。 ➢ 「生成AIの説明」は含まない大学も一定数見られた。 ◆ 国立大学は他設置形態の大学と比べて「リスクの説明」が多い傾向にある ◆ 私立大学は他設置形態の大学と比べて「表明の背景」が多い傾向にある ◆ 入学定員数（特に研究科）が少ない大学は多い大学と比べて、生成AIの”回答”を解 釈する方針や、生成AIを”自分”で“思考”して利用する必要を謳う傾向にある 単純集計の結果 共起ネットワークの可視化・対応分析の結果

20 4. 考察 / 生成AIと大学IRの実務

21 考察：外的要因(生成AI)に応対する大学組織の特徴 ◆ 国立大学は他設置形態の大学と比べて「リスクの説明」が多い傾向にある ◆ 私立大学は他設置形態の大学と比べて「表明の背景」が多い傾向にある ■ リスクヘッジ型の組織に国立大学が多い： 外的要因に対して慎重な姿勢で応対し、リスクヘッジ行為を重視する ■ 理念ドリブン型の組織に私立大学が多い： 外的要因に対して自組織の精神に根差した姿勢で応対し、理念ドリブンな行為を重視する …具体的に、大学のIR/管理運営業務で生成AIをどう活用できるのか？ ◆ 入学定員数（特に研究科）が少ない大学は多い大学と比べて、生成AIの”回答”を解釈する方針や、生成 AIを”自分”で“思考”して利用する必要を謳う傾向にある ■ 自律的思考を促す型の組織に小規模大学が多い 外的要因の活用/リスク低減のため、利用者自身による自律的思考を呼びかけている

22 一例：大学IRの実務上の課題に対する生成AIの利活用 [仕様・設計]  分析目的が不明 [実装]  分析方法や進捗が不明 [環境]  資源を確保できていない 教学データを分析する上での現在の課題(清水,2019)10 ChatGPTプロンプト ChatGPTプロンプト 整理された課題とChatGPTプロンプト例

23 大学IRと生成AI禍福との付き合い方 (ChatGPT等のテキスト生成AIを中心に) ◼ 生成AIを受容するIRの実装 ◼ 情報技術・ツールの進歩とIRの密接な関係 ◼ 技術の進歩に対して「新たなトレンドの注意を怠らないこと」 11が肝要だとする点 ◼ 情報技術・ツールを基盤とするIR活動の特徴の一つ ◼ 「組織の計画立案や管理業務において利用できる膨大な蓄積情報の中から、効率的にどこに関 心を割り当てるべきか」という点11 …少なくとも生成AI単体の領分ではない ⚫ IR活動フロー全体の設計や各セクションにおける課題解決の一部に生成AIを利活用できる可能性がある ◼ 汎用的なスキルとして生成AIが浸透する可能性 ◼ 「自身の思考を壁打ちして洗練する自然言語プログラミング」＝自然言語ゆえにバリアフリー ⚫ 自然言語で処理してきたあいまいな表現を具象化したり、詳細な情報を抽象化したり ◼ 現状ある生成AIの限界とリスクの認識 ◼ 他サービスには無い生成AIの特質を踏まえた利活用 ◼ 入出力情報に対する法的リスク※ ◼ AIモデルのデータ依存性と予測不可能性7+誇大広告的特性2を許容できる範囲を定める ⚫ ガイドラインの策定、既存講習への組み込み等、継続的な努力が必要 ※ 詳細は「生成AIの利用ガイドライン作成のための手引き」12を参照

24 今日一番言いたいこと ChatGPT プラグイン Microsoft 365 Copilot Windows Copilot 大学事務・大学IR業務ではGPTを搭載した既存サービスの利活用が最適解(かも) • 現在のChatGPT等のテキスト生成AIの課題は、「入力プロンプトの質に出力の質が大きく影響を受ける」「ユーザの利用目 的が担保されていないので“何でもできる”が“何をしていいか分からない”」、「課金者と無課金者との間にある経験の乖離」 という3点。大学事務における学習コストの高さはかなりネック。 • プラグインをはじめとするサービスは利用者の目的を制限することで利用者の体験をある程度保証する。またWindowsおよ びMicrosoft製品を使いなれている（使わざるを得ない）大学事務職員との相性は抜群。 • 無論ChatGPT等の、目的・プロンプトの自由が高いサービスを好む層もいるが、大多数は上記3つに落ち着くと考えられる。

25 本発表の限界 • 計量テキスト分析の対象データ量の不足 • 「4月末時点で表明を学外公開した大学」という偏ったデータを使用 • 外部変数の数および質の精査不足 • 大学の規模を表す変数として入学定員数が有効かどうか • 大学組織研究および大学経営研究の知見の精査および援用の不足 • 大学組織の複雑性※を考慮せず、組織観を単純化した上で議論を行っている • 大学組織の型に対して詳細化した説明を与えていない • 教学IRにおけるアンケート結果を大学IR全体の議論へ持ち込んでいる • 大学IR業務における実際の活用事例および成果を提示できていない • 生成AIサービスを開発する立場から論じた大学IRに触れていない • “ChatGPT”という一つのサービスに重点が置かれた発表である ※例えば、Sporn,B. 1996, “Managing University Culture: An Analysis of the Relationship between Institutional Culture and Management Approaches”,Higher Education.,vol.32,no.1,pp.41-61.

26 参考文献 1 Greg Scoblete,2023,“The Promise and Potential Risks of Generative AI”、 https://core.verisk.com/Insights/Emerging-Issues/Articles/2023/January-2023/Week- 4/Generative-AI,閲覧日：2023年5月25日 2 Miyazaki et al, 2023,“Public Perception of Generative AI on Twitter: An Empirical Study Based on Occupation and Usage”(arXiv:2305.09537),https://doi.org/10.48550/arXiv.2305.09537,2023 3 「G７デジタル・技術大臣会合の閣僚宣言における「責任あるAIとAIガバナンス」 のポイント」, https://note.com/akihisa_shiozaki/n/n4c126c27fd3d,2023,閲覧日：2023年5月25日 4 吉田塁研究室,「ChatGPT・AI の教育関連情報まとめ」,https://edulab.t.u-tokyo.ac.jp/chatgpt-ai- resources/,閲覧日：2023年5月25日 5 岡崎直観,2023,「大規模言語モデルの驚異と脅 威」,https://speakerdeck.com/chokkan/20230327_riken_llm,閲覧日：2023年5月25日 6 UNESCO,2023,” ChatGPT and Artificial Intelligence in higher education Quick start guide”,https://www.iesalc.unesco.org/wp-content/uploads/2023/04/ChatGPT-and-Artificial- Intelligence-in-higher-education-Quick-Start-guide_EN_FINAL.pdf 7 HAOMIAO HUANG,2023,“The generative AI revolution has begun—how did we get here?”,https://arstechnica.com/gadgets/2023/01/the-generative-ai-revolution-has-begun-how- did-we-get-here/,閲覧日：2023年5月25日 8 樋口耕一,2020,『社会調査のための計量テキスト分析 ―内容分析の継承と発展を目指して― 第2版』,ナ カニシヤ出版 9 橋本鉱市,2016,「大学の自己認識に関する一試論 : 東大総長の入学式・卒業式辞内容の計量テキスト分析 から」, 東京大学大学院教育学研究科紀要,巻 55, p. 129-138 10 清水強志,2019,「ＩＲに関する全国調査(2019)の結果報告」,第8回大学情報・機関調査研究会, p. 20- 25 11 リチャード・D・ハワード編（2001）,大学評価・学位授与機構IR 研究会訳(2012),『IR 実践ハンド ブック 大学の意思決定支援』,「第7章 IRのための技術とツール」,玉川大学出版部,p.274-312 12 柿沼太一,2023,「生成AIの利用ガイドライン作成のための手引き」, https://storialaw.jp/blog/9414, 閲覧日：2023年5月25日 13 戸村 理,2019,「大学組織研究のレビューと展望：関連諸学との対話から」,『教育社会学研究』,104 巻 p. 125-145

27 まとめ 1. 生成AIに応対する大学組織の特徴 ✓ リスクヘッジ型の組織 ✓ 理念ドリブン型の組織 ✓ 自律的思考を促す型の組織 2. 大学IRと生成AIの付き合い方 ✓ 福：生成AIを受容するIRの実装 ✓ 禍：現状ある生成AIの限界と リスクの認識 3. 今後注目すべきサービス@大学IR ✓ ChatGPTプラグイン ✓ Microsoft 365 Copilot ✓ Windows Copilot ※ 本発表の挿絵はMidjourney(画像生成AI)で生成いたしました