データサイエンス入門 - ビッグデータとAI

Transcript

1. 山本 祐輔 名古屋市立大学 2024年前期 名古屋市立データサイエンス学部 准教授 yusuke_yamamoto@acm.org [データサイエンス入門] ビッグデータ × ITイノベーション
2. 研究テーマ・専⾨分野など Slow Informatics 人々に気づきを与え，じっくりと情報処理を行う機会を 提供する情報インタラクション技術や方法論について研究 クリエイティブな活動を 刺激するインタラクション 注意深い 意思決定支援 人と情報の エコシステム 情報科学系の切り⼝ 情報検索 HCI データマイニング 情報デザイン 説得工学 心理学 行動経済学 その他の切り⼝ ウェブサイエンス 動機づけ理論
3. これまでの研究 ウェブ情報の信憑性分析・判断支援システムの開発 1. 2. 3. 4. ᱥᱏᰬ᭑ᱯଢ଼ᬶٸശ௸ ΕᏜᱥᱏᰬ᭑ᱯଢ଼ٸശ сଢ଼ɬṞᱥᱏᰬ᭑ᱯଢ଼ वӂ૟Ṟṫ ᱥᱏᰬ᭑ᱯଢ଼ ᱥᱏᰬᱯଢ଼ԃЩڑ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ ೸ ࠂ᯦͕ ӿȿ ಋ೸ߺ ࡚ৼ Еζߺ 信憑性指向ウェブ検索エンジン*1,2 さまざまな信憑性判断情報の 集約システム*3,4 ৴ጪੑ͕ෆ͔֬ͳϑΝΫτ υΠπ͸Ϗʔϧ͕༗໊ ո͍͠Օॴ υΠπ ΄Μͱ ݕࡧ݁Ռ < ೖྗ >
   υΠπ͸Ϗʔϧ͕༗໊ ൑அͷࡍʹ༗༻ͳ؍఺ ߬ૉ ۤΈ ৭ ຯ ϰΝΠεϏʔϧ ൺֱ͢΂͖ϑΝΫτ ϑΝΫτͷೝ஌౓ )POUP
   4FBSDI 
   
   ϕϧΪʔ͸Ϗʔϧ͕༗໊ 
   
   έϧϯ͸Ϗʔϧ͕༗໊ 
   ϛϡϯϔϯ͸Ϗʔϧ͕༗໊ 
   
   νΣί͸Ϗʔϧ͕༗໊ 
   
   ΞΠϧϥϯυ͸Ϗʔϧ͕༗໊ ফඅྔ ৭ ৭ ৭ ৭ ৭ ۤΈ ফඅྔ ຯ ߬ૉ  *3 Y. Yamamoto and K. Tanaka, “ImageAlert: Credibility Analysis of Text-Image Pairs on the Web”, SAC 2011 *2 ⼭本祐輔、⽥中克⼰、「データ対間のサポート関係分析に基づくWeb情報の信憑性評価」、情処論⽂誌2010など *1 Y. Yamamoto and K. Tanaka, “Enhancing Credibility Judgment on Web Search Results”, ACM CHI 2011 *4 Y. Yamamoto and K. Tanaka, “Finding Comparative Facts and Aspects for Judging the Credibility of Uncertain Facts”, WISE 2009 社会的受容度 引⽤重要度 詳細度 典型度 更新 頻度 5
4. 注意深い情報探索の必要性を感じさせる情報探索インタフェース ウェブ検索結果の個人最適化 効果の顕在化と抑制*1 情報ソースが曖昧な文の 自動検出・ハイライト*2 *2 ⿑藤史明, ⼭本祐輔,「Weasel Finder:⽂章表現の曖昧さ指摘による批判的なウェブ情報探索」, ⼈⼯知能学会論⽂誌, Vol.36, No.1 (WI2-H), pp.1-13, 2021. *1 Yusuke Yamamoto and Takehiro Yamamoto: “Personalization Finder: A Search Interface for Identifying and Self- controlling Web Search Personalization”, Proceedings of the 20th ACM/IEEE on Joint Conference on Digital Libraries (JCDL 2020), pp.37-46, 2020 (The Vannevar Bush Best Paper Award). 6
5. 信頼できる情報獲得に対する⼼がけとウェブ検索⾏動の関係分析 アンケート評価 ウェブアクセスリテラシ 検索ログ解析 実際のウェブ検索行動 アンケート評価と検索ログ解析の組み合わせで 「検証態度」の違いによるウェブ行動の違いを分析 Takehiro Yamamoto, Yusuke Yamamoto and Sumio Fujita, “Exploring People's Attitudes and Behaviors toward Careful Information Seeking in Web Search”, Proceedings of the 27th ACM International Conference on Information and Knowledge Management (CIKM 2018), pp.963-972, 2018. 1491名のユーザの 560,174検索セッション 7 Yusuke Yamamoto, Takehiro Yamamoto, Hiroaki Ohshima, and Kawakami Hiroshi, “Web Access Literacy Scale to Evaluate How Critically Users Can Browse and Search for Web Information”, Proceedings of the 10th ACM Conference on Web Science (WebSci 2018), pp.97-106, 2018.
6. データサイエンスと⼭本の関係 人が生成した 大量のデータ 未踏 アプリ開発 大量の 利用データ 行動のモデル化・ 効果検証 統計モデリング & 因果推論 機械学習 & データマイニング デザイン思考
7. ビッグデータって、聞いたことある? Q.
8. 社会ではビッグデータが⼤量発⽣し，注⽬を集めている 画像は「ＮＨＫのクローズアップ現代」より
9. データサイエンスとビッグデータの関係 ビッグデータ データサイエンス ビッグデータの登場で データ活用の価値・重要性UP ビッグデータを扱うのが「データサイエンス」の醍醐味 （「ビッグデータ」「データサイエンス」「AI」は社会的にはほぼ同義のバズワード） データの生成・表現・蓄積・管理・認識・分析・伝達に関わる学問
10. 今⽇話したいこと ビッグデータとは何か? なぜ今、ビッグデータなのか? ビッグデータを活用するためには？ Q1. Q2. Q3.
11. ビッグデータとは何か? 1
12. とあるウェブデザインの現場にて Q. どちらのボタンが消費者好みのデザインか？ 詳細を⾒る 詳細を⾒る
13. ビッグデータ時代以前なら Q. どちらのボタンが消費者好みのデザインか？ デザイナー ターゲットユーザは20代だから おしゃれなデザインが好きなはず… 詳細を⾒る 詳細を⾒る シンプルなものよりも見栄えがよい ボタンが良いと思うが… プロが経験・知見をもとに方向性（仮説）を決定
14. 再度質問 Q. どちらのボタンが消費者好みのデザインか？ Click Click < 消費者の反応を集めれば デザインの方向性を決定することが可能 詳細を⾒る 詳細を⾒る
15. https://response.jp/article/2020/04/20/333782.html アプリユーザの位置情報を用いた コロナ禍中の移動量変化の分析
16. By Eric Fischer, https://www.flickr.com/photos/walkingsf/5912385701/in/album-72157627140310742/ ビッグデータのすごさ: Fruit of BigData データを超大量に集めると 今まで分からなかったことが 浮かび上がってくる
17. ビッグデータ分析 vs. 従来のデータ分析 ビッグデータ の分析 仮説発見 従来型の データ分析 仮説検証 （統計的検定・アンケート調査etc.） （パターン，ルール，モデルetc.） AIサービス開発
18. 様々なドメインで注⽬されるビッグデータ 農業 医療 交通 製薬 観光 防災 気象 広告 流通 教育 ICT スポーツ 報道 効率化・コスト削減 ビジネスモデルの創造 付加価値の向上 ITへの意識 ビッグデータ
19. 様々なドメインで注⽬されるビッグデータ 農業 医療 交通 製薬 観光 防災 気象 広告 流通 教育 ICT スポーツ 報道 効率化・コスト削減 ビジネスモデルの創造 付加価値の向上 ITへの意識 ビッグデータ ビッグデータがあるからこそ 有用な知見や新たな価値を引き出せる
20. 単に巨大なデータ ビッグデータ ≠ 有⽤な価値を引き出すには 「巨⼤であること」以外の条件も満たす必要あり
21. ビックデータの特徴3V Volume Velocity Variety データの量が圧倒的に多い データの発生・更新頻度が大きい データの発生源、データの種類が多様
22. ビックデータの特徴3V Volume Velocity Variety データの量が圧倒的に多い データの発生・更新頻度が大きい データの発生源、データの種類が多様
23. データの量 1GB x 1 = 1GB 1KB x 1,000,000 = 1GB … データ集合（集団）の特徴を捉えるには 量（数）がより重要 ＜ データ集合に 関する情報量
24. ビックデータの特徴3V Volume Velocity Variety データの量が圧倒的に多い データの発生・更新頻度が大きい データの発生源、データの種類が多様
25. データの多様性 … データが多様でないと データ集合から多様な価値を取り出せない ＜ 価値の多様性 … 多様なデータがあるからこそ，集団の特徴が浮かびあがり ニッチな価値が⾒つかる
26. ビックデータの特徴3V Volume Velocity Variety データの量が圧倒的に多い データの発生・更新頻度が大きい データの発生源、データの種類が多様
27. データの発⽣速度（頻度） ある時期のこと しか分からない データの発生頻度が高いと、データ集合の 特徴を時間的な解像度を高く捉えられる ＜ 時間 時間 時間を考慮して， 集団の特徴を捉えられる 有⽤度 （⻑期的な視点，季節要因，リアルタイム性）
28. ビッグデータの例: Twitter
29. U.S. Mood Throughout the Day inferred from Twitter https://www.youtube.com/watch?v=ujcrJZRSGkg
30. ビッグデータの利活⽤例：SUICA 画像出典: https://www.jreast.co.jp/suica/ 39
31. SUICA の利⽤データ 画像はhttps://www.jreast.co.jp/card/thankspoint/より 20歳の女性 ・7月7日10時10分にA駅で乗車 ・7月7日11時10分にB駅で下車 ・7月8日8時0分にC駅で乗車… 40
32. 画像はhttps://www.jreast.co.jp/card/thankspoint/より SUICA の利⽤データ § ID § 性別 § 年齢 § 乗⾞履歴 - 乗⾞情報（場所・⽇時） - 降⾞情報（場所・⽇時） § 電⼦マネー使⽤履歴 41
33. JR東⽇本の「駅カルテ」: 利⽤履歴を集約するダッシュボード(1/3) 画像出典: https://www.jreast.co.jp/suica/corporate/suicadata/eki-karte.html 様々な角度から生データを自動集約・可視化 42
34. JR東⽇本の「駅カルテ」: 利⽤履歴を集約するダッシュボード(2/3) 画像出典: https://www.jreast.co.jp/suica/corporate/suicadata/eki-karte.html 43
35. JR東⽇本の「駅カルテ」: 利⽤履歴を集約するダッシュボード (3/3) 画像出典: https://www.jreast.co.jp/suica/corporate/suicadata/eki-karte.html 44
36. 45 ビッグデータの利活⽤例2：ブレーキ情報 急ブレーキを踏んだ 「時間」と「場所」
37. Honda s SAFETY MAP: 「急ブレーキ」ビッグデータの活⽤ https://www.youtube.com/watch?v=W6E5E3EBo7A 46
38. 類似事例：愛媛県松⼭市の「交通事故発⽣リスクの可視化」 事故発⽣データに加え、地形・道路情報・ ドライブレコーダの加減速データを分析・可視化 出典: PLATEAU by 国⼟交通省, https://www.mlit.go.jp/plateau/use-case/uc22-46/ 47
39. ビッグデータのうま味を活かすための重要なこと SUICAの利⽤履歴データ 急ブレーキデータ 時間 場所 性別 年齢 乗降⾞の場所・時間 時々刻々と集まる生データを対象とする (特定の時期だけ収集したデータや集約済みデータではない) 48
40. 情報推薦にビッグデータを活⽤するAmazon
41. http://www.theguardian.com/news/datablog/interactive/2012/oct/25/twitter-languages-london-top-ten セグメント分析 パターン発見 関連性分析 例外検出 最適アクション決定 将来予測 ビッグデータの用途
42. AI画像解析による乳がんの早期予測（リスク評価） AI が乳がん化を予測 実際にガン化 ⽂献： McKinney, S.M., Sieniek, M., Godbole, V. et al. International evaluation of an AI system for breast cancer screening. Nature 577, 89‒94 (2020). 画像出典： https://news.mit.edu/2019/using-ai-predict-breast-cancer-and-personalize-care-0507 マンモグラフィ検診は，⼈間でも判定が難しいので，AI⽀援は がん予測の精度向上と⼈間の作業負荷の削減につながる 51
43. 採⽤活動で活躍し始めた「AI⾯接員」 (⽇経ビジネスより) 画像出典： https://business.nikkei.com/atcl/report/15/226265/060700137/
44. なぜ今、ビッグデータなのか? 2
45. ビッグデータが注⽬され始めた理由 ビッグデータ技術のコモディティ化 情報爆発時代の到来 研究者・ハイテク企業の技術が一般人でも利用可能に 圧倒的なスピードで生成され続けるデータ
46. ビッグデータが注⽬され始めた理由 ビッグデータ技術のコモディティ化 情報爆発時代の到来 研究者・ハイテク企業の技術が一般人でも利用可能に 圧倒的なスピードで生成され続けるデータ
47. 情報爆発時代の到来 56
48. 情報爆発時代の到来 57 2010年までにの生成されたデジタルデータの量は 過去発行された紙書籍のデータ量の約1800万倍!! 1ZB（1兆GB） ≒ 988EB(2010)
49. （出典）情報通信審議会ICT基本戦略ボード「ビッグデータの活用に関するアドホックグループ」資料 様々な種類のビッグデータ
50. （出典）情報通信審議会ICT基本戦略ボード「ビッグデータの活用に関するアドホックグループ」資料 様々な種類のビッグデータ コンピュータやネットを使って 企業 がビジネスを始めて以降
51. （出典）情報通信審議会ICT基本戦略ボード「ビッグデータの活用に関するアドホックグループ」資料 様々な種類のビッグデータ 一般消費者がネットに情報を 発信しはじめて以降（Web2.0）
52. （出典）情報通信審議会ICT基本戦略ボード「ビッグデータの活用に関するアドホックグループ」資料 様々な種類のビッグデータ 機械が自動でデータを収集し はじめて以降（現在）
53. ビッグデータ収集のためのセンサーデバイスの普及 http://itpro.nikkeibp.co.jp/article/Active/20130401/467581/
54. iPhone中のセンサーデバイス • GPS • マイク • 近接センサー • ジャイロセンサー • 輝度センサー • 電子コンパス • 加速度センサー • 歩数センサー • 指紋センサー • カメラ
55. モノのインターネット（Internet of Thing, IoT） モノがインターネットに接続することで 超大規模なデータがリアルタイムに収集可能に http://special.nikkeibp.co.jp/ts/article/ad0c/163883/
56. ビッグデータが注⽬され始めた理由 ビッグデータ技術のコモディティ化 情報爆発時代の到来 研究者・ハイテク企業の技術が一般人でも利用可能に 圧倒的なスピードで生成され続けるデータ
57. ビッグデータ技術のコモディティ化 収集技術 蓄積・処理技術 分析技術 高速度で発生する超大量の データを効率よく処理 センサーとIoTを使ってデータを 低コストで大量に自動収集 超大量のデータから 有用な知見を引き出す
58. 様々なビッグデータ分析技術 機械学習 情報検索 自然言語・画像・音声処理 データからパターンを学習し、未知データに対して予測を行う技術 データの中から意図に沿った情報を見つけ出す技術 自然言語・画像・音声の構造・意味を分析する技術 データマイニング データの中から未知の知識を抽出する技術
59. ビッグデータ処理技術のコモディティ化 商用クラウドプラットフォーム・ツール群 分散 処理 機械 学習 GAFA等の大IT企業が利用するビッグデータ基盤を 一般人も手軽に利用することが可能に データ 管理
60. Google⾃動⾛⾏⾞ x ビッグデータ http://www.google.com/selfdrivingcar/
61. 様々なセンサーを利⽤ http://www.google.com/selfdrivingcar/ • 対象物までの距離 • 前方の車の速度 走行距離 車の動きと傾き 周囲（360度）の映像 GPS位置情報
62. 100万キロ以上の⾛⾏履歴データを使い⼈⼯知能を構築 http://www.google.com/selfdrivingcar/ 物体認識 走行経路最適化 パターン分類 車体制御 イベント予測 ビッグデータ × 機械学習
63. ビッグデータ登場で最も注⽬されている分析技術 meets BigData!! ?
64. ビッグデータ登場で最も注⽬されている分析技術 meets BigData!! Deep Learning
65. AI! ⼈⼯知能! ディープラーニング!! ???? 画像出典：NHKスペシャル「AIに聞いてみた どうすんのよ!? ニッポン」 画像出典：https://www.amazon.co.jp/dp/B07JYYCG1D 74
66. ⼈⼯知能の研究トピック 人工知能 推論 探索 機械学習 知識表現 … 教師あり学習 教師なし学習 強化学習 ・クラスタリング ・データ圧縮 ・分類 ・回帰 75
67. AI（⼈⼯知能）と機械学習とディープラーニング 人工知能 機械学習（弱いAIの一部） ディープラーニング = 今流行のAIの正体 大流行りのAI = 機械学習 76
68. 典型的な機械学習タスク：教師あり学習（分類問題） 画像出典：https://ja.wikipedia.org/wiki/ハタタテダイ 全長が25cmくらいで，長く伸びた白いヒレ． 白い体に2本の黒い帯．背びれが黄色い． この特徴がある魚は「ハタタテダイ」！ 対象を分類する特徴を機械にどう学習させるか？ 77
69. 教師あり学習（1/2） ふぐ ブリ 鯛 鰹 大量のラベル付データ 機械学習 アルゴリズム ◦◦の識別に必要となる 特徴と分類ルール 画像出典: https://jp.mathworks.com/help/deeplearning/examples/visualize-features-of-a-convolutional-neural-network.html 全長が25cmくらいで， 長く伸びた白いヒレ． 白い体に2本の黒い帯． 背びれが黄色い． これは「ハタタテダイ」 大量のラベル（答え）付データを与えて ラベルを分類する特徴とルールを抽出（学習）する 78
70. Google Teachable Machine https://teachablemachine.withgoogle.com/train/image 79
71. LINNE LENS 画像出典：https://global-square.com/blog/linne-lens_display_fish_info/ 80
73. 数理的に考える分類問題（1/2） X 0 Y ? ▲ •と×のデータ集合が与えられたときに， 未知の2次元データが•か×をどう分類する？ Q.（ある傾向に基づいて発生した）
74. 数理的に考える分類問題（2/2） X 0 Y ? ▲ •と×のデータを2分するような直線を見つける A. 直線より上側なら「×」 直線より下側なら「•」 ax+by+c=0
75. 生成AI: 生産性促進ツール? 3
76. Q. って聞いたことある？ ChatGPT
77. l2022年にOpenAI社がリリースした幅広い タスクに対して⾃然⾔語で回答するAI ChatGPT l無批判な使⽤や個⼈情報漏洩の恐れから， 国や団体によっては使⽤を禁⽌する動きも
78. できること アイデア⽣成 情報検索 想定意⾒⽣成 コード⽣成 ⽂書要約/翻訳 ⽂案⽣成 ⽂⽣成/変換 質問応答 評価・分類 相談 スコア/ラベルづけ ChatGPT プロンプト(⼊⼒)を⼯夫することで様々なタスクに対応可能 （を含むテキスト⽣成AI）
79. ChatGPT: ⼤規模⾔語モデルにもとづくチャットボット
80. ChatGPT: ⼤規模⾔語モデルにもとづくチャットボット
81. ChatGPT: ⼤規模⾔語モデルにもとづくチャットボット
82. ChatGPTを使ってみよう https://chatgpt.com/
83. ChatGPT: ⼤規模⾔語モデルにもとづくチャットボット l2022年にOpenAI社がリリースした幅広い タスクに対して⾃然⾔語で回答するAI ChatGPT 情報検索 l無批判な使⽤や個⼈情報漏洩の恐れから， 国や団体によっては使⽤を禁⽌する動きも 要約・変換 コード生成 分類 … ChatGPTはどのように言語を 理解して文を生成しているのか？
84. クイズ Q. □に入る言葉は何か？ 予報では、 明日の 天気は ? A: 晴れ B: 良きかな C: ラーメン
85. クイズ Q. □に入る言葉は何か？ 予報では、 明日の 天気は ? A: 晴れ B: 良きかな C: ラーメン
86. ⾔語モデル 明⽇ の は と 天気 … 確率大 中 ⼩ 単語（系列）の後にある単語が出現する確率分布
87. ⾔語モデル 明⽇ の は と 天気 テスト 天気 … だめ … 遠⾜ 中 中 ⼩ ⼤ 単語（系列）の後にある単語が出現する確率分布
88. ⾔語モデル 明⽇ の は と 天気 テスト は 天気 … だめ … 遠⾜ 予報 が … 単語（系列）の後にある単語が出現する確率分布
89. ⾔語モデル 明⽇ の は と 天気 テスト は 天気 … だめ … 遠⾜ 予報 が … 晴れ 曇り ⼤⾬ うどん … 単語（系列）の後にある単語が出現する確率分布
90. ⾔語モデル 明⽇ の は と 天気 テスト は 天気 … だめ … 遠⾜ 予報 が … 晴れ 曇り ⼤⾬ うどん … 単語（系列）の後にある単語が出現する確率分布
91. ⾔語モデル 単語（系列）の後にある単語が出現する確率分布 超⼤量の⽂書データ GPT3の場合，45TBのウェブページ ⼤規模⾔語モデル 機械学習 - ⼤量の⽂書を使って⾔語の出現確率を計算し， ⼈間の⾔葉の使い⽅の傾向を抽出 - 抽出した⾔語モデルを使って質問⽂に続く回答を予測
92. ⽂書を⼤量に解析した結果，展開的にありえそうな単語系列を予測
93. ELYZA Pencil (サービス終了) キーワードに関する文章を自動生成する国産サービス
94. 画像の⽣成は？ ものすごく たくさんのデータ ⽝ ネコ 海 … AIが覚えたルール 見つけたパターンをうまく使えば、 パターンにあうデータを作れるのでは？ 海にいるネコ
95. 画像の⽣成：GAN (Generative Adversarial Network) (1/2) 深層学習を用いたコンテンツの生成 https://thispersondoesnotexist.com
96. ThisPersonDoesNotExist.comに アクセスしてAIに写真を作らせてみよう 気にしてみると⾯⽩い点 • 変な写真が出てくることはない？ • 出てくる写真にかたよりはない？
97. This person does not exist https://bit.ly/3DmoYno
98. ⾃動画像⽣成サービス DALL-E 太陽が輝く海岸でサーフィン するネコ．絵の作者はゴッホ 真夜中に輝く虹 コトバを与えると絵を描いてくれるAI
99. すばやく正確に見分けるし、 面白いコンテンツも作ってくれる AIはすごい！人間よりすごい!? AI最高!?
100. すばやく正確に見分けるし、 面白いコンテンツも作ってくれる AIはすごい！人間よりすごい!? AI最高!? 本当にそうだろうか…？ AIを活用するにあたって 何か問題はないのだろうか？
101. AI利⽤における諸問題 AI生成物と著作権 AIは人間でも法人でもないが，AIが作ったものは著作物なのか？ AIと倫理・責任 AIに意思決定を委ねて問題が起きたとき，誰が責任を持つ？ AIの過剰利用によるリスク - AIは100％正しい答えを出すとは限らない - AIを悪用することも可能 - 知らぬうちに人間の認知能力，社会性を低下させる可能性も
102. AI利⽤における諸問題 AI生成物と著作権 AIは人間でも法人でもないが，AIが作ったものは著作物なのか？ AIと倫理・責任 AIに意思決定を委ねて問題が起きたとき，誰が責任を持つ？ AIの過剰利用によるリスク - AIは100％正しい答えを出すとは限らない - AIを悪用することも可能 - 知らぬうちに人間の認知能力，社会性を低下させる可能性も
103. それっぽいが間違えるChatGPT
104. ChatGPTのような⼤規模⾔語モデルの振るまい 単語（系列）の後にある単語が出現する確率分布 超⼤量の⽂書データ ⼤規模⾔語モデル 学習 - ⼤量の⽂書を使って⾔語の出現確率を計算し， ⼈間の⾔葉の使い⽅の傾向を抽出 - 抽出した⾔語モデルを使って質問⽂に続く回答を予測 ポイントは学習データの中で確率的によく見かけそうか
105. ChatGPTのような⼤規模⾔語モデルの振るまい 単語（系列）の後にある単語が出現する確率分布 超⼤量の⽂書データ ⼤規模⾔語モデル 学習 - ⼤量の⽂書を使って⾔語の出現確率を計算し， ⼈間の⾔葉の使い⽅の傾向を抽出 - 抽出した⾔語モデルを使って質問⽂に続く回答を予測 ポイントは学習データの中で確率的によく見かけそうか • 「高確率」と「論理的に妥当」は異なる • 学習データに含まれないものは うまく扱えない （例: 最新の話） • 確率的にありうる文が正しいわけではない （例：大衆の意見 vs. 専門家の意見） にも関わらず，回答はそれっぽいので 多くの人はついつい信じ込んでしまう
106. ChatGPTを学⽣が利⽤することについての⾒解 出典： 読売新聞，https://www.yomiuri.co.jp/kyoiku/kyoiku/news/20230408-OYT1T50388/ AIを使いこなすことが重要だが，AIの過剰利用で自分で 考える機会を失う人が続出するのが問題
107. 初学者による⽣成AIの単純利⽤の先はディストピア？ 図はAccentureのTechnology Vision 2023の報道イベントより 熟練者は生成AIをうまく使う ⇒ 生産性・創造性↑ 初学者は表層的にAIを使う ⇒ 成長なし・生産性↓ ⽣成AIの影響・使い⽅，学ぶとは何かをきっちり学⽣に教える必要あり
108. ますます便利になる情報アクセス環境!? 大量のユーザログを解析し、 クリックされやすい情報を並べる 検索エンジン 何を見たか・フォローしたかを解析し、 好まれそうな情報を表示するＳＮＳ 高度な人工知能技術による情報配信の最適化、個人化
109. フィルターバブル あなたが好きなネット情報 = 偏った情報 AIの力で自分にとって好ましい情報しか見れなくなる
110. AI技術 x ソーシャルメディア = 社会の分断？ Figure 1: The political retweet (left) and mention (right) networks, laid out using a force-directed algorithm. Nod cluster assignments (see § 3.1). Community structure is evident in the retweet network, but less so in the mentio show in § 3.3 that in the retweet network, the red cluster A is made of 93% right-leaning users, while the blue cl Conover, Michael D., Jacob Ratkiewicz, Matthew R. Francisco, Bruno Gonçalves, Filippo Menczer, and Alessandro Flammini. 2011. “Political Polarization on Twitter.” In Proceedings of the Fifth International AAAI Conference on Weblogs and Social Media, 133:89–96. Twitterで政治情報を 共有した人のつながり ⾚⾊：共和党寄り ⻘⾊：⺠主党寄り 同じ意見を持つグループ の情報しか入ってこない 自分は正しいと思う
111. ディープフェイク：GAN技術を使った動画のねつ造 悪⽤ https://www.youtube.com/watch?v=7Fwu4N3THrM
112. ディープフェイク：GAN技術を使った動画のねつ造 https://www.youtube.com/watch?v=gLoI9hAX9dw
113. AI利⽤における諸問題 AI生成物と著作権 AIは人間でも法人でもないが，AIが作ったものは著作物なのか？ AIと倫理・責任 AIに意思決定を委ねて問題が起きたとき，誰が責任を持つ？ AIの過剰利用によるリスク - AIは100％正しい答えを出すとは限らない - AIを悪用することも可能 - 知らぬうちに人間の認知能力，社会性を低下させる可能性も
114. AI利⽤における諸問題 AI生成物と著作権 AIは人間でも法人でもないが，AIが作ったものは著作物なのか？ AIと倫理・責任 AIに意思決定を委ねて問題が起きたとき，誰が責任を持つ？ AIの過剰利用によるリスク - AIは100％正しい答えを出すとは限らない - AIを悪用することも可能 - 知らぬうちに人間の認知能力，社会性を低下させる可能性も
115. ビッグデータを活用するには? 4
116. ビッグデータ× ITイノベーションに向けた課題 ビッグデータに関するリテラシー向上 ビッグデータの価値やつきあい方、本当に分かっていますか？ ビッグデータを集めるデザイン データが無ければビッグデータは始まらないが，データあります？… ビッグデータとプライバシー 匿名化したとしても，個人に関するデータを勝手に収集・配布していいの？
117. ビッグデータ× ITイノベーションに向けた課題 ビッグデータに関するリテラシー向上 ビッグデータの価値やつきあい方、本当に分かっていますか？ ビッグデータを集めるデザイン データが無ければビッグデータは始まらないが，データあります？… ビッグデータとプライバシー 匿名化したとしても，個人に関するデータを勝手に収集・配布していいの？
118. データサイエンティストには どんなスキル・知識が求められるか？ Q.
119. データサイエンス = 機械学習? = 統計学? = プログラミング?
120. データ分析に必要な データを収集・構築する データ 構築 前処理 データ分析 手法適用 評価・分析 データ分析・活⽤のプロセス データ分析手法を走らせるために データをクリーニング，統合，変形 種々のデータ分析 手法の適用 分析結果の評価・分析 得られた知見の考察
121. データ分析に必要な データを収集・構築する データ 構築 前処理 データ分析 手法適用 評価・分析 データ分析・活⽤のプロセス データ分析手法を走らせるために データをクリーニング，統合，変形 種々のデータ分析 手法の適用 分析結果の評価・分析 得られた知見の考察 一般人が考えるデータサイエンスはこれ
122. 学習モデルの構築・評価の⾃動化もある程度AIにお任せできる 学習モデルの構築・評価にはもはや人間は必要ない?
123. データ解析に必要な データを収集・構築する データ 構築 前処理 データ解析 手法適用 評価・分析 データ解析・活⽤のプロセス データ解析手法を走らせるために データをクリーニング，統合，変形 種々のデータ解析 手法の適用 解析結果の評価・分析 得られた知見の考察 データ解析の8割は「データ構築と前処理」
124. データサイエンス = 機械学習? = 統計学? = プログラミング? = コンピュータ科学! ビッグデータを⽤いた + データに基づく科学的思考
125. データサイエンスはどこにある？ 機械 学習 コンピュータ科学 （情報科学） データ分析の対象 となる分野 （例: 社会科学，薬学） 数学 & 統計学 データサイエンス ビッグデータを⽤いた
126. データサイエンスはどこにある？ 機械学習 コンピュータ科学 データ分析の対象 となる分野 数学 統計学 データサイエンス Jeff Ulman, “Data Science: Is It Real?”より 135 ⼤規模なデータを使った分析にはコンピュータ科学の⼒が必要 DSの応⽤利⽤には応⽤分野に関する知⾒も不可⽋ ビッグデータを⽤いた
127. データ 構築 前処理 データ解析 手法適用 評価・分析 データ解析・活⽤のプロセス 実験計画法 推測統計 記述統計 社会調査法 多変量解析 統計モデリング Small Data
128. データ 構築 前処理 データ解析 手法適用 評価・分析 データ解析・活⽤のプロセス Small Data Big Data 実験計画法 推測統計 記述統計 社会調査法 センシング(IoT) データベース さまざまなセンサーから ⼤量のデータを収集 ⼤量のデータを効率よく 管理・検索・集約 機械学習 データから法則性を 抽出し，再利⽤ 当然ながら，データを解釈し⽅法論を改善する⼒も必要
129. データサイエンス作業の分担と職種 https://www.oreilly.com/ideas/data-engineers-vs-data-scientists データサイエンティスト データエンジニア 高度な数学・統計知識 機械学習 高度な分析技術 高度なプログラミング データベース データパイプライン 分散処理 機械学習エンジニア データラングリング 機械学習の運用 機械学習のチューニング
130. いわゆるデータサイエンス企業に⼊りたいなら データ分析コンペ Kaggleに参加して 順位を上げる • どんなデータサイエンス系の 資格よりも圧倒的に説得⼒あり • DeNAはKaggle枠の採⽤あり Kaggleがすべてではないが，実践⼒UPの機会として使える
131. データを超大量に集めれば 見えなかった価値が浮かび上がる 量が質に転換!! ビッグデータ，データサイエンス活用に向けた課題 • ビッグデータやAIに関するリテラシー • AIに潜むリスクの理解 • AI倫理やAIに行為を委託する際の責任 まとめ …
132. レポート課題 5
133. 課題内容 ChatGPT(https://chatgpt.com/) を用いて 以下の問いに対する回答を作成しなさい． ChatGPTへの質問文および回答文が分かるよう， 画面のスクリーンショット（画像）を提出しなさい． 1. 「精査可能性モデル」とは何か？ 2. 「精査可能性モデル」の活用例を挙げなさい． 問い ただし，以下の条件を守ること． • あなたが回答を作成してはならない （回答を作成するのはChatGPTであり， この課題であなたができることはChatGPTへ質問することだけです） • 嘘や間違いが回答に含まれないようにする
134. 提出⽅法 143 提出形態 PDF文書（ファイル名は学籍番号とすること） 提出方法 Learning Box 経由 提出締め切り 2024年 5月 20日（月） 23:59 ※ 必ず https://bit.ly/ncu-ds2024-ymmt3 にある テンプレートを⽤いてレポートを作成すること