2024年度 数理・データサイエンス・AI入門 #4

学部生がAI分野に興味を持ってもらうことを主眼とした授業の資料例です．

Transcript

1. MDA⼊⾨ 2024年度 秋学期 ⽉曜5限 #4 広瀬 陽⼀ 横浜国⽴⼤学 理⼯学部 ⾮常勤講師 数理・データサイエンス・AI⼊⾨ slido.com # 2519192
2. 1 ⽬次 機械学習の学習⽅法 教師あり学習，教師なし学習，⾃⼰教師あり学習，強化学習 雑多な話題 アンサンブル学習，⽊モデル，因果と相関 特徴的なデータ表現 構造化データ, SQL, メタデータ 特徴的なデータ作成と取り扱いの注意 サンプリング, 様々なログデータ, アノテーション，クラウドソーシング 標本誤差, サンプルの偏り, 計測誤差, データの死蔵, ⼈権問題
3. 機械学習の学習⽅法 学習に⽤いるデータの性質によって機械学習を分類可能 2 教師あり学習 教師なし学習 ⾃⼰教師あり 学習 強化学習 ⼊⼒データ ✅ ✅ ✅ ­ ⼈⼿で作成した ラベル ✅ ­ ⼊⼒データから 作成 ­ Tiger Shark AIモデルへの⼊⼒データ ラベル
4. 教師あり学習 3
5. 教師あり学習 | 機械学習の分類 教師あり学習 (supervised learning) ⼊⼒データと ⼈⼿で作成した正解（ラベル）の両⽅を利⽤した学習 ⼀般的な学習⽅法だが ラベルの作成にコストがかかる Tiger Shark Oboe Canon その打ち合わせ、 ⼀度したほうが いいと思いまして。 I thought we should maybe have a meeting once for that. 4 $ 208,500 1710 ft2, 8部屋, 2003年
6. 何か誤差を定義 機械学習モデルによる予測とラベルの誤差を 最⼩化するようにモデルを学習 ⼿法の例 最⼩⼆乗法（回帰問題; 数値を予測） クロスエントロピー損失の最⼩化（分類問題; クラスを予測） #2 教師あり学習 | 機械学習の分類 5 ⼊⼒データ ラベル
7. 教師あり学習 | 機械学習の分類 6
8. 教師なし学習 7
9. 教師なし学習 | 機械学習の分類 教師なし学習 (unsupervised learning) ⼊⼒データのみを利⽤した学習 パターンやグループの学習が⽬的 k-平均法 （クラスタリング） 8
10. K-means | 機械学習の分類 ランダムに決めたK個の中⼼点に対して次を繰り返す 中⼼点に⼀番近いデータ点を同じクラスタだとする それぞれのクラスタの中⼼点を決める 9
11. 10 K-means | 機械学習の分類
12. 3次元 ⾝⻑ 体重 BMI PCA | 機械学習の分類 教師なし学習の他の例として データの次元を⼩さくすることが挙げられる 本質的な情報だけを取り出す 11 主成分分析 (PCA) 次元削減 1次元 (性別という本質的な情報︖) 注: ⼈⼯データ
13. PCA | 機械学習の分類 ⼀番データが散らばっている⽅向（主成分）を⾒つけ 元データからの”影”を次元削減データとする ⼆次元に削減したいときは 次に散らばっている⽅向（第⼆主成分）でも同じ作業をする 12 Right Fig.: C.M.Bishop, Pattern Recognition and Machine Learning, p.561.
14. ⾃⼰教師あり学習 13
15. ⾃⼰教師あり学習 | 機械学習の分類 ⾃⼰教師あり学習 (self-supervised learning) ⼊⼒データと ⼊⼒データから作成したラベルを 利⽤した学習 タスクが限られるが ラベルの作成にコストがかからない ⼤量のデータを⽤意可能 theatre WikiText より = Robert Boulter = Robert Boulter is an English film, television and ChatGPTなどの ⾃然⾔語の⽣成AIで利⽤ 14
16. ⾃⼰教師あり学習 | 機械学習の分類 画像の次元削減をするAIモデルのためにも⽤いられる ⼀致するよう 学習 ⼀致しないよう 学習 （同じ)AIモデル 15 画像 次元の⼩さい ベクトル となるAIモデルを得たい 対照学習
17. 強化学習 16
18. 強化学習 例としてロボットの学習が挙げられる 環境内での⾏動規則を学習 ただし⾏動によって環境は変化 強化学習が想定する設定では どのように⾏動すればいいかは正解データがない エージェント⾃⾝がデータを獲得する必要 強化学習 | 機械学習の分類 17 エージェント 環境 次の⾏動 ある状態 次の⾏動 次の状態 ⾃動的に決まる ⾏動規則
19. 強化学習 | 機械学習の分類 強化学習の⾏動には探索と活⽤のトレードオフがある 新しい経験をする（＝⾏動）ときのトレードオフ https://iq.opengenus.org/exploration-exploitation-dilemma/18 😀 ⾏動規則の最適化が進む 😨 うまくいかない試⾏が増える 探索 Explore 活⽤ Exploit 😀 試⾏結果が安定する 😨 ⾏動規則の最適化が進まない
20. ⽤語の整理 ⾏動による嬉しさ（累積報酬; 収益）を最⼤化するように ⾏動の⽅針（⽅策）を最適化 19 動機 | 強化学習 エージェント 環境 ⾏動 右へ移動 ⽅策 状態 ⾏き⽌まり 宝箱GET 報酬
21. 21 例⽰ | 強化学習 エージェント ⾏動 状態 収益 チェス プレイヤー 1⼿ 盤⾯ 勝率 ロボット制御 ロボット 関節の制御 関節の位置 視界 移動距離 レコメンド 推薦者 動画の提⽰ 視聴者の属性 視聴履歴 クリック率 https://en.wikipedia.org/wiki/History_of_chess https://gymnasium.farama.org/environments/box2d/bipedal_walker/ ✅ ­
22. 22 ⽬次 機械学習の学習⽅法 教師あり学習，教師なし学習，⾃⼰教師あり学習，強化学習 雑多な話題 アンサンブル学習，⽊モデル，因果と相関 特徴的なデータ表現 構造化データ, SQL, メタデータ 特徴的なデータ作成と取り扱いの注意 サンプリング, 様々なログデータ, アノテーション，クラウドソーシング 標本誤差, サンプルの偏り, 計測誤差, データの死蔵, ⼈権問題
23. アンサンブル学習 23
24. アンサンブル学習 予測性能の向上のために多数のモデルの結果を統合する⽅法 “3⼈寄れば⽂殊の知恵” ⽅式 実⽤上で⾮常によく利⽤される 24 モデルA モデルB モデルC ネコ イヌ イヌ イヌ 投票，平均
25. アンサンブル学習 様々な⽅法がある: Boosting 25 モデルA モデルAʼ モデルAʼ' 学習結果を利⽤し 順々に次のモデルを学習 (利⽤⽅法は様々) Boost していくイメージ
26. アンサンブル学習 様々な⽅法がある: Bagging 26 モデルA モデルAʼ モデルAʼ' 投票や平均で予測 異なるデータサンプルで学習 Bag に 詰め込むイメージ
27. 決定⽊モデル 27
28. 決定⽊モデル 学習データのラベルを適切に予測するような 決定⽊を学習するモデル 分類問題と回帰問題の 両⽅に利⽤可能 28 https://ja.wikipedia.org/wiki/%E6%B1%BA%E5%AE%9A%E6%9C%A8 条件分岐 ゴルフをするか予測 する しない しない する する
29. 決定⽊モデル ある基準を最⼩化するように 条件分岐の有無と内容を最適化 分類問題での有名な基準はラベルの混合度（ジニ不純度） 回帰問題では平均⼆乗誤差など 最適化する⽅法は CART (Classification And Regression Trees) など数多く提案 29 ジニ不純度
30. 勾配ブースティング決定⽊ 決定⽊モデルとブースティングを組み合わせた⼿法 表データセットに対して優れた性能を出す 傾向にあると知られている（深層学習モデルに⽐べ） 直感的には予測の微調整を⾏う 30 $ 208,500 1710 ft2, 8部屋, 2003年 決定⽊1 (ラベルを予測) ラベルと予測の 誤差を算出 決定⽊2 (誤差を予測) ⼊⼒データ [1] 表データセットの例
31. 因果と相関 31
32. 相関関係 | 因果と相関 相関係数とは⼆変数が 線形にどれだけ関係してるか を表す -1 から 1 の数値 相関係数が 0 であっても関係性がない (独⽴) とは限らない 32 0.9 0.3 -0.3 -0.9 0.07 0.003
33. 33 因果関係 | 因果と相関 下の図の⼆変数には相関関係があるが 直感的に因果関係はあるか︖ https://pid.nhk.or.jp/jushinryo/know/pdf/toukei2010.pdf https://www.slideshare.net/takehikoihayashi/ss-13441401
34. 34 因果関係 | 因果と相関 先の例だと「年」という共通の原因がある どちらにも影響する要素を交絡因⼦という このときの相関関係を特に疑似相関という
35. ⼀般に相関関係と因果関係は等価でない 因果関係を⽰すには 交絡因⼦がないことを⼗分考慮する必要あり ⽣まれ⽉と所得に 相関はないか︖ ⽣まれ⽉と 出⽣時の健康状態に 相関はないか︖ などの交絡因⼦を 考慮する必要 35 因果関係 | 因果と相関 早⽣まれは不利だと主張した論⽂ [1] 内の図
36. 36 因果関係の定義例 | 因果推論 反事実的条件を考えることで 数学的に因果関係を定義可能 [2,3] 例: 頭痛が⽌まった原因は薬か︖ 薬を飲んでいたときの痛み Y t=1 薬を飲んでいなかったときの痛み Y t=0 Y t=1 Y t=0 反事実 他は同じ条件
37. 37 因果関係の定義例 | 因果推論 もしも反事実が起きたときの効果がわかれば 因果関係を定義できる 他が同条件なら交絡因⼦はない 薬を飲まなかったことが頭痛の原因でない 薬を飲まなかったことが頭痛の原因 Y t=1 Y t=0 = 0 Y t=1 Y t=0 > 0 : 痛みに差がない : 痛みに差がある
38. 38 因果関係の検証 | 因果と相関 しかし個体レベルで因果関係は識別できない 集団の平均を⾒ることで解決 ランダム化⽐較試験 ⽐較したい処置以外は公平となるように ランダムに対象を群に振り分ける 集団として他が同条件なら 交絡因⼦はない 違いは処置の有無のみ Y t=1 Y t=0
39. 39 ⽬次 機械学習の学習⽅法 教師あり学習，教師なし学習，⾃⼰教師あり学習，強化学習 雑多な話題 アンサンブル学習，⽊モデル，因果と相関 特徴的なデータ表現 構造化データ, SQL, メタデータ 特徴的なデータ作成と取り扱いの注意 サンプリング, 様々なログデータ, アノテーション，クラウドソーシング 標本誤差, サンプルの偏り, 計測誤差, データの死蔵, ⼈権問題
40. 関係データベース 40
41. 41 構造化データ 項⽬の形式や順序や明確に定義されたデータ (*) 表データ (Excel) や 関係データベース (後述) など Excel の例 (*) https://e-words.jp/w/%E6%A7%8B%E9%80%A0%E5%8C%96%E3%83%87%E3%83%BC%E3%82%BF.html ID 名前 役職 1 佐藤 営業 2 鈴⽊ SE 3 ⾼橋 SE タスク 担当者 期⽇ ⾯接 鈴⽊ 11/11 開発 ⾼橋 12/20 デバッグ ⾼橋 12/1 ⼈事が保有 開発部⾨が保有
42. 42 構造化データ Excel にはデータの⼀貫性を始めとする問題あり 結婚などで “⾼橋” から “⽥中” に⼈事が更新しても 開発部⾨のデータは更新されず (*) https://e-words.jp/w/%E6%A7%8B%E9%80%A0%E5%8C%96%E3%83%87%E3%83%BC%E3%82%BF.html ID 名前 役職 1 佐藤 営業 2 鈴⽊ SE 3 ⾼橋 → ⽥中 SE タスク 担当者 期⽇ ⾯接 鈴⽊ 11/11 開発 ⾼橋 12/20 デバッグ ⾼橋 12/1 ⼈事が保有 開発部⾨が保有
43. 43 関係データベース Excel ではデータに冗⻑性もある このような問題を解決するものが関係データベース いわゆるデータベースと呼ばれるものはこれが多い ( Relational Database; RDB ) 企業を中⼼として幅広く利⽤ ID 名前 役職 1 佐藤 営業 2 鈴⽊ SE 3 ⾼橋 SE タスク 担当者 期⽇ ⾯接 鈴⽊ 11/11 開発 ⾼橋 12/20 デバッグ ⾼橋 12/1 同じ情報を 何度も⼊⼒（冗⻑）
44. 44 関係データベース 名前 ID 名前 1 佐藤 2 鈴⽊ 3 ⾼橋 タスク ID タスク 担当者 ID 期⽇ 1 ⾯接 2 11/11 2 開発 3 12/20 3 デバッグ 3 12/1 属性 ID 名前 ID 役職 ID 1 1 1 2 2 2 3 3 2 役職 ID 役職 1 営業 2 SE IDと項⽬のペアを記述 IDを利⽤して 関係性を記述 名前テーブル 役職テーブル 属性テーブル タスクテーブル
45. 45 関係データベース 名前 ID 名前 1 佐藤 2 鈴⽊ 3 ⾼橋 タスク ID タスク 担当者 ID 期⽇ 1 ⾯接 2 11/11 2 開発 3 12/20 3 デバッグ 3 12/1 属性 ID 名前 ID 役職 ID 1 1 1 2 2 2 3 3 2 役職 ID 役職 1 営業 2 SE IDと項⽬のペアを記述 IDを利⽤して 関係性を記述 名前テーブル 役職テーブル 属性テーブル タスクテーブル IDで置き換えることで 冗⻑でなくなる
46. 46 関係データベース 名前ID 名前 1 佐藤 2 鈴⽊ 3 ⾼橋 → ⽥中 タスク ID タスク 担当者 ID 期⽇ 1 ⾯接 2 11/11 2 開発 3 12/20 3 デバッグ 3 12/1 属性 ID 名前 ID 役職 ID 1 1 1 2 2 2 3 3 2 役職 ID 役職 1 営業 2 SE IDと項⽬のペアを記述 IDを利⽤して 関係性を記述 名前テーブル 役職テーブル 属性テーブル タスクテーブル IDで紐づいているため ここのみを更新すれば良い
47. 47 関係データベース 情報の⼀貫性を保つことなどを実現するために 情報の更新や表⽰などには SQL (Stucted Query Language) という⾔語を利⽤ INSERT INTO employees (name, department, position) VALUES ('Jane Doe', 'Sales', 'Manager'); SELECT * FROM employees WHERE department = 'Sales'; UPDATE employees SET position = 'Senior Manager' WHERE name = 'Jane Doe'; 挿⼊ 表⽰ 更新 SQL のイメージ
48. メタデータ 48
49. 49 ⾮構造化データとメタデータ ⾮構造化データとは 構造化データのような構造に適合しないデータ 画像や動画，⾳声など メタデータを含む場合が多い メタデータとはデータに関するデータ 撮影⽇時や撮影機種など 画像や⾳声のためのメタデータを特に Exif という LINE ではプライバシー保護の観点から Exif 情報を削除してから写真などは送信
50. 50 Exif 情報の例 ExifTool Version Number : 12.76 File Name : ramen.HEIC Directory : . File Size : 2.6 MB File Modification Date/Time : 2024:10:16 21:08:54+09:00 File Access Date/Time : 2024:10:16 21:08:54+09:00 File Inode Change Date/Time : 2024:10:16 21:08:54+09:00 File Permissions : -rw-r--r-- File Type : HEIC File Type Extension : heic MIME Type : image/heic Major Brand : High Efficiency Image Format HEVC still image (.HEIC) Minor Version : 0.0.0 Compatible Brands : mif1, MiHB, MiHA, heix, MiHE, MiPr, miaf, heic, tmap Handler Type : Picture Primary Item Reference : 46 Meta Image Size : 5712x4284 XMP Toolkit : XMP Core 6.0.0 HDR Gain Map Version : 131072 HDR Gain Map Headroom : 4.874169 Semantic Segmentation Matte Version: 65536 Auxiliary Image Sub Type : portraiteffectsmatte Native Format : 1278226488 Stored Format : 1278226488 Portrait Effects Matte Version : 65537 Exif Byte Order : Big-endian (Motorola, MM) Make : Apple Camera Model Name : iPhone 16 Orientation : Rotate 90 CW X Resolution : 72 Y Resolution : 72 Resolution Unit : inches Software : 18.0.1 Modify Date : 2024:10:16 21:08:54 Host Computer : iPhone 16 Tile Width : 640 Tile Length : 896 Exposure Time : 1/50 F Number : 1.6 Exposure Program : Program AE ISO : 80 Exif Version : 0232 Date/Time Original : 2024:10:16 21:08:54 Create Date : 2024:10:16 21:08:54 Offset Time : +09:00 Offset Time Original : +09:00 Offset Time Digitized : +09:00 Shutter Speed Value : 1/50 Aperture Value : 1.6 Brightness Value : 2.954338312 Exposure Compensation : 0 Metering Mode : Spot Flash : Off, Did not fire Focal Length : 6.0 mm Subject Area : 3289 2357 1059 1066 Maker Note Version : 15 Run Time Flags : Valid Run Time Value : 258542797555416 Run Time Scale : 1000000000 Run Time Epoch : 0 AE Stable : Yes AE Target : 176 AE Average : 177 AF Stable : Yes Acceleration Vector : -0.00648186449 -0.7207878828 -0.6959836484 Focus Distance Range : 0.19 - 0.47 m Image Capture Type : Unknown (12) Live Photo Video Index : 8595185700 HDR Headroom : 1.00999999 Signal To Noise Ratio : 41.62416077 Photo Identifier : A49CEE9E-A417-476D-81E4-F75874D481E3 Focus Position : 179 HDR Gain : 0.05898438768 Front Facing Camera : No Sub Sec Time Original : 988 Sub Sec Time Digitized : 988 Color Space : Uncalibrated Exif Image Width : 5712 Exif Image Height : 4284 Sensing Method : One-chip color area Scene Type : Directly photographed Exposure Mode : Auto White Balance : Auto Focal Length In 35mm Format : 26 mm Lens Info : 2.220000029-5.960000038mm f/1.6-2.2 Lens Make : Apple Lens Model : iPhone 16 back dual wide camera 5.96mm f/1.6 Composite Image : General Composite Image GPS Latitude Ref : North GPS Longitude Ref : East GPS Time Stamp : 05:03:47.17 GPS Date Stamp : 2024:10:16 GPS Horizontal Positioning Error: 1 m Color Profiles : nclx Color Primaries : SMPTE EG 432-1 Transfer Characteristics : BT.709 Matrix Coefficients : BT.601 Video Full Range Flag : 1 Image Width : 5712 Image Height : 4284 Image Spatial Extent : 5712x4284 Rotation : 270 Image Pixel Depth : 8 8 8 Profile CMM Type : Apple Computer Inc. Profile Version : 4.0.0 Profile Class : Display Device Profile Color Space Data : RGB Profile Connection Space : XYZ Profile Date Time : 2022:01:01 00:00:00 Profile File Signature : acsp Primary Platform : Apple Computer Inc. CMM Flags : Not Embedded, Independent Device Manufacturer : Apple Computer Inc. Device Model : Device Attributes : Reflective, Glossy, Positive, Color Rendering Intent : Perceptual Connection Space Illuminant : 0.9642 1 0.82491 Profile Creator : Apple Computer Inc. Profile ID : ecfda38e388547c36db4bd4f7ada182f Profile Description : Display P3 Profile Copyright : Copyright Apple Inc., 2022 Media White Point : 0.96419 1 0.82489 Red Matrix Column : 0.51512 0.2412 -0.00105 Green Matrix Column : 0.29198 0.69225 0.04189 Blue Matrix Column : 0.1571 0.06657 0.78407 Red Tone Reproduction Curve : (Binary data 32 bytes, use -b option to extract) Chromatic Adaptation : 1.04788 0.02292 -0.0502 0.02959 0.99048 -0.01706 -0.00923 0.01508 0.75168 Blue Tone Reproduction Curve : (Binary data 32 bytes, use -b option to extract) Green Tone Reproduction Curve : (Binary data 32 bytes, use -b option to extract) HEVC Configuration Version : 1 General Profile Space : Conforming General Tier Flag : Main Tier General Profile IDC : Main Still Picture Gen Profile Compatibility Flags : Main Still Picture, Main 10, Main Constraint Indicator Flags : 176 0 0 0 0 0 General Level IDC : 63 (level 2.1) Min Spatial Segmentation IDC : 0 Parallelism Type : 0 Chroma Format : 4:2:0 Bit Depth Luma : 8 Bit Depth Chroma : 8 Average Frame Rate : 0 Constant Frame Rate : Unknown Num Temporal Layers : 1 Temporal ID Nested : No Gray Tone Reproduction Curve : (Binary data 14 bytes, use -b option to extract) Auxiliary Image Type : urn:com:apple:photo:2018:aux:portraiteffectsmatte A To B0 : (Binary data 6412 bytes, use -b option to extract) B To A0 : (Binary data 6412 bytes, use -b option to extract) Luminance : 0 100 0 Media Data Size : 2578212 Media Data Offset : 22466 Run Time Since Power Up : 2 days 23:49:03 Aperture : 1.6 Image Size : 5712x4284 Megapixels : 24.5 Scale Factor To 35 mm Equivalent: 4.4 Shutter Speed : 1/50 Create Date : 2024:10:16 21:08:54.988+09:00 Date/Time Original : 2024:10:16 21:08:54.988+09:00 Modify Date : 2024:10:16 21:08:54+09:00 GPS Date/Time : 2024:10:16 21:08:54.988+09:00 GPS Latitude : 35 deg 43' 56.83" N GPS Longitude : 139 deg 42' 27.69" E Circle Of Confusion : 0.007 mm Field Of View : 69.4 deg Focal Length : 6.0 mm (35 mm equivalent: 26.0 mm) GPS Position : 35 deg 43' 56.83" N, 139 deg 42' 27.69" E Hyperfocal Distance : 3.22 m Light Value : 7.3 Lens ID : iPhone 16 back dual wide camera 5.96mm f/1.6 ⼤量のメタデータが 含まれる
51. 51 ⽬次 機械学習の学習⽅法 教師あり学習，教師なし学習，⾃⼰教師あり学習，強化学習 雑多な話題 アンサンブル学習，⽊モデル，因果と相関 特徴的なデータ表現 構造化データ, SQL, メタデータ 特徴的なデータ作成と取り扱いの注意 サンプリング, 様々なログデータ, アノテーション，クラウドソーシング 標本誤差, サンプルの偏り, 計測誤差, データの死蔵, ⼈権問題
52. サンプリング 52
53. 53 サンプリング アンケート調査などで 対象となる範囲全てにアンケートするのは⾼コスト 全数調査という 興味の対象全体 (⺟集団) から⼀部 (標本) を 取り出すことをサンプリング (標本抽出) という 標本調査という ⺟集団 標本
54. 54 サンプリング 仮定した⺟集団の性質を標本から推測することを 推測統計という ⺟集団がガウス分布に従うと仮定し 平均や標準偏差を推測する など ⺟集団 標本 推測 標準偏差 平均
55. 55 標本誤差 | サンプリングの注意点 標本が⺟集団からランダムにサンプリングされるとき ⺟集団との誤差が⽣じる この誤差を標本誤差という ここでは特に 標本誤差 = ⺟平均 – 標本平均 標本誤差にも分布がある ⺟集団 標本 真の平均(⺟平均) 1.0 標本 標本 標本平均 0.92 標本平均 1.07 標本平均 0.95
56. 56 標本誤差 | サンプリングの注意点 平均と分散をもつどのような⺟集団であっても サンプルサイズ（標本の点の数） を⼤きくすると 標本誤差はガウス分布に従う ガウス分布の標準偏差（散らばり具合）は に⽐例 サンプルサイズを⼤きくすれば標準誤差は0に近づく （⺟平均と標本平均が⼀致） 中⼼極限定理という <latexit sha1_base64="4U1H4SKBWi9vikhN6YVtclxT724=">AAACaHicbVHLSsNAFJ3EV323uhBxE1oEVyWRoi6LblxasFaooUwmN+3QeYSZSbWEfoFb/Th/wa9wUrMw6oWBwzn3cO89E6WMauP7H467srq2vlHb3Nre2d3brzcOHrTMFIE+kUyqxwhrYFRA31DD4DFVgHnEYBBNbwp9MAOlqRT3Zp5CyPFY0IQSbCzVE6N6y2/7y/L+gqAELVTW3ajh9J5iSTIOwhCGtR4GfmrCHCtDCYPF1lOmIcVkiscwtFBgDjrMl5suvFPLxF4ilX3CeEv2pyPHXOs5j2wnx2aif2sF+Z82zExyFeZUpJkBQb4HJRnzjPSKs72YKiCGzS3ARFG7q0cmWGFibDjVKWwsbcOEV08REkQcFmqqIbMJyLh6bD7D6pnGdr+KL57RVJchvJQpVGwRX9hPCH5H/hc8nLeDi3an12l1r8vvqKET1ERnKECXqItu0R3qI4IAvaI39O58unX3yD3+bnWd0nOIKuU2vwB8k74c</latexit> n に⽐例 <latexit sha1_base64="NhKUaCZOe9GOluFnfsQA8nXrKhY=">AAACcXicbVHLSgMxFE3HV32/VuImtAiCUGdE1KXoxmUF24rtUDKZ2zaYx5hkqmXoX7jV//I7/AEzdRaOeiFwOOce7r0nUcKZsb7/UfHm5hcWl6rLK6tr6xubW9s7baNSTaFFFVf6PiIGOJPQssxyuE80EBFx6ESP17neGYM2TMk7O0kgFGQo2YBRYh31EBz3zJO2mZz2t+p+w58V/guCAtRRUc3+duW2FyuaCpCWcmJMN/ATG2ZEW0Y5TFd6qYGE0EcyhK6DkggwYTZbeYoPHBPjgdLuSYtn7E9HRoQxExG5TkHsyPzWcvI/rZvawUWYMZmkFiT9HjRIObYK5/fjmGmglk8cIFQztyumI6IJtS6l8hQ+VK5hJMqnSAUyDnM1MZC6BFRcPjYbE/3MYrdfyRePWWKKEF6KFEq2SOSfEPyO/C9onzSCs8bp7Wn98qr4jiraRzV0iAJ0ji7RDWqiFqJIolf0ht4rn96eh73ad6tXKTy7qFTe0Rfm88H0</latexit> 1/ p n <latexit sha1_base64="NhKUaCZOe9GOluFnfsQA8nXrKhY=">AAACcXicbVHLSgMxFE3HV32/VuImtAiCUGdE1KXoxmUF24rtUDKZ2zaYx5hkqmXoX7jV//I7/AEzdRaOeiFwOOce7r0nUcKZsb7/UfHm5hcWl6rLK6tr6xubW9s7baNSTaFFFVf6PiIGOJPQssxyuE80EBFx6ESP17neGYM2TMk7O0kgFGQo2YBRYh31EBz3zJO2mZz2t+p+w58V/guCAtRRUc3+duW2FyuaCpCWcmJMN/ATG2ZEW0Y5TFd6qYGE0EcyhK6DkggwYTZbeYoPHBPjgdLuSYtn7E9HRoQxExG5TkHsyPzWcvI/rZvawUWYMZmkFiT9HjRIObYK5/fjmGmglk8cIFQztyumI6IJtS6l8hQ+VK5hJMqnSAUyDnM1MZC6BFRcPjYbE/3MYrdfyRePWWKKEF6KFEq2SOSfEPyO/C9onzSCs8bp7Wn98qr4jiraRzV0iAJ0ji7RDWqiFqJIolf0ht4rn96eh73ad6tXKTy7qFTe0Rfm88H0</latexit> 1/ p n https://en.wikipedia.org/wiki/Law_of_large_numbers
57. 57 サンプルの偏り | サンプリングの注意点 実際のアンケート調査などで ランダムサンプリングすることが困難な場合がある 固定電話によるアンケート（世論調査など）では 固定電話をもっている年代層に偏る 任意回答のアンケートでは協⼒的な性格をもつ⼈々に偏る このような偏りを防ぐため サンプルの抽出⽅法を ⼯夫することが考えられる 層化抽出法 など 固定電話と携帯電話の層化抽出 https://bellcurve.jp/statistics/course/8007.html
58. ログデータ 58
59. 59 様々なログデータ 今⽇では様々なログデータが利⽤されている 扱うデータ量が増加 ⼈の⾏動ログ ソーシャルメディアや動画の閲覧履歴 携帯基地局との通信履歴 プローブデータ ⾞などの移動機器のセンサデータ 機械の稼働ログ 電気使⽤量のスマートメータなど https://aichi-its.jp/knowledge/glossary/probe/
60. 60 IoT の利⽤ | 様々なログデータ IoTを利⽤することで ⼤量のログデータを容易に集められる IoT とは家電やセンサなどの電⼦機器が インターネット上で相互接続されている状態 通信による制御が可能 （ドアの鍵が閉まったらカーテンを⾃動で閉じる など） ログを収集しやすい ⼤量のデータが利⽤されないまま放置される場合あり（データの死蔵） あらかじめ取得の⽬的を明確にすることが重要 センサを⽤いて計測 計測時に何らかの影響で誤差が⽣じうること（計測誤差）に注意
61. 61 アノテーション 機械学習に⽤いるデータのラベルは ⼈⼿で作成されることが多い ラベルを付与することを アノテーション という ⼈⼿で⾏う際は クラウドソーシングを利⽤する場合が多い インターネットを通じて 不特定多数の⼈に仕事を依頼すること 作業者の仕事の質がデータセットの質に⼤きく影響 仕事の質を検証する場合も Truck Bus Person [4]
62. 62 ⼈権問題 | クラウドソーシングの注意点 データの整形をするために 低賃⾦で労働させる問題あり ChatGPT が学習するデータセットから 有害データをフィルタリングするため ケニア⼈を時給 $2 以下で労働させていると報道 (*) 低賃⾦で 性的あるいは暴⼒的なコンテンツに 強制的に⽬を通す必要があったことを問題視 (*) https://time.com/6247678/openai-chatgpt-kenya-workers/
63. 63 ⽬次 機械学習の学習⽅法 教師あり学習，教師なし学習，⾃⼰教師あり学習，強化学習 雑多な話題 アンサンブル学習，⽊モデル，因果と相関 特徴的なデータ表現 構造化データ, SQL, メタデータ 特徴的なデータ作成と取り扱いの注意 サンプリング, 様々なログデータ, アノテーション，クラウドソーシング 標本誤差, サンプルの偏り, 計測誤差, データの死蔵, ⼈権問題
64. 64 参考⽂献 [1] S. Yamaguchi et al., Month-of-birth effects on skills and skill formation. In Labour Economics, 2023. [2] ⼤久保 将貴 ．因果推論の道具箱 ．理論と⽅法. 2019, vol. 34, no. 1, p. 20 – 34. [3] R. Guo et al., A Survey of Learning Causality with Data: Problems and Methods In ACM Computing Survey, vol. 53, no. 4, 2020. [4] T. Lin et al., Microsoft COCO: Common Objects in Context. In ECCV, 2014.