クラウドソーシングによる 学習データ作成入門 セキュリティ・キャンプ 全国大会 2025 AIセキュリティクラス D2講義 筑波大学 人間総合科学学術院 博士前期課程 田村 匠 [email protected] 1 

目次 • はじめに • 講師自己紹介 • 講義の進め方説明 • イントロダクション：AIは人間でできている • 第１部「タスクの設計と割り当て」 • 復習：クラウドソーシングとは何か • 実際のクラウドソーシングプラットフォーム：mTurkの紹介 • タスク設計と割り当て，ワークフロー • 第２部「結果集約」 • ワーカ間一致率 • 潜在クラスモデルによるタスク集約 • 第３部「人間とAIの協調 ～LLMによるアノテーションに焦点を当てて～」 • LLMによるアノテーション：現状と課題 • おわりに • 講義のまとめ，質疑応答 2 

講師自己紹介 田村 匠 (Takumi TAMURA) https://takumi1001.github.io/takumi1001/ 2001年10月01日生まれ 筑波大学大学院 人間総合科学学術院 情報学学位プログラム 博士前期2年 融合知能デザイン研究室（森嶋・伊藤研）所属 (https://fusioncomplab.org/) • クラウドソーシングの品質管理を題材に人間とAIの協調について研究している • 推薦システムや，自然言語処理にも興味あり，研究も少しだけやってます • 来年からサラリーマン（になる予定） セキュリティキャンプとの関わり･･･今年で４年目 • セキュリティキャンプ全国大会2022 AIセキュリティクラス 修了生 • セキュリティキャンプ全国大会2023 AIセキュリティクラス チューター • セキュリティキャンプ全国大会2024 AIセキュリティクラス D2講師 3 GitHub: takumi1001 Discord: takumi1001 

イントロダクション：AIは人間でできている 4 

学習データはAIの品質に影響を与える 5 https://www.technologyreview.jp/s/336754/gpt-4os-chinese-token-training- data-is-polluted-by-spam-and-porn-websites/ https://arxiv.org/abs/2101.05783 多くのLLMはインターネット上のテキストデータを学習データにしている 

良いLLMを作るために・・・紙の本を読ませる？？？ 6 https://arstechnica.com/ai/2025/06/anthropic-destroyed-millions-of-print-books-to-build-its-ai-models/ 

AIは人間でできている 7 https://pshapira.net/2024/03/31/delving-into-delve/ ChatGPTは「delve」という単語を使う傾向が強い，なぜだろうか？ 生成AIを使った証拠として扱ってよいだろうか？ 「delve」は主にアフリカ英語で使われる表現で，特にナイジェリアにおいてよく使われる ナイジェリアは7,000万人以上の英語話者を有する（世界５位） データではなく 私達がバイアスを 持っていることもある 

AIはアフリカ人でできている？ 8 OpenAI Used Kenyan Workers on Less Than $2 Per Hour: Exclusive | TIME - https://time.com/6247678/openai-chatgpt-kenya-workers/ TechScape: How cheap, outsourced labour in Africa is shaping AI English | Technology | The Guardian - https://www.theguardian.com/technology/2024/apr/16/techscape-ai-gadgest-humane-ai-pin-chatgpt 【Sama社によるChatGPTのデータクリーニングの事例】 • OpenAI社はChatGPTが有害な出力をしないように，学習データのクリーニングを行った • この作業はSama社という会社が受託し，Sama社はケニア人の労働者に作業させた • ポルノや暴力描写のあるテキストを学習データから除く作業で，労働者への精神的負担は大きかった • にもかかわらず，労働者には時給2ドル未満の給与しか支払われなかった 【RLHFとアフリカ人】 • LLMには RLHF (Reinforcement Learning with Human Feedback) という，人間からのフィードバッ クをもとにLLMの性能を改善する手法がある • 多くのアフリカ人がこのRLHFの作業に参加しているのではないかといわれている • “delve”の問題は，単純にアフリカ人の英語話者が多いだけでなく，RLHFの作業をアフリカ人が担っ ているからかも？ 学習データの作成には倫理的問題や作業者の多様性など， 様々な考慮すべき要因がある 

AIには「学習データ」が不可欠：教師あり機械学習の概要 9 モデル訓練 学習データ ･･･ 金魚 金魚 金魚 カエル カエル 機械学習アルゴリズムが金魚とカエル を分類するためのパターンを見つける 分類モデル モデル運用 分類モデル これは金魚です 未知データに対して，金魚かカエルか 分類できるようになる 学習データには「教師ラベル」が必要 ※画像はTiny Imagenetより 

もし，学習データが間違っていたら？ 10 モデル訓練 学習データ ･･･ 金魚 カエル カエル カエル カエル 分類モデル モデル運用 分類モデル これはカエルです 品質の高いAIには品質の高い学習データが不可欠 「ゴミからはゴミしか生まれない（Garbage In, Garbage Out）」 ※画像はTiny Imagenetより 

“Garbage In, Garbage Out”はAIの大原則 IPAの傘下にAIセーフティ・インスティテュート(AISI)という組織があり， 「Data Quality Management Guidebook」が公開されている． ガイドブックの２ページ目で大きく紹介されている 11 https://aisi.go.jp/output/output_information/250331_2/ 

Model-Centric AI から Data-Centric AI へ 近年では機械学習モデルやアルゴリズムの改良にによってAIの精度向上を目指す， 従来のModel-Centricなアプローチから，データの品質を向上させることでAIの精 度向上を目指すData-Centricなアプローチが注目されている． 12 Model-Centric AI (従来) Data-Centric AI (近年注目) データ 精度：低 モデル1 データ 精度：高 モデル2 モデルを変えて精度を向上させる Garbage In, Garbage Out原則を考慮していない ↑ データは同じ ↓ 悪いデータ 精度：低 モデル1 良いデータ 精度：高 モデル1 モデルでは無く，データを変えることで， AIモデルの性能を向上させる データを変える 

学習データはどう作る？ 13 データに対して教師ラベルを付与しなければ学習データにできない →人間がデータにラべリングをする必要がある（この作業をアノテーションと呼ぶ） 

アノテーションを誰が行うのか？ 自分がエンジニアとしてAIを開発する場合を考えてみよう 1. 自分でアノテーションする メリット：すぐに始めることができる，お金がかからない（ように見える） デメリット：時間がかかる，精度が保証できない ２. 専門家にやってもらう メリット：精度が保証される，専門的なデータにも対応できる（ガンを見つける医療AIなど） デメリット：高コスト，人を集めるのが大変 ３. 作業者を採用する メリット：比較的早くでき．低コスト デメリット：人を集めるのが大変，労働者保護制度に適合する必要がある 14 短時間で多くの人を集め，低コストで高精度に仕事をしてもらうことは難しい 

クラウドソーシングによるアノテーション インターネットの発展により，どこでも，誰でも，どんな時でも，仕事ができるように クラウドソーシングを活用してアノテーションを行えば，短時間で多くの人に仕事をやってもらえる ↓ 学習データの作成にクラウドソーシングが用いられるようになった 15 クラウドソーシング (Crowdsourcing) 不特定多数の群衆 (Crowd) にタスクをアウトソーシングし問題を解決すること クラウドソーシング プラットフォーム (webサイト) 作業 報酬 クラウドワーカ 依頼者 結果 報酬 

キミでもなれる，クラウドワーカ！ ~どこでも，誰でも，どんな時でも～ 日本では以下のようなクラウドソーシングプラットフォームがある • Yahoo! クラウドソーシング • https://crowdsourcing.yahoo.co.jp/ • CrowdWorks • https://crowdworks.jp/ • ランサーズ • https://www.lancers.jp/ クラウドワーカとして報酬を簡単にもらうことができるので，ぜひ試してみよう • おすすめは銀行口座等の登録が要らないYahoo! クラウドソーシング • 未成年の場合は不可等の条件がある場合が多い点に注意 • 児童労働は倫理的に大きな問題になります 16 

クラウドソーシングには２つの大きな問題がある 問題①「アノテーション品質が低い」 • 不特定多数の人間にアノテーションしてもらうので，ワーカの能力に幅がある • WEBサイト上でタスクを行うためBOTなどの問題もある 問題②「クラウドワーカを搾取してしまいがち」 • 労働者保護法制の影響下にないので，最低賃金以下で働かせることが可能 • 仕事のやりがいなども感じずらい • OpenAIとSama社の事例のようにワーカが精神的なダメージを負うことも... 17 ①クラウドソーシングの品質管理技術の基本を知る ②倫理面にも配慮しなくてはならないことを知る 本講義の目的 

参考書籍: 本講義の内容と関連する書籍 • 森嶋 厚行(著/文), 喜連川 優(解説), “クラウドソーシングが不可能を可能にする -小さな力を集め て大きな力に変える科学と方法-”, 共立スマートセレクション, 共立出版(2020), https://www.hanmoto.com/bd/isbn/9784320009325 • 鹿島 久嗣 (著/文), 小山 聡 (著/文), 馬場 雪乃 (著/文), “ヒューマンコンピュテーションとクラウド ソーシング”, 機械学習プロフェッショナルシリーズ(MLP), 講談社(2016), https://www.hanmoto.com/bd/isbn/9784061529137 • Robert (Munro) Monarch (著/文), 上田 隼也 (翻訳), 角野 為耶 (翻訳), 伊藤 寛祥 (翻訳), “Human- in-the-Loop機械学習 -人間参加型AIのための能動学習とアノテーション-”, 共立出版(2023), https://www.hanmoto.com/bd/isbn/9784320125742 • 片岡 裕雄 (監修), 宮澤 一之 (著), 齋藤 邦章 (著), 清野 舜 (著), 小林 滉河 (著), 河原塚 健人 (著), 鈴 木 達哉 (著), “Data-centric AI入門”, 技術評論社(2025), https://www.hanmoto.com/bd/isbn/9784297146634 18 こちらもおすすめ 日本データベース学会最強DB講義シリーズ クラウドソーシングとデータベース by 森嶋厚行教授（筑波大学） https://youtube.com/playlist?list=PL_VdUcCLzEklLPL5NgQA1WdzBM1z9T3qh&feature=shared 

AI系の研究としてはどのあたりの分野か？ 19 大体この辺 （広い！） クラウドソーシング を専門に扱う会議 

AAAI Conference on Human Computation and Crowdsourcing : HCOMP 20 去年のテーマはResponsible Crowd Work for Better AI. （残念ながら今年は開催されず・・・） https://www.humancomputation.com/ 

第１部「タスクの設計と割り当て」 復習：クラウドソーシングとは何か 実際のクラウドソーシングプラットフォーム：mTurkの紹介 タスク設計と割り当て，ワークフロー グループワーク：タスク設計をしてみよう 21 

復習：クラウドソーシングによるアノテーション インターネットの発展により，どこでも，誰でも，どんな時でも，仕事ができるように クラウドソーシングを活用してアノテーションを行えば，短時間で多くの人に仕事をやってもらえる ↓ 学習データの作成にクラウドソーシングが用いられるようになった 22 クラウドソーシング (Crowdsourcing) 不特定多数の群衆 (Crowd) にタスクをアウトソーシングし問題を解決すること クラウドソーシング プラットフォーム (webサイト) 作業 報酬 クラウドワーカ 依頼者 結果 報酬 

本講義で用いるクラウドソーシングの用語 23 ワーカ (worker) クラウドソーシングに参加し， 作業を行ってくれる人 それぞれのワーカにはワーカIDが 割り当てられることが多い タスク (task) クラウドソーシングで ワーカに依頼する仕事 それぞれのタスクにはタスクIDが 割り当てられることが多い 回答 (response) ワーカがタスクに対して， 回答した結果 クラウドソーシングを実施すると， （ワーカID, タスクID, 回答)のタプルを要素に持つ集合が結果として得られる 

クラウドソーシングの3分類 24 マイクロタスク型 比較的簡単な仕事を行うもの • ワーカがタスク依頼者の許可無くタ スクに取り組める • 依頼者とワーカは基本的にコミュニ ケーションを取らない 例）アノテーション，アンケート調査 Yahoo! クラウドソーシングや， Amazon Mechanical Turkなどは マイクロタスク型を専門にしている プロジェクト型 比較的長期にわたる仕事を行うもの • 依頼者はワーカを選考することが多い • 依頼者とワーカは密にコミュニケー ションを取り，共に仕事を進める • オープンコールな業務委託 例）アプリ開発，Webデザイン 「ギグエコノミー」という言葉も あるように最近はプロジェクト型が 注目されている コンペティション型 コンペティション形式で行うもの • ワーカは自由に作品を提出できるが， 報酬を貰えるのは依頼者が選んだワー カのみ，という形式 • デザインコンペなど伝統的な形式だが， ワーカを搾取しがち 例）デザインコンペ，Kaggle Kaggleは実はクラウドソーシングとみな せるということ，知ってましたか？ 今回はマイクロタスク型の話 森嶋 厚行(著/文), 喜連川 優(解説), “クラウドソーシングが不可能を可能にする”, 共立スマートセレクション, 共立出版(2020), p 11. 

Amazon Mechanical Turk は最も有名なクラウドソーシングプラットフォームの1つ 25 https://www.mturk.com/ mTurkやAMTと略される 

機械仕掛けのトルコ人 (Mechanical Turk) • 18世紀後半にヨーロッパやアメリカで話 題になった機械 • トルコ人の人形（ロボット）がチェスの 相手になってくれるという機械 • しかもめちゃくちゃ強い • 実際は中に人が入っており，人間が人形 を動かしていた • 現代のAIも実際には人間のアノテーショ ンによってできている･･･ということを 示唆している 26 画像引用: https://ja.wikipedia.org/wiki/トルコ人_(人形) 

mTurkでのタスク発行方法（簡易版） ※実演します 1. タスクテンプレートを選ぶ • 様々なテンプレートが用意されている • https://requester.mturk.com/create/projects/new • ログインせずに見られるので覗いてみよう 2. タスクテンプレートを編集する • Crowd HTMLというもので編集できる 3. データを用意する • 分類対象のテキストや，バウンディングボックスをつけたい画像をアップロード 4. タスクの報酬等を設定して発行する • 報酬は最低賃金を下回らないように • 様々な設定項目がある，品質管理に関わるものも多い AWSのアカウントがあれば利用可能 以下の記事も参考にどうぞ Amazon Mechanical Turk (mTurk) の始め方と３つの大きな落とし穴 - https://zenn.dev/takumi1001/articles/065162600b9211 27 

ワークフロー設計 クラウドソーシングの品質管理のためにやらなければならないこと 28 タスクの設計 タスクの割り当て ※講師の独自分類なのであまり過信しないでね 結果集約 タスク発行前にやること（第1部） タスク発行後にやること（第2部） 集約プロセスはタスクの 重複出題数に依存 

ワークフロー設計 クラウドソーシングの品質管理のためにやらなければならないこと 29 タスクの設計 タスクの割り当て ※講師の独自分類なのであまり過信しないでね 結果集約 タスク発行前にやること（第1部） タスク発行後にやること（第2部） 集約プロセスはタスクの 重複出題数に依存 

クイズ：このタスクにはどんな問題があると思いますか？ 30 画像に写っている動物は何ですか？ 犬と猫を分類するモデルを作るために，クラウドソーシングで学習データを作りたい 

データがクリーニングされているとは限らない：違うものが写っているかも 31 画像に写っている動物は何ですか？ どっちを選べば いいんだろう？ こんなデータを 学習しても意味ないね クラウドソーシングしようとしていたデータに，テナガザルの画像が混入していたら？ 

データがクリーニングされているとは限らない：犬と猫だけでも問題は起きる 犬と猫が同時に写っている画像があったら？ 32 画像に写っている動物は何ですか？ どっちを選べば いいんだろう？ こんなデータを 学習しても意味ないね 

第3の選択肢を追加することは有効か？→デメリットも大きい 33 画像に写っている動物は何ですか？ 悩まなくて済むね 「その他・わからない」の 回答が多くて，データが あまり集まらないなぁ 依頼者 ワーカ 

タスク設計は簡単そうで難しい→知恵のだしどころ 【大切なこと】 ①適切なタスクテンプレートを選択すること • 作りたいAIモデルに合わせてテンプレートを選ぶ • 複数選択できるのか，1つしか選べないのか・・・など ②タスクの説明を丁寧にすること • 詳しく伝える（例：犬猫以外が写っている場合は「わからない」を押してください） • 目的を伝えるのも大切（例：視覚障害者向けにタグ付けをしています） • 例を提示する ③誤ったデータが含まれる場合を考慮すること • 依頼者が自分の目でデータを確認するのも大事 ④人間の認知特性を考慮すること • 「リンゴを青線で囲ってください」は認知負荷が高い • 「リンゴを赤線で囲ってください」ならOK ⑤やってみないとわからない • 少数のデータでタスクを試しに発行し，その結果を分析することが大切 34 

タスク設計における工夫例：タスクを分割する 35 目的 建物がある部分だけを この衛星画像から取り出したい 分割 建物が写っていますか？ 建物が写っていますか？ 分割 タスクを分割し 並列してワーカに依頼 集約 集約 ワーカからの回答を集約し 元の衛星画像に戻す 衛星画像はPlanet Explorerより Joseph M. Hellerstein and David L. Tennenhouse. 2011. Searching for Jim Gray: a technical overview. Commun. ACM 54, 7 (July 2011), 77–87. https://doi.org/10.1145/1965724.1965744 分割し並列してタスクを行うことで，コストを削減し品質を向上させる 2007年に著名なデータベース研究者のジム・グレイがヨットで遭難した際．mTurkを用いて衛星画像から の捜索が試みられたことが有名（しかし，残念ながら見つからなかった） 

ワークフロー設計 クラウドソーシングの品質管理のためにやらなければならないこと 36 タスクの設計 タスクの割り当て ※講師の独自分類なのであまり過信しないでね 結果集約 タスク発行前にやること（第1部） タスク発行後にやること（第2部） 集約プロセスはタスクの 重複出題数に依存 

タスク割り当て：タスクを誰にやってもらうか？ クラウドソーシングは原則的にオープンコール（誰でも仕事に応募できる） しかし，誰にやってもらうか？は非常に重要！ • クラウドワーカの能力には大きなばらつきがある • BOTや「スパムワーカ」の問題もある 学術的には様々な方法が提案されているが，実際にはどんなタスク割り当て手法が 利用できるかはプラットフォームに大きく依存してしまう． 37 クラウドソーシング プラットフォーム (webサイト) 作業 報酬 クラウドワーカ 依頼者 結果 報酬 誰にやってもらう？ 

タスク割り当て手法の例 ①過去の実績を参考に能力の高いワーカを採用する • 過去の実績が得られる場合は有効 • プラットフォームが提供してくれる場合もあるが，信頼できるかは不透明 • 得意不得意はタスクの種類ごとに違うかも？ • 新規ワーカにとっては辛い→人をたくさん集め，早くタスクを終わらせるのが難しくなる ②始めにテストを行い，テスト合格者のみをアノテーション作業に採用する • 良い方法の1つ • テスト受験時にも報酬を払う必要があるのでやや高コスト ③適切なワーカ集団にタスクを発注する • 年齢や性別，居住地などでフィルターを行う，倫理面には注意 • アメリカ人は日本語の感情分析ができるだろうか？ • ワーカの多様性を確保することが精度向上につながることも • PCでタスクを解くのか，スマホでタスクを解くのか，デバイスを指定する 38 

誰がワーカなのか？ 2014年の研究ではインド人が最も多かった（近年は傾向が異なり米国人が多い？） 39 Ellie Pavlick, Matt Post, Ann Irvine, Dmitry Kachaev, and Chris Callison-Burch. 2014. The Language Demographics of Amazon Mechanical Turk. Transactions of the Association for Computational Linguistics, 2:79–92. (図を引用） 

ワークフロー設計 クラウドソーシングの品質管理のためにやらなければならないこと 40 タスクの設計 タスクの割り当て ※講師の独自分類なのであまり過信しないでね 結果集約 タスク発行前にやること（第1部） タスク発行後にやること（第2部） 集約プロセスはタスクの 重複出題数に依存 

ワークフロー：タスク設計と割り当てを組み合わせる （本来やりたい）タスクを分割し，複数のタスクを組み合わせる 41 動物の数を数えるタスク 動物の種類を識別するタスク 1匹でない場合は破棄 画像に動物は何匹いますか？ 画像に動物は何匹いますか？ 複数匹動物がいる場合を排除でき，ワーカの負荷を減らせる？ 

ワークフローの例：Find-Fix-Verify クラウドソーシングで文章改善をするために提案されたワークフロー Find ･･･ 修正すべき箇所を見つけるタスク Fix ･･･ 複数人で修正案を出すタスク Verify ･･･ 修正案の中から良いものを選ぶタスク 42 私が秋葉原に行きました． 秋葉原につくばエクスプレス 乗りました． つくば駅 着いたまでに45分かかりました． 社内からはいっぱいの田んぼが見えます． Michael S. Bernstein, Greg Little, Robert C. Miller, Björn Hartmann, Mark S. Ackerman, David R. Karger, David Crowell, and Katrina Panovich. 2015. Soylent: a word processor with a crowd inside. Commun. ACM 58, 8 (August 2015), 85–94. https://doi.org/10.1145/2791285 私は秋葉原に行きました． 秋葉原でつくばエクスプレスに乗りました． つくば駅に着くまでに45分かかりました． 車内からはたくさんの田んぼが見えました． Find 社内→車内 私が→僕は Fix 私が→僕は は変えすぎでは？ Verify 修正案を選択する 

ワークフローの例：Partition-Map-Reduce クラウドソーシングでニューヨークについて紹介する記事を作成する 43 ① ② ③ ① Partition…記事の見出しを考えてもらうタスク ② Map…見出しに対する内容のテキストを考えてもらう タスク（複数人に割り当てる） ③ Reduce…②で作成されたテキストを要約するタスク （見出しに対する文が完成） ④ Final…②③は見出しごとに行われるので，最後に各見 出しの文を集約する ④ Aniket Kittur, Boris Smus, Susheel Khamkar, and Robert E. Kraut. 2011. CrowdForge: crowdsourcing complex work. In Proceedings of the 24th annual ACM symposium on User interface software and technology (UIST '11). Association for Computing Machinery, New York, NY, USA, 43–52. https://doi.org/10.1145/2047196.2047202 

タスク設計・割り当てにおける倫理問題 【報酬】 • タスクに対する報酬が最低賃金を下回らないようにする • T秒で終わるタスクの報酬がE円の時，(E/T)*3600 円が時給 【データと結果】 • 性的/暴力的なコンテンツが対象データに含まれていないか • インターネットから収集したデータを処理する場合は注意 • mTurkなどではそういった画像が含まれる可能性があることを申告する必要がある • 特定属性の人間が不快になるコンテンツが含まれていないか？ • 自由入力タスクではワーカが差別的な内容を入力することがある 【プラットフォーム固有の問題】 • 報酬が支払われない場合がある際は，その条件を明確に記述しておく • mTrukではワーカの回答を受理/拒否できる 44 

倫理問題の事例：ImageNet の差別的なラベリング 著名な画像分類データセットであるImageNetはmTurkを使ってラベリングされた． 2019年，このImageNetを用いて訓練されたAIアプリ「ImageNet Roulette」が公開 された．アップロードした写真に何が写っているを教えてくれるアプリだったが， 黒人やアジア人が写った画像をアップロードすると，差別的なタグがつけられるこ とがわかった． mTurkでアノテーションを行っていたワーカが差別的なラベリングを行っていた． また研究者らは，辞書等を用いて差別語をフィルタリングしていなかった． 最終的にImageNetからは多くのラベルが削除された． 45 横山 美和, AI と人種・ジェンダー問題についてアメリカから学べること, 産学官連携ジャーナル, 2021, 17 巻, 12 号, p. 4-6, 公開日 2022/01/15, Online ISSN 1880-4128, Print ISSN 2186- 2621, https://doi.org/10.1241/sangakukanjournal.17.12_4 https://www.chiark.greenend.org.uk/~ijackson/2019/ImageNet-Roulette-cambridge-2017.html 

第２部「結果集約」 ワーカ間一致率 潜在クラスモデルによる結果集約 46 

ワークフロー設計 クラウドソーシングの品質管理のためにやらなければならないこと 47 タスクの設計 タスクの割り当て ※講師の独自分類なのであまり過信しないでね 結果集約 タスク発行前にやること（第1部） タスク発行後にやること（第2部） 集約プロセスはタスクの 重複出題数に依存 

同一のタスクを複数人に割り当てて品質向上を目指す 48 この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ クラゲ クラゲ イカ クラゲ 集約アルゴリズム 同じタスクを重複して出題 何倍に重複して出題するかは，コストと品質のトレードオフの関係にある ワーカ 正しい結果 ※画像はTiny Imagenetより ←第２部では主にクラス分類問題を扱います 

正解がない中でどのように正解を見つけるか？：集合知 (Wisdom of the Crowd) アノテーションの品質管理には難しい問題がある 集合知 (Wisdom of the Crowd) の考えを仮定する 「良いワーカの回答は一致するはずだ」 あるいは， 「皆と同じような回答をしているワーカは良い」 49 アノテーションしたいデータ （正解がわからない） クラゲ クラゲ イカ ワーカの回答 （誰が正解がわからない） 

集約における2つの観点 50 この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ クラゲ クラゲ イカ クラゲ 集約アルゴリズム ワーカ ワーカの回答はどの程度一致しているか？ ワーカ間一致率による評価 どのように回答を集約するか？ 潜在クラスモデルを用いた集約 

集約における2つの観点 51 この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ クラゲ クラゲ イカ クラゲ 集約アルゴリズム ワーカ ワーカの回答はどの程度一致しているか？ ワーカ間一致率による評価 どのように回答を集約するか？ 潜在クラスモデルを用いた集約 

ワーカ間一致率（Inter-Rater Agreement) ：ワーカの回答はどの程度一致しているか？ 全てのワーカの回答が全体としてどの程度一致しているかを計測する 一致度が低い場合，タスク設計や割り当てに問題があった可能性がある • タスク設計や割り当てを変更した際に，改善しているかを測る指標になる • ただし，一致率が低い＝多様性が高い，ということでもあるので注意 52 タスク1 タスク2 タスク3 タスク4 タスク5 タスク6 タスク7 ワーカA クラゲ クラゲ イカ イカ タコ ワーカB クラゲ クラゲ イカ クラゲ クラゲ ワーカC クラゲ タコ クラゲ タコ タコ クラゲ タスク1 タスク2 タスク3 タスク4 タスク5 タスク6 タスク7 ワーカA’ イカ クラゲ イカ タコ イカ タコ ワーカB’ クラゲ タコ イカ タコ イカ クラゲ ワーカC’ クラゲ イカ クラゲ クラゲ 一致度：高 一致度：低 ワーカ間一致率の全体像についてはこの資料がわかりやすい（英語）： https://dkpro.github.io/dkpro-statistics/inter-rater-agreement-tutorial.pdf Cohen’s κなどの著名な一致率との違いや，なぜそれらではダメなのかが説明されている 

代表的なワーカ間一致率：クリッペンドルフのα (Krippendorff’s α) −1 ≤ 𝛼 ≤ 1の範囲を取る 統計学の領域で考え出された手法で以下のような特徴を持つ • 「偶然の一致」の可能性を補正できる (chance-corrected agreementの1つである） • 3人以上の複数人のワーカにも対応している • ワーカが全てのタスクに回答しなくても良い • クラス分類だけでなく，順序付き回帰問題，回帰問題にも適用できる • 順序付き回帰：Very Positive / Positive / Neutral / Negative / Very Negative のような選択肢の問題 • 計算方法が複雑で面倒 • 理解するには統計学の知識が必要 53 -1.0 完全な不一致 0.0 ランダムな分布 0.67 0.8 1.0 完全な一致 結果は信頼できない 結果は信頼できる 十分ではない 一般的には0以上の値を取る （ランダムより一致しない） 基準値の根拠や解釈についてはこちらの資料を参照： https://dkpro.github.io/dkpro-statistics/inter-rater-agreement-tutorial.pdf 

クリッペンドルフのα：計算方法(1/3)（クラス分類の場合） 3人のワーカが，7つのタスクについて，3クラス分類に取り組んでいる ここで，各タスクごとに一致行列を構成する 54 タスク1 タスク2 タスク3 タスク4 タスク5 タスク6 タスク7 ワーカA クラゲ クラゲ イカ イカ タコ ワーカB クラゲ クラゲ イカ クラゲ クラゲ ワーカC クラゲ タコ クラゲ タコ タコ クラゲ 一致度：高 クラゲ イカ タコ クラゲ 1 イカ 1 1 タコ タスク4 あるタスクに対する回答を２つ選ぶ際の組み合わせを考える （タスク４には3つの回答がある＝3・2＝6通り） 1つ目と2つ目の回答のクラスを固定して場合分けする （イカ，イカ）である回答ペアの組み合わせ：2P2 = 2 通り （イカ，クラゲ）である回答ペアの組み合わせ：2・1 = 2 通り （クラゲ，イカ）でる回答ペアの組み合わせ：1・2 = 2 通り Krippendorff, K.(2004). Content analysis : An introduction to its methodology (2nd ed.). Sage. pp 221-236. に基づく 一致行列のA行B列の値は，(タスクへの回答数) （A,B)である回答ペアの組み合わせ数 タスクへの回答数(タスクへの回答数−1) 総組み合わせのうち(A,B)である組み合わせの割合 割合に対して回答数をかけると， 一致行列合計を回答数と等しくできる 

クリッペンドルフのα：計算方法(2/3)（クラス分類の場合） すべてのタスクで一致行列を計算し，足し合わせる 55 タスク1 タスク2 タスク3 タスク4 タスク5 タスク6 タスク7 ワーカA クラゲ クラゲ イカ イカ タコ ワーカB クラゲ クラゲ イカ クラゲ クラゲ ワーカC クラゲ タコ クラゲ タコ タコ クラゲ 一致度：高 クラゲ イカ タコ クラゲ 3 イカ タコ タスク1 クラゲ イカ タコ クラゲ 2 イカ タコ タスク2 クラゲ イカ タコ クラゲ 1 イカ 1 1 タコ タスク4 クラゲ イカ タコ クラゲ 1 イカ タコ 1 タスク5 クラゲ イカ タコ クラゲ イカ 1 タコ 1 タスク3 クラゲ イカ タコ クラゲ イカ タコ 2 タスク6 クラゲ イカ タコ クラゲ 2 イカ タコ タスク7 クラゲ イカ タコ クラゲ 7 1 1 イカ 1 1 1 タコ 1 1 2 合計 Krippendorff, K.(2004). Content analysis : An introduction to its methodology (2nd ed.). Sage. pp 221-236. に基づく 

クリッペンドルフのα：計算方法(3/3)（クラス分類の場合） 56 クラゲ イカ タコ 計 クラゲ 7 1 1 9 イカ 1 1 1 3 タコ 1 1 2 4 計 9 3 4 16 一致行列（合計） タスク1 タスク2 タスク3 タスク4 タスク5 タスク6 タスク7 ワーカA クラゲ クラゲ イカ イカ タコ ワーカB クラゲ クラゲ イカ クラゲ クラゲ ワーカC クラゲ タコ クラゲ タコ タコ クラゲ 一致度：高 次に，一致行列の各行・各列の和を計算する． これは，各クラスへの総回答数に等しくなる． ここで，クリッペンドルフのαは， 𝛼 = 1 − 𝐷0 𝐷𝑒 = 1 − タスクごとの不一致率の平均 全体の不一致率の平均 として定義される． 𝐷0 = 全回答数 − 一致行列の対角要素の和 全回答数 = 16 − (7 + 1 + 2) 16 𝐷𝑒 = 全回答数2 − 各クラスへの総回答数2の和 全回答数(全回答数 − 1) = 162 − (92 + 32 + 42) 16・(16 − 1) 𝛼 = 1 − 𝐷0 𝐷𝑒 = 1 − 16 − 1 16 − 7 + 1 + 2 162 − 92 + 32 + 42 = 1 − 15 ⋅ 6 150 = 𝟎. 𝟒𝟎 Krippendorff, K.(2004). Content analysis : An introduction to its methodology (2nd ed.). Sage. pp 221-236. に基づく 

クリッペンドルフのα：別の結果でも計算してみよう 57 クラゲ イカ タコ 計 クラゲ 3 2.5 0.5 6 イカ 2.5 0 3.5 6 タコ 0.5 3.5 0 4 計 ６ ６ 4 16 一致行列（合計） 𝐷0 = 全回答数 − 一致行列の対角要素の和 全回答数 = 16 − (3 + 0 + 0) 16 𝐷𝑒 = 全回答数2 − 各クラスへの総回答数2の和 全回答数(全回答数 − 1) = 162 − (62 + 62 + 42) 16・(16 − 1) 𝛼 = 1 − 𝐷0 𝐷𝑒 = 1 − 16 − 1 16 − 3 + 0 + 0 162 − 62 + 62 + 42 = 1 − 15 ⋅ 13 168 = −𝟎. 𝟏𝟔 タスク1 タスク2 タスク3 タスク4 タスク5 タスク6 タスク7 ワーカA’ イカ クラゲ イカ タコ イカ タコ ワーカB’ クラゲ タコ イカ タコ イカ クラゲ ワーカC’ クラゲ イカ クラゲ クラゲ 一致度：低 Krippendorff, K.(2004). Content analysis : An introduction to its methodology (2nd ed.). Sage. pp 221-236. に基づく 

ハンズオン：実際にクリッペンドルフのαをPythonで計算してみよう (20分) 実際にはライブラリを用いてクリッペンドルフのαを計算できるので，複雑な計算 方法を知る必要はあまりない． 1. https://github.com/takumi1001/seccamp2024_D2/blob/main/01_Inter- Rater_Agreement.ipynbにアクセスする 2. を押す 3. 順番にセルを実行していく（初めに警告が出ますが今回は「このまま実行」でOK） 58 https://pypi.org/project/krippendorff/ 

（補足）物体検出におけるワーカ間一致度：IoU (Intersection over Union) バウンディングボックスなどの物体検出のアノテーションではクリッペンドルフの αを計算できない 59 猫を長方形で囲んでください ワーカA ワーカC ワーカB IoU = バウンディングボックスの積集合 バウンディングボックスの和集合 物体検出のアノテーションについては「Human-in-the-loop機械学習」10章2節に詳しい 

集約における2つの観点 60 この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ クラゲ クラゲ イカ クラゲ 集約アルゴリズム ワーカ ワーカの回答はどの程度一致しているか？ ワーカ間一致率による評価 どのように回答を集約するか？ 潜在クラスモデルを用いた集約 

単純多数決 (Majority Vote) は最もシンプルな集約方法 61 この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ クラゲ クラゲ イカ クラゲ 単純多数決 

能力が高いワーカが少数の場合，単純多数決はかえって品質低下を招く 62 クラゲ イカ イカ イカ 単純多数決 クラウドソーシングではワーカの能力に幅がある 誤った結果 能力:低 能力:低 能力:高 A B C この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ 

ワーカに重みをつけて多数決することで，品質向上を目指す 63 クラゲ イカ イカ クラゲ 重み付き多数決 事前にワーカの能力がわかっている場合は ワーカごとに重み付けした多数決が有効 しかし，ワーカの能力は不明であることが多い 正しい結果 能力:低 能力:低 能力:高 A B C この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ 重み: 0.8 重み: 0.3 重み: 0.1 クラゲ＝1*0.8=0.8 イカ＝1*0.3+1*0.1=0.4 

潜在クラスモデルはワーカの能力を推定し，重みを学習して集約する 教師無し機械学習を用いて，ワーカの能力を推定しながら集約を行う方法 潜在クラスモデル (Latent Class Model) カテゴリカルな観測変数から潜在変数を推測するモデル 64 ワーカ タスク 回答 ワーカA タスク1 クラゲ ワーカA タスク3 イカ ワーカA タスク7 タコ ワーカB タスク1 イカ ワーカB タスク7 タコ ワーカC タスク1 クラゲ ･･･ 入力（観測変数） ワーカの回答結果 モデル （教師無し機械学習） 出力（潜在変数） ワーカの能力と それをもとにした集約結果 ワーカ 能力 ワーカA 高 ワーカB 低 ワーカC 低 タスク ラベル タスク1 クラゲ タスク2 イカ タスク3 イカ タスク4 タコ タスク5 クラゲ タスク6 クラゲ ･･･ ･･･ 集合知の考え方に基づき， 教師データなしで推定を行う 他の潜在変数を推定することも多い 

代表的な集約アルゴリズム: Dawid-Skene 法 66 クラゲ イカ タコ クラゲ 0.33 0.33 0.33 イカ 0.33 0.33 0.33 タコ 0.33 0.33 0.33 この画像に写っているものは？ 1. クラゲ 2. イカ 3.タコ クラゲ イカ イカ クラゲ 正しい結果を 推定できる 能力:？ 能力:？ 能力:？ A B C E-Step ワーカの能力を加味し，各タスクの真のラベルを予測 この画像は？ クラゲ： 80% イカ： 17% タコ: 3% M-Step 各ワーカの能力（混同行列）とクラスの周辺分布を推定 能力:低 C クラゲ イカ タコ クラゲ 0.9 0.08 0.02 イカ 0.1 0.9 0.1 タコ 0.03 0.02 0.95 能力:高 A クラゲ イカ タコ クラゲ 0.6 0.2 0.2 イカ 0.3 0.5 0.2 タコ 0.2 0.4 0.4 能力:低 B 真のラベルが「イカ」で あるときに「クラゲ」と 回答する確率を意味する EMアルゴリズム E-stepとM-stepを繰り返す 入力 出力 Dawid,A.P.; Skene,A.M. Maximum Likelihood Estimation of Observer Error-Rates Using the EM Algorithm. Applied Statistics. vol. 28, no. 1, p. 20-28, 1979. 

Dawid-Skene法の仕組み(1/4)：文字の定義 67 ワーカ集合 𝐊 例: 𝐊 = {ワーカ𝑨, ワーカ𝑩, ワーカC} タスク集合 𝐈 例: I= {タスク𝟏, タスク𝟐, タスク𝟑} クラス集合 𝐉 例: J= {クラゲ, イカ, タコ} 観測変数 𝑛 𝑖𝑗 𝑘 ワーカkがタスクiにクラスjと回答した回数(0 or 1 が普通) = ワーカの回答結果 潜在変数 𝐸𝑖𝑗 タスクiの真のクラスがjである場合に1， そうでない場合に0となる期待値，最終的に欲しいもの 潜在変数 𝜋 𝑗𝑙 𝑘 ワーカkが真のクラスがjであるタスクにlと回答する確率 ＝ワーカkの混同行列の各セルを表す 潜在変数 クラスjの周辺確率 ＝真のクラスがクラスjであるタスクの割合 𝑝𝑗 クラゲ イカ タコ クラゲ 0.9 0.08 0.02 イカ 0.1 0.9 0.1 タコ 0.03 0.02 0.95 能力:高 A 真のラベルが「イカ」で あるときに「クラゲ」と 回答する確率を意味する ワーカ タスク 回答 ワーカA タスク1 クラゲ ワーカA タスク3 イカ ワーカA タスク7 タコ ワーカB タスク1 イカ ワーカB タスク7 タコ ワーカC タスク1 クラゲ ･･･ 

Dawid-Skene法の仕組み(2/4)：E-step 真のクラスの期待値を計算 68 𝐸𝑖𝑗 = 𝑝𝑗 ς𝑙∈J ς𝑘∈K 𝜋 𝑗𝑙 𝑘 𝑛 𝑖𝑙 𝑘 ς 𝑞∈J 𝑝𝑞 ς 𝑙∈J ς 𝑘∈K 𝜋 𝑞𝑙 𝑘 𝑛 𝑖𝑙 𝑘 ワーカｋの重みつき1票 全ワーカでのタスクiがjであるという同時確率 分子をすべてのクラスについて計算した同時確率 クラスjである確率/すべてのクラスでの確率 で期待値を計算 

Dawid-Skene法の仕組み(3/4)：M-step ワーカの能力と周辺確率を推定 69 𝑝𝑗 = σ𝑖∈𝐼 𝐸𝑖𝑗 |I| 𝜋 𝑗𝑙 𝑘 = σ𝑖∈𝐼 𝐸𝑖𝑗 𝑛 𝑖𝑗 𝑘 σ 𝑚∈J σ 𝑖∈𝐼 𝐸𝑖𝑗 𝑛 𝑖𝑚 𝑘 真のクラスがクラスjであるタスクの割合を計算している ←総タスク数 タスクの真のクラスの期待値を用いて，混同行列を計算する クラスjに関する場合のみを分子に すべてのクラスでの和を分母にする クラゲ イカ タコ クラゲ 0.9 0.08 0.02 イカ 0.1 0.9 0.1 タコ 0.03 0.02 0.95 能力:高 A 真のラベルが「イカ」で あるときに「クラゲ」と 回答する確率を意味する 混同行列 

Dawid-Skene法の仕組み(4/4)：初期化とEMアルゴリズムの実行 E-stepを以下のように初期化し，EMアルゴリズムを実行する E-step (初期化) → M-step → E-step → M-step → E-step → M-step → E-step･･･ と繰り返すことで集約を行う． 【終了条件】 • 最大ループ回数に達したら終了する • 損失(loss)が一定の値以下になったら終了する 70 𝐸𝑖𝑗 = σ𝑘∈K 𝑛 𝑖𝑗 𝑘 σ 𝑙∈J σ 𝑘∈K 𝑛 𝑖𝑙 𝑘 やっていることはとても単純 ３人のワーカが（クラゲ，クラゲ，タコ）と回答した場合 クラゲ66%，タコ33%に初期化される 教師無し学習でなぜ損失が計算できるのかについては，EMアルゴリズムの理論を参照（非常に難しい...）． C.M.ビショップ『パターン認識と機械学習(PRML)』の第9章「混合モデルとEM」などに説明されている． 

ハンズオン：PythonでDawid-Skene法を試す (20分) 2022年にクラウドソーシング企業のToloka社がCrowd-Kitというライブラリを作成 したことで，様々な集約アルゴリズムを簡単に使うことが可能になった． 1. https://github.com/takumi1001/seccamp2024_D2/blob/main/02_Dawid- Skene_Aggregation.ipynbにアクセスする 2. を押す 3. 順番にセルを実行していく（初めに警告が出ますが今回は「このまま実行」でOK） 71 https://github.com/Toloka/crowd-kit 

（補足）クラス分類以外での集約アルゴリズム 【順序付き回帰問題・回帰問題】 • 平均値が使われることが多い • 潜在クラスモデルを用いた方法も提案されている (Raykar et al. 2010) • 実用されているかは微妙，実装も入手しづらい 【テキスト自由入力タスク】 • 原理的に難しい，集約というよりは「どれが一番良いか」を選ぶ問題になる • 埋め込み(Embedding)技術を利用した手法が提案されている • Crowd-Kitからも利用できる：https://crowd-kit.readthedocs.io/en/stable/texts/ • 万能な方法ではないので，仕組みを理解した上で使用する必要がある • ワークフローの考えを使い，クラス分類に変換するのも手 • 「自由入力タスク」→「関連性確認タスク」 【物体検出（画像セグメンテーションなど）】 • ピクセル単位で多数決や潜在クラスモデルを適用することができる • 「はい/いいえ」のクラス分類に問題を変換する • Crowd-Kitからも利用可能：https://crowd-kit.readthedocs.io/en/stable/segmentation/ 72 Vikas C. Raykar, Shipeng Yu, Linda H. Zhao, Gerardo Hermosillo Valadez, Charles Florin, Luca Bogoni, and Linda Moy. 2010. Learning From Crowds. J. Mach. Learn. Res. 11 (3/1/2010), 1297–1322. 

集約プロセスにおける倫理上の注意 • 安易に特定のワーカを「スパム」や「能力が低い」と断定しない • タスク設計の問題であるかもしれない • ワーカとタスク依頼者のバックグラウンドが違うために起こる問題かもしれない • ワーカは色覚異常を持っているかもしれない • ワーカの住んでいる地域では，同じ単語でも意味が違うかもしれない • タスク説明の英語がおかしかったのかもしれない（日本人にありがち？） • 潜在クラスモデルによる能力推定には根拠がない • ワーカの能力は，正解データが存在するタスクを解いてもらうことでしか測れない • ワーカ間一致率や集約アルゴリズムは多様性を減らしてしまうことに注意 • 少数派の意見がデータセットに反映されづらくなる • 少数派の意見を反映させるための手法も検討されてきている (Davani et al. 2022) • 近年，クラウドワーカが裏でChatGPTを使っているのでは？という疑惑がある(Veselovsky et al. 2023) • そのような場合，集約は意味をなさないかもしれない • もちろん，安易にワーカをChatGPT認定してはいけない • ワーカ間一致率を「p値ハックキング」しない • ワーカ間一致率は統計検定におけるp値のようなもの • 一致率を向上させることは有効だが，間違った方法で向上させないこと 73 Davani , A., Diaz, M., Vinodkumar P. (2022). Dealing with Disagreements: Looking Beyond the Majority Vote in Subjective Annotations. Transactions of the Association for Computational Linguistics, 10, pp. 92–110. Veselovsky, V., Ribeiro, M.H., & West, R. (2023). Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks. ArXiv, abs/2306.07899. Robert (Munro) Monarch (著/文), 上田 隼也 (翻訳), 角野 為耶 (翻訳), 伊藤 寛祥 (翻訳), “Human-in-the-Loop機械学習 -人間参加型AIのための能動学習とアノテーション-”, 共立出版(2023), pp240-241. 

第３部「人間とAIの協調」 ～LLMによるアノテーションに焦点を当てて～ 74 

余談：「ロボット / AI」は人間の敵か？ 75 AIは敵 AIは仲間 「2001年宇宙の旅」「ターミネーター」 「マトリックス」「エクス・マキナ」 「ドラえもん」「鉄腕アトム/PLUTO」 「われはロボット」「STAR WARS」 映画・アニメ・小説では？ 

余談：フランケンシュタイン・コンプレックスを人類は乗り越えられるか？ 人類の神話や歴史上の古典作品には， 「人が作った知性・生物」を忌み嫌う風潮がある（特に西洋世界において顕著） • 旧約聖書「ゴーレム」 • メアリー・シェリー「フランケンシュタイン」 • カレルチャペック「R.U.R.」 • この作品で初めて「ロボット」という言葉が生まれたが，それは人類の敵としての登場だった SF小説家のアイザック・アシモフはこの風潮を 「フランケンシュタイン・コンプレックス」と名付けた • アシモフは「ロボットは仲間」という視点の作品を多数残している • ロボット工学 (Robotics)という言葉の生みの親であり，「ロボット工学三原則」で有名 日本人は比較的ロボットに寛容であると考えられてきたが，近年の生成AIに対して の反応や認識はどうだろうか？ ロボットが敵であるという歴史的な偏見（差別？）を我々は乗り越えられるか？ 76 

Human-AI Collaboration (人間とAIの協調・協働) 人間とAIが相互作用を通じて共に作業・成長していくことを目指す研究分野 77 

Human-in-the-loop (人間参加型機械学習) 機械学習モデルの学習・運用プロセスに人間のフィードバックを介在させる技術 （具体的な手法に能動学習やRLHFなどがある） 78 学習データ 学習 機械学習モデル 推論 推論結果 人間によるフィードバック 

Human Computation (人間による計算) 計算機には不可能・困難な計算処理を代わりに人間が行うこと ゲーミフィケーションを組み合わせるGWAP (Game With A Purpose) も有名 79 reCAPTCHA Foldit Luis von Ahn et al. ,reCAPTCHA: Human-Based Character Recognition via Web Security Measures.Science321,1465-1468 (2008). https://doi.org/10.1126/science.1160379 Cooper, S., Khatib, F., Treuille, A. et al. Predicting protein structures with a multiplayer online game. Nature 466, 756–760 (2010). https://doi.org/10.1038/nature09304 

具体的事例：LLMによるアノテーションは可能か？ 80 https://arxiv.org/abs/2304.10145 https://arxiv.org/abs/2303.16854 https://arxiv.org/abs/2307.02179v1 LLMは人間のアノテータを置き換えられるという主張がある ⇒重要なのはどう協力するかではないか？ 

事例(1/3): 人間とAIの協調アノテーション 81 テキスト分類のタスクで，分類に寄与しそうな部分をAIが事前にハイライトする 作業負荷の低減につながるが，品質は向上せず Ramírez, J., Baez, M., Casati, F., & Benatallah, B. (2019). Understanding the Impact of Text Highlighting in Crowdsourcing Tasks. Proceedings of the AAAI Conference on Human Computation and Crowdsourcing, 7(1), 144-152. https://doi.org/10.1609/hcomp.v7i1.5268 

事例(2/3): 人間とAIの協調アノテーション 82 Xu, J., Han, L., Sadiq, S., & Demartini, G. (2024). On the Role of Large Language Models in Crowdsourcing Misinformation Assessment. Proceedings of the International AAAI Conference on Web and Social Media, 18(1), 1674-1686. https://doi.org/10.1609/icwsm.v18i1.31417 誤情報の識別タスクを人間とAI (GPT-3.5) が， 協力して行えるかを調査した研究 AIの回答とその理由を人間に提示するアイデアを 提案している 一方で，実験結果はいくつかの課題も示している • GPT3.5は誤情報を「正しい」と誤判定しまい がち • 人間はGPT3.5の回答を信用してしまいがち AIのバイアスが人間に波及してしまう 

事例(3/3): 人間とAIの協調アノテーション 83 Taro Miyazaki, 株式会社ナウキャスト様の AWS 生成 AI 事例：決算短信データ抽出業務における LLM 業務適用, Amazon Web Services ブログ, https://aws.amazon.com/jp/blogs/news/gen-ai-usecase-nowcast/ LLMを用いて決算短信データを抽出 人間のアノテータがLLMの作成したデータを確認・修正 公開されている日本企業での協調アノテーションの事例 

本講義のまとめ AIは人間でできている • AIの裏側には必ず人間がいる • 人間が作るデータの品質を向上させることがAIの品質向上には必要 • クラウドソーシングは短時間で多くの人に仕事を依頼できる タスク設計とワークフロー • タスク設計は品質管理の重要な要素で，とても工夫しがいがある • 複数のタスクを組み合わせるワークフローは有力な手法 結果集約 • ワーカ間一致率（クリッペンドルフのα）を計算することで品質を把握できる • 潜在クラスモデルによる集約（Dawid-Skene法など）は品質向上をもたらす 人間とAIの協調 • AIシステムに人間が適切に介入していくことが重要 • アノテーションの分野でもLLMの活用が進んでいるが，リスクもある 84