ユーザブルセキュリティ・プライバシー分野に おけるユーザスタディの動向2019 2019年6月 長谷川 彩子（NTTセキュアプラットフォーム研究所） 

2 Copyright©2019 NTT Corp. All Rights Reserved. 2018年3月に『実践 Amazon Mechanical Turk』を SlideShareにアップロード  学術研究におけるオンラインサーベイのデファクトスタ ンダードツールとなっているクラウドソーシングサービ スAmazon Mechanical Turkの基本的な使い方を紹介 本資料について https://www.slideshare.net/Ayako_Hasegawa/ amazon-mechanical-turk-92372451 本資料は，作成者の研究分野であるユーザブルセキュリティ・プライバシー分野の論文 を参考にして作成しているが，当該分野に限らず一般に通じる内容であると期待する 本資料では，ユーザスタディの動向およびクラウドソーシ ングサービス利用の動向について紹介 

3 Copyright©2019 NTT Corp. All Rights Reserved. 作成者 氏名：長谷川 彩子（ayako.hasegawa.vghco.ntt.co.jp） 所属：NTTセキュアプラットフォーム研究所（研究員. 2015年入社） 研究分野：ユーザブルセキュリティ・プライバシー 作成者の研究分野： ユーザブルセキュリティ・プライバシー ユーザブルセキュリティ・プライバシーとは セキュリティ・プライバシーとユーザビリティの関係を扱う • ヒューマンファクタがセキュリティ・プライバシーにどう影響するか？ • セキュリティ技術・プライバシー問題に焦点を当てながらも，調査手法と してはヒューマンコンピュータインタラクション（HCI）技術を応用 • 詳細は下記資料を参照されたい 『セキュリティとプライバシーに求められるユーザビリティ』 金岡先生（東邦大学） https://speakerdeck.com/akirakanaoka/sekiyuriteitopuraibasiniqiu- merareruyuzabiritei 

4 Copyright©2019 NTT Corp. All Rights Reserved. 1. ユーザスタディの動向 1. ユーザスタディ手法 2. 参加者募集方法 3. 報酬額設定 4. 参加者数 5. 参加資格設定 2. クラウドソーシングサービス利用の動向 1. Amazon Mechanical Turk（MTurk） 2. Prolific 3. 不良回答のスクリーニング方法 目次 

5 Copyright©2019 NTT Corp. All Rights Reserved. 1. ユーザスタディの動向 

6 Copyright©2019 NTT Corp. All Rights Reserved.  ユーザブルセキュリティ・プライバシー分野の難関国際会議で あるSOUPS※1およびCHI※2に採択された最近3年間の論文の データをもとに，ユーザスタディの動向を把握  特に，ユーザスタディ手法，参加者募集方法，報酬額設定，参加者数，参 加資格設定を集計  論文データ：  SOUPS※3：2018（28本）, 2017（26本）, 2016（22本）  CHI※4：2019（21本）, 2018（17本）, 2017（22本） 1. ユーザスタディの動向 ※1：Symposium on Usable Privacy and Security（SOUPS）．セキュリティとプライバシーのユーザビリティ に特化したハイレベル会議．採択論文数30本弱．採択率23.3%（2018）．8月開催. ※2：The ACM CHI Conference on Human Factors in Computing Systems（CHI）. ヒューマンコンピュータ インタラクション分野のトップ会議．700本超の採択論文のうち，セキュリティ・プライバシーを扱った論文も20 本程度含まれる．採択率23.8%（2019）．5月開催． ※3：採択論文全て ※4：セキュリティ・プライバシーを扱っており，論文が公開されているものに限る 

7 Copyright©2019 NTT Corp. All Rights Reserved. 1.1. ユーザスタディ手法 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% CHI'19 SOUPS'18 CHI'18 SOUPS'17 CHI'17 SOUPS'16 ラボ実験 インタビュー フィールドワーク オンラインサーベイ オンライン実験 オンライン実態調査 • インタビュー：対面インタビューが多かったが，電話インタビューやテレビ電話インタビューも含む • フィールドワーク：エスノグラフィーを含む • オンライン実験：ここでは，参加者のPCの動作ログを分析するなどの，オンラインサーベイより複雑な調査を”オンライン実験“と分類 • オンライン実態調査：ここでは，オンラインサービスのプライバシーポリシの分析やパスワードポリシの分析など，ユーザスタディを 伴わないオンラインでの実態調査を“オンライン実態調査”と分類 • 1論文中に複数のユーザスタディとしている場合，Main studyの手法のみを集計 

8 Copyright©2019 NTT Corp. All Rights Reserved.  オンラインサーベイで参加者募集に利用されるサービス 1.2. 参加者募集方法（オンラインサーベイ） 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% CHI'19 SOUPS'18 CHI'18 SOUPS'17 CHI'17 SOUPS'16 Amzon Mechanical Turk Prolific Academic Google Consumer Surveys 自組織内で募集 リサーチ会社（委託） 地域のオンライン掲示板 

9 Copyright©2019 NTT Corp. All Rights Reserved.  参加者募集の例（複数を組み合わせることが多い）  大学/会社のメーリングリスト  人づて：知り合い・知り合いの知り合い…  SNS  地域のオンライン掲示板（Craigslist等）  大学構内の掲示板・ポスター  近隣住民への広告  調査会社に依頼  大学/会社のホームページ  イベント会場（地域のイベント・国際学会・展示会）  協力会社 など 1.2. 参加者募集方法（インタビュー・ラボ実験） 

10 Copyright©2019 NTT Corp. All Rights Reserved. 1.2. 参加者募集方法（オンライン実験）  オンライン実験で利用されるサービスの例  自社サービスのユーザのアクティビティログを分析（募集なし）  研究例：マルウェア感染通知への反応の調査  研究例：スパムのクリック率の調査  GitHubやFreelancerでエンジニア募集  研究例：開発者がセキュアなコードを書いているのかの調査  クラウドソーシングサービスで参加者を募集した後，SBOを用いてユーザ のコンピュータ上のアクティビティログを分析  研究例：セキュリティアップデートの実施状況の調査 SBO（Security Behavior Observatory）： カーネギーメロン大のCyLabが提供する研究用のトラッキングソフトウェア．参加者に インストールしてもらい，参加者のコンピュータのアクティビティを収集．長期観測が 可能． 

11 Copyright©2019 NTT Corp. All Rights Reserved.  サーベイの平均完了時間と報酬額  平均完了時間と報酬額の両方が記載されている論文のみ抜粋※1  （少なくともこれまでは）事前調査における参加者の平均完了時間をもと に報酬額を設定するのが一般的 （例）『最初の20人の参加者の平均完了時間が12分であったため，Ｕ.Ｓ.の最低賃金に従うよう，報 酬額を$1.5とした.』（S. Sannon et al., CHI’18） 1.3. 報酬額設定（オンラインサーベイ） （1/2） U.S.最低賃金 （時給$7.25） ※１：報酬額のみ記載し完了時間を記載していない論文も多い（そしてそのような論文では低賃金が多いように思える…） 平均完了時間（分） 報酬額（ドル換算） 

12 Copyright©2019 NTT Corp. All Rights Reserved.  報酬額設定のこれから①：インフレ  MTurkの報酬額のインフレが起きている（K. Busse et al., USEC’19)  研究者の倫理的配慮が特に重要視される現在，「最低賃金を満たす」では なく「最低賃金を（優に）超える」報酬額設定が増えつつある  報酬額設定のこれから②：報酬額設定モデル  最新の論文（L. Lascau et al., CHI’19）では、Mturkワーカーはマルチタ スク（家事など）でMTurkに参加していることが明らかになり，著者らは マルチタスクを許容したシステム設計にすることを推奨  必ずしも，回答時間が平均より大幅に長い⇒回答の質が悪い，ということ ではない  平均完了時間をもとにしたこれまでの報酬額設定モデルが崩壊しつつある 1.3. 報酬額設定（オンラインサーベイ） （2/2） 

13 Copyright©2019 NTT Corp. All Rights Reserved.  インタビュー・ラボ実験の報酬額の分布  報酬額が記載されている論文のみ抜粋  報酬の支払い方法として，ギフトカード（Amazon Gift Card, Starbucks Gift Card, 大学食堂の食券）または現金が挙げられていた 0 2 4 6 8 10 12 14 $ 5 以 下 $ 1 0 以 下 $ 1 5 以 下 $ 2 0 以 下 $ 2 5 以 下 $ 3 0 以 下 $ 3 5 以 下 $ 4 0 以 下 $ 4 5 以 下 $ 5 0 以 下 $ 5 5 以 下 $ 6 0 以 下 $ 6 5 以 下 $ 7 0 以 下 $ 7 5 以 下 $ 8 0 以 下 $ 8 5 以 下 $ 9 0 以 下 $ 9 5 以 下 $ 1 0 0 以 下 $ 1 0 5 以 下 $ 1 1 0 以 下 $ 1 1 5 以 下 論 文 数 報酬額（ドル換算） • 少数の電話/オンラインイン タビューも含む • 参加者ごとに対面/電話/オ ンラインを使い分けていた 論文においても，媒体によ る報酬額の違いは見られな かった • 論文中に無報酬と明記され ていた論文は集計したが， 報酬額に関する記載がな かった論文は集計せず 論文数：36 最小値：0 最大値：113.9 平均値：23.8 中央値：15 1.3. 報酬額設定（インタビュー・ラボ実験） （1/2） 

14 Copyright©2019 NTT Corp. All Rights Reserved.  インタビュー時間と報酬額  インタビュー時間と報酬額の両方が記載されている論文のみ抜粋  本データには大学内の学生や自社の従業員を集めている場合（実質交通費発生 せず）と学生以外を集めている場合（交通費発生）の両方が含まれる等，イン タビュー時間のみで報酬額を一概に評価できないが，最低賃金と比較してかな り高い水準で支払われていることが伺える • 報酬額が$0の点は、論文中に無報酬と明記されていた論文 • 少数の電話/オンラインインタビューも含む U.S.最低賃金（時給$7.25） 報酬額（ドル換算） 平均完了時間（分） 1.3. 報酬額設定（インタビュー・ラボ実験） （2/2） 

15 Copyright©2019 NTT Corp. All Rights Reserved.  オンラインサーベイ・オンライン実験の参加者数※1 1.4. 参加者数（オンラインサーベイ） ※1：不良回答を除いた有効回答者数 0 1 2 3 4 5 6 7 8 9 1 0 0 人 以 下 2 0 0 人 以 下 3 0 0 人 以 下 4 0 0 人 以 下 5 0 0 人 以 下 6 0 0 人 以 下 7 0 0 人 以 下 8 0 0 人 以 下 9 0 0 人 以 下 1 0 0 0 人 以 下 1 1 0 0 人 以 下 1 2 0 0 人 以 下 1 3 0 0 人 以 下 1 4 0 0 人 以 下 1 5 0 0 人 以 下 1 6 0 0 人 以 下 1 7 0 0 人 以 下 1 8 0 0 人 以 下 1 9 0 0 人 以 下 2 0 0 0 人 以 下 2 0 0 1 人 以 上 論 文 数 参加者数 オンラインサーベイ オンライン実験 [オンラインサーベイ] 論文数：44 最小値：100 最大値：6291 平均値：1178.9 中央値：820.5 [オンライン実験] 論文数：14 最小値：26 最大値：2000 平均値：345.8 中央値：101 

16 Copyright©2019 NTT Corp. All Rights Reserved.  インタビュー・ラボ実験の参加者数 1.4. 参加者数（インタビュー・ラボ実験） 0 2 4 6 8 10 12 5 人 以 下 1 0 人 以 下 1 5 人 以 下 2 0 人 以 下 2 5 人 以 下 3 0 人 以 下 3 5 人 以 下 4 0 人 以 下 4 5 人 以 下 5 0 人 以 下 5 5 人 以 下 6 0 人 以 下 6 5 人 以 下 7 0 人 以 下 7 5 人 以 下 8 0 人 以 下 8 5 人 以 下 9 0 人 以 下 9 5 人 以 下 1 0 0 人 以 下 1 0 1 人 以 上 論 文 数 参加者数 ラボ実験 インタビュー [ラボ実験] 論文数：22 最小値：11 最大値：66 平均値：32.4 中央値：30 [インタビュー] 論文数：34 最小値：12 最大値：3000 平均値：121.3 中央値：23  ラボ実験では，統制群と実験 群の統計的有意差を検証する ことが多く，ある程度のサン プルサイズを必要とするため か，インタビューより中央値 が大きい 

17 Copyright©2019 NTT Corp. All Rights Reserved.  居住国制限 ：あり（86.7%）  内，論文1本を除き全て「U.S.」．1本は「UK」（Prolificで参加者募集）  タスク承認率制限：あり（63.0%）  内，「90％以上」が17.6%，「95％以上」が76.5%，「97％以上」が5.9%  タスク承認数制限：あり（29.6%）  内，「50以上」が25.0%，「100以上」が12.5%，「500以上」が12.5%， 「1000以上」が50.0%  年齢制限  年齢制限について記載のある論文は59.3%（全て「18歳以上」）だが，MTurkや Prolificをはじめワーカー登録条件が18歳以上であるクラウドソーシングサービス が多く，実質ほぼ全ての論文で参加者は18歳以上に制限されている※1 オンラインサーベイ実施論文のうち，参加者資格に関する記載のある論文を分析 ※１：Prolificによると，18歳未満の登録者が極めて少数含まれるらしく（ポリシー違反登録者），参加資格設定で 18歳以上と設定することを推奨している 1.5. 参加資格設定（オンラインサーベイ） 

18 Copyright©2019 NTT Corp. All Rights Reserved.  年齢制限（18歳以上）と背景  GDPR（General Data Protection Regulation）やCOPPA（Children‘s Online Privacy Protection Act）では，13歳未満の児童やその情報の取 り扱いに関して規定  他の規則では「児童」は18歳未満を指すと定義されている  一般に心理学実験では児童および児童の情報の取り扱いには特に注意が必 要とされており，そこでは13歳未満ではなく18歳未満の参加者を指すこ とが多い  大学等のIRB（Institutional Review Board；倫理審査委員会）では，18 歳未満の参加希望者には親の同意書の提出を求めることが多い 1.5. 参加資格設定 以上の背景から，児童に関する研究テーマでない限りは，一般に「18歳以上」 を参加資格に設定する論文が多い 

19 Copyright©2019 NTT Corp. All Rights Reserved. 2. クラウドソーシングサービス利用の動向 第2部では，特にオンラインサーベイ・オンライン実験において参加者募集に よく使われるクラウドサーシングサービスの動向について紹介 

20 Copyright©2019 NTT Corp. All Rights Reserved. 2.1. Amazon Mechanical Turk（1/3）  概要  Amazon社が提供する大規模クラウドソーシングサービス  U.S.・インド在住のワーカーが多い  リクエスター登録は日本を含め多くの国から可能  本資料P8の通り，オンラインサーベイのデファクトスタンダードツール  IF>=2.5の学術論文の中でMTurkを利用した論文の数が5年間で約10倍に増加 （J.Chandler et al., 2016）  MTurkをサーベイのツールとして利用した学術論文だけでなく，MTurkの特徴 （ワーカーのデモグラフィーなど）を調査した学術論文も数多く存在  MTurkの基本的な使い方は『実践 Amazon Mechanical Turk』 にて紹介 https://www.slideshare.net/Ayako_Hasegawa/amazon-mechanical-turk-92372451 

21 Copyright©2019 NTT Corp. All Rights Reserved. 2.1. Amazon Mechanical Turk（2/3）  最近の動き：セキュリティ分野のトップ会議での連続採択  セキュリティ・プライバシの4大トップ会議のうちの2会議にて，MTurkを 用いたオンラインサーベイの回答の質の高さを検証した論文が続けて採択  CCS’18：セキュリティ行動に関する回答結果と実行動との類似性  セキュリティ行動（例：ソフトウェアアップデート）に関してユーザは実行動 よりも“良く”回答する傾向にあるが（社会的望ましさバイアス），その乖離の 度合はcensus-representativeなウェブパネルよりもMTurkのほうが小さい  S&P’19：US人口代表性の高さ  セキュリティ知識・経験・行動など複数の項目において，MTurkの結果回答は census-representativeなウェブパネルよりもUS人口の代表性が高い  著者らは，セキュリティ・プライバシ分野のユーザスタディにおいて今後も MTurkが使われ続けるだろうと述べている  以下の論文にて，MTurkワーカーのデモグラフィーとU.S. censusが比較されている Angelisa C. Plane, Elissa M. Redmiles, and Michelle L. Mazurek, Exploring User Perceptions of Discrimination in Online Targeted Advertising, In Proceeding of USENIX Security’17, 2017. 

22 Copyright©2019 NTT Corp. All Rights Reserved. 2.1. Amazon Mechanical Turk（3/3） （参考）MTurkの最近の仕様変更点：タスクのテンプレートの増加  テンプレートが16→28種へ増加  現在のテンプレート：  Survey Survey Link，Survey  Vision Image Classification，Bounding Box，Semantic Segmentation，Instance Segmentation， Polygon，Keypoint，Image Contains，Video Classification，Moderation of an Image，Image Tagging，Image Summarization  Language Sentiment Analysis，Collect Utterance，Emotion Detection，Semantic Similarity，Conversation Relevance，Audio Transcription，Document Classification，Translation Quality，Audio Naturalness  Other Data Collection，Website Collection，Website Classification，Item Equality，Search Relevance， Other 

23 Copyright©2019 NTT Corp. All Rights Reserved. 2.2. Prolific（1/7）  概要  2014年にオックスフォード大で設立  MTurkが学術研究用途での設立でないのに対し，Prolificは学術研究におけ る参加者募集プラットフォームとして設立  本資料P8の通り，ユーザブルセキュリティ・プライバシーの分野でも 2018年以降から使われ始めている  UK・U.S.のワーカーが多い  研究者登録は日本を含め多くの国から可能  「Fair Rewards」を掲げており，時給$6.50以上の報酬額設定が必要  参加者のデモグラフィーを公開  出身国，居住国，年齢，性別，雇用状況，民族性，第一言語，学歴  参加者募集プラットフォームであり募集や支払などはProlific上で管理する が，タスク自体はQualtricsやsurvey monkeyのようなアンケート作成 ツール上で実施 

24 Copyright©2019 NTT Corp. All Rights Reserved. 2.1. Prolific（2/7）  MTurkとの違い  E. Peerら（2017）が、MTurkとProlificとの回答の質の違いや参加者のデ モグラフィーの違いを検証 MTurk Prolific 回答ドロップアウト率 低い 高い 同人数の参加者募集までにか かる時間 早い 遅い 参加者のナイーブ性 （バイアスの生じやすさ） 低い 高い 不誠実性 高い 普通 参加者の居住国 多様でない （U.S.が9割，インドが1割） 多様 （UKが4割，U.S.が3割を占める が，他の地域も含む） 収入レベル 低い 高い 教育レベル 概ね類似 各サービスの利用頻度と収入 高い （MTurkを本業とする参加者が ある程度存在） 普通 

25 Copyright©2019 NTT Corp. All Rights Reserved. 2.2. Prolific（3/7） 研究者側のメイン画面  Step1：基本情報の入力（タイトル，サーベイURL，想定所要時間，制限時間，募集数，報酬額） アンケート作成ツール （Qualtricsやsurvey monkey）上でこのURLをアン ケートの最後に貼り付け、参加 者にProlificへリダイレクトさせる 

26 Copyright©2019 NTT Corp. All Rights Reserved. 2.2. Prolific（4/7）  Step2：サーベイ内容紹介文の入力 

27 Copyright©2019 NTT Corp. All Rights Reserved. 2.2. Prolific（5/7）  Step3：参加資格の設定 UKやU.S.の人口統計 を代表するサンプル 研究者が参加資格を 細かく設定できる 

28 Copyright©2019 NTT Corp. All Rights Reserved. 2.2. Prolific（6/7）  Step3：参加資格の設定  参加資格のカテゴリ：  各カテゴリ内に10個程度の設定項目があり，多様な参加資格設定が可能  例）「Basic demographic variables」カテゴリ内の項目： Age，Handedness，Nationality，Ethnicity，Mono/multi cultural，Sex， Gender identity，Sexual Orientation Basic demographic variables Custom Screener Education Family & relationships General health Geographic variables Interests / hobbies Languages Mental health Participation on Prolific Physical health Political, religious, and personal beliefs Shopping and personal finance Socioeconomic variables Work 

29 Copyright©2019 NTT Corp. All Rights Reserved.  ユーザスタディを補助する参加資格設定  「Participation on Prolific」カテゴリには，ユーザスタディを補助する参 加資格項目が存在 ⇒ オンラインで多様なユーザスタディが可能 • Approval Rate • Number of previous submissions • Record Video：調査の一環としてウェブカメラで撮影してもよい参加者 • Deception：ディセプションスタディに参加してもよい参加者 - 本当の調査目的を告げずに行う，騙しの実験 - 調査完了後にデブリーフィング（本当の調査目的を説明） • Confidentiality agreement： 秘密保持を誓う参加者 • Skype：Skypeアカウントを所有する参加者 • Video call interview：テレビ電話でのインタビューに参加してもよい参加者 • Participating together with a romantic partner on Prolific • Other crowdsourcing platforms select • Previous Studies：過去の特定の調査の参加者を除外（重複参加防止） 2.2. Prolific（7/7）  Step3：参加資格の設定 

30 Copyright©2019 NTT Corp. All Rights Reserved. 2.3. 不良回答のスクリーニング方法  クラウドソーシングサービスの不良回答  クラウドソーシングサービスは比較的低コストで大量の回答が得られると いうメリットがある一方で，不良回答が含まれるというデメリットがある  不良回答：人間による不誠実な/不注意な回答＋機械的に生成された回答  E.M.Buchananら（2018）は，MTurk上の不良回答除去法として以下の5 つが有効であることを示し，5つのうち2つ以上を組み合わせて用いること を推奨 1. Click count 2. Page timing • 文字を読む速さ 3. Number of scale options used • リカート尺度において選択した尺度の数 4. Response distribution 5. Manipulation check • 伝統的な注意力テスト手法．質問内に通常通りの回答をしないように求めるメッ セージを加え，通常通りの回答をした回答者を除去 

31 Copyright©2019 NTT Corp. All Rights Reserved. おわりに 

32 Copyright©2019 NTT Corp. All Rights Reserved. 引用論文  Shruti Sannon, Natalya N. Bazarova, and Dan Cosley, Privacy Lies: Understanding How, When, and Why People Lie to Protect Their Privacy in Multiple Online Contexts, ,In Proceedings of CHI’18, 2018.  Karoline Busse, Dominik Wermke, Dominik Wermke, Dominik Wermke, Emanuel von Zezschwitz, and Matthew Smith, Replication: Do We Snooze If We Can’t Lose? Modelling Risk with Incentives in Habituation User Studies, In Proceedings of USEC’19, 2019.  Laura Lascau, Sandy J. J. Gould, Anna L. Cox, Elizaveta Karmannaya, and Duncan P. Brumby, Monotasking or Multitasking: Designing for Crowdworkers’ Preferences, In Proceedings of CHI’19, 2019.  Jesse Chandler and Danielle Shapiro, Conducting Clinical Research Using Crowdsourced Convenience Samples, Annual Review of Clinical Psychology, Vol. 12:53-81, 2016.  Elissa M. Redmiles, Ziyun Zhu, Sean Kross, Dhruv Kuchhal, Tudor Dumitras, and Michelle L. Mazurek, Asking for a friend: Evaluating response biases in security user studies, In Proceedings of CCS’18, 2018.  Elissa M. Redmiles, Sean Kross, and Michelle L. Mazurek. How Well Do My Results Generalize? Comparing Security and Privacy Survey Results from MTurk, Web, and Telephone Samples, In Proceedings of S&P’19, 2019.  Eyal Peer, Laura Brandimarte, Sonam Samat, and Alessandro Acquisti, Beyond the Turk: Alternative platforms for crowdsourcing behavioral research, Journal of Experimental Social Psychology, Volume 70, May 2017, Pages 153-163, 2017.  Erin M. Buchanan and John E. Scofield, Methods to detect low quality data and its implication for psychological research, Behavior Research Methods, December 2018, Volume 50, Issue 6, pp 2586–2596, 2018. 

33 Copyright©2019 NTT Corp. All Rights Reserved. 関連資料（1/2）  日本心理学会, 心理学ワールド, 82巻, 2018, [小特集]クラウドソーシング―心理学データの新しい姿 https://psych.or.jp/publication/world082/  眞嶋良全様（北星学園大学）「クラウドソーシングを使った研究が気になっているあなたへ」  五十嵐祐様（名古屋大学）「機械仕掛けのトルコ人，人間仕掛けのクラウドソーシング」  三浦様麻子（関西学院大学）「クラウドソーシングで得られるデータの質」  伊藤言様（株式会社イデアラボ）「日本の研究者がクラウドソーシングを使いこなすには」  オンラインで全記事閲覧可能. クラウドソーシングの現状，研究者の心構えなど.  Bernard C.K. Choi et al., A Catalogue of Biases in Questionnaires, Prev Chronic Dis.2005 Jan; 2(1): A13. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1323316/#  ユーザスタディにおいてワーディングは非常に重要である. この資料では質問紙におけるワーディングとバイア スについて一通りまとめられている.  ブログ記事：ノエル’s diary, Amazon Mechanical Turk (MTurk) を使ってみたメモ https://nomoto-eriko.hatenablog.com/entry/2018/11/15/031737  MTurkを実際に使用された方の詳細なメモ. 躓きやすい点など. 

34 Copyright©2019 NTT Corp. All Rights Reserved. 関連資料（2/2）  日本心理学会, 公益社団法人日本心理学会倫理規程 https://psych.or.jp/publication/rinri_kitei/  心理学に関係する研究者が守るべき倫理上の指針.  National Commission for the Protection of Human Subjects of Biomedical and Behavioral Research, The Belmont Report. Ethical principles and guidelines for the protection of human subjects of research, 1979. https://www.hhs.gov/ohrp/regulations-and-policy/belmont- report/index.html  通称「ベルモントレポート」. 研究対象者保護のための倫理原則および指針.  最近の論文では，研究倫理に関する記述が不可欠となってきている. 1節を設けて研究倫理に ついてしっかり記述している論文が多い.