Qualtricsで相互作用実験する「SMARTRIQS」入門編

by Soichiro Kashihara

Slide 1

Slide 1 text

SMARTRIQS 入門編柏原宗一郎関西学院大学社会学研究科/ 日本学術振興会 (DC2) 1

Slide 2

Slide 2 text

目次 I. 入門編：SMARTRIQSの説明と実施まで 1. SMARTRIQSとは 2. 環境構築から実験実施まで 3. 演習1：実際に実験を動かしてみる（最後通牒ゲームを例に） 4. 演習２：日本語化 5. モニタリング II. 基礎編：仕組みの理解と実験の作り方 1. 仕組みを理解する 2. 実験の作り方 3. 演習3：人数と利得構造を変える（公共財ゲームを例に） 4. 演習4：繰り返しにする（公共財ゲームを例に） 5. 演習5：独裁者ゲームを最後通牒ゲームにする III. 実践編/応用編 1. 実験実施する上での注意点（リクルーティング / 質問紙の追加位置） 2. タイムアウトとBotや脱落について 3. チャットテンプレート 4. 自分でサーバーを立てる 5. JavaScriptを使ったカスタマイズ（先制攻撃ゲームを例に） 6. 結果の表示の仕方（補足） 2

Slide 3

Slide 3 text

目標：実験をダウンロードして公開する •入門編の目標 1. SMARTRIQSについて知る 2. テンプレートをインポートして実験する 3. 日本語化する 3

Slide 4

Slide 4 text

1.1 SMARTRIQSとは入門編

Slide 5

Slide 5 text

Qualtricsとは •Qualtrics社が提供するアンケートプラットフォーム • 学術研究やマーケティングリサーチで広く利用 •特徴 • 誰でも簡単に調査表を作成できる • 多肢選択やスライダー,マトリクスなど多様な回答方法 • 複雑なフローもGUIで組める 5

Slide 6

Slide 6 text

Qualtrics 6

Slide 7

Slide 7 text

Qualtricsの弱点 •同時相互通信ができない • 回答中にAさんとBさんの間で情報のやり取りは無理チャットやゲームはできない 7 Aさん Bさん

Slide 8

Slide 8 text

SMARTRIQSとは •インタラクティブなゲームをQualtricsで実現するツール • 個々人のQualtrics調査表を繋いでくれる • 実験ゲームやチャットなど •主な特徴 • （基本的には）プログラミング不要 • Qualtricsの「回答ブロック」と「埋め込みデータ」で設計 • 簡易版 oTree 8

Slide 9

Slide 9 text

SMARTRIQS と oTree 9 SMARTRIQS oTree 同時通信 ◯ ◯ プログラミング不要必須必要な⾔語なし（HTML, JavaScript） Python （HTML, JavaScript） 1グループ⼈数最大8人無制限モニタリング ◯ (公式サーバーのみ) ◯

Slide 10

Slide 10 text

通常のQualtrics •個々人のQualtricsは独立している • AさんとBさんで情報のやり取りはできない 10 参加者同士で通信できない Aさん Bさん nさん ︙

Slide 11

Slide 11 text

SMARTRIQSのあるとき •他の参加者を繋ぐことができる • AさんとBさんで、同時対戦ゲームができる 11 Aさん Bさん nさん ︙ Aさん VS Bさんが可能になる

Slide 12

Slide 12 text

☆ SMARTRIQSのメリット ☆プログラミング不要で、相互通信の実験ゲーム • 学部生など初学者でも簡単に実現可能 • アンケートフローと埋め込みデータで作れる • テンプレートも豊富 •Qualtricsで実験ゲームができる • 質問紙の資産がそのまま活かせる • ゲーム以外に、他の人に”情報”を送信できる 12

Slide 13

Slide 13 text

相互通信をどうやって実現しているか？ •個人の調査票 ⇔ 「SMARTRIQSサーバー」（外部） • 個人の回答を、JavaScriptでサーバーと送受信 • JavaScript部分は、インポートするだけでOK 13

Slide 14

Slide 14 text

SMARTRIQSのバックエンド •作成者： Andras Molnar先生 • The University of Michigan • Assistant professor of psychology •サーバー • SSL通信/Amazon Web Service（AWS） 14 ミシガン大学のWebサイトより

Slide 15

Slide 15 text

SMARTRIQSを入れたQualtricsの中身 •質問紙の構成 ① 質問・回答：自分で設定するブロック • いわゆる普通の質問ブロック ② 埋め込みデータ：SMARTRIQSの設定 ③ 〇〇 BLOCK：SMARTRIQS特有のブロック • マッチングや情報の送受信をする • JavaScriptが書かれている •設定すること • 埋め込みデータを設定 • 〇〇 BLOCKのインポート 15 説明（Intro） SEND BLOCK GET BLOCK 回答表⽰ MATCH BLOCK 回答 COMPLETE BLOCK 埋め込みデータ＋実験を自分で作成する方法は、基礎編へ Qualtricsのアンケートフローイメージ

Slide 16

Slide 16 text

豊富なテンプレート •テンプレートを使えば、すぐに実行可能 •様々なゲーム 16 • 利得構造系 • 独裁者ゲーム • 最後通牒ゲーム • 公共財ゲーム • 罰あり/罰なし • 繰り返し • 囚人のジレンマゲーム • 第三者罰ゲーム • 信頼ゲーム • ゲーム • オークション • 美人投票ゲーム • クリック回数競争 • その他 • チャット • グループディスカッション • 送信先限定 • メッセージ送信

Slide 17

Slide 17 text

注意事項① •個人情報をサーバーに送信しないように • 実験の選択データなどはOK • 名前、生年月日、住所、電話番号等々はNG •送信する情報は、選択可能 • 回答すべてが、SMARTRQSサーバーへ飛ぶわけではない • ゲームの回答データのみ送るのが理想 17

Slide 18

Slide 18 text

データポリシーを見ると •送られる情報 • 研究に固有の情報：研究者IDやグループサイズなど • 参加者固有の情報：ResponseID, 割当 • 回答データ • タイムスタンプ •禁止事項：「個人情報を送信するな！（意訳）」 • データ提出に関する同意書（DSPA）参照 https://smartriqs.com/data-policy/ 18

Slide 19

Slide 19 text

注意事項② •以下のゲームでは、利用が推奨されない ① 多くのステージを繰り返す：頻繁なサーバー通信 ② グループサイズが大きい： 1グループあたり8人以上 ③ 再マッチングを行う • （厳密には、 ②と③は解決できる） •上記の場合には、oTreeなど他のツールを推奨 19

Slide 20

Slide 20 text

引用など •引用する際は • Molnar, A. (2019). SMARTRIQS: A Simple Method Allowing Real-Time Respondent Interaction in Qualtrics Surveys. Journal of Behavioral and Experimental Finance, 22, 161-169. doi: 10.1016/j.jbef.2019.03.005 •MITライセンス • コピー利用、配布、変更の追加、変更を加えたもの再配布、商用利用、有料販売 OK • ただし、著作権表示（「Copyright (c) 年作者名」）と、このライセンスの全文（リンク可能）を貼る https://smartriqs.com/about/ 20

Slide 21

Slide 21 text

1.2 環境構築から実験実施まで入門編

Slide 22

Slide 22 text

実際に実験を動かす •実験を動かして、SMARTRIQSの簡単さを知る • 本当にプログラミング不要で、実験できるのか？ 22

Slide 23

Slide 23 text

例：最後通牒ゲーム •1000円渡された参加者がいくら分配するか？ • 受け手は承諾するか？ 23 1000円 400円送り手受け手 ⭕ or ❌

Slide 24

Slide 24 text

①SMARTRIQSでID取得 •SMARTRIQSのサイトからresearcherIDを取得 • this linkの部分からフォームに情報入力 • メールにIDが届くのでチェック https://smartriqs.com/getting-started/ 24

Slide 25

Slide 25 text

②テンプレートをダウンロード •OSFのページからテンプレートファイルをダウンロード • ｚipファイルでダウンロード 25 https://osf.io/cgejr/

Slide 26

Slide 26 text

③解凍する（Mac） •zipファイルをダブルクリック 26

Slide 27

Slide 27 text

③解凍する（Windows） •zipファイルをクリック •上のバーの「すべて展開する」から開く Zipファイルのまま使わないよう注意！ 27

Slide 28

Slide 28 text

④Qualtricsにインポート •新規アンケートを作成 • 「アンケート」を選択 • プロジェクト名は何でもOK（使わないので） 28

Slide 29

Slide 29 text

⑤テンプレートをインポート •qsfファイルをインポートする • 「ツール」→「インポート/エクスポート」 29

Slide 30

Slide 30 text

⑤テンプレートをインポート •解凍したフォルダからテンプレートを選択 • ベースにしたい実験を選択 • 今回は最後通牒ゲーム • Ultimatum_Game_TEMPLATE_11-6-2019.qsf 30

Slide 31

Slide 31 text

⑤インポート完了 •インポートすると新規にプロジェクトが作成される • 適宜、好きなプロジェクト名にしておきましょう 31

Slide 32

Slide 32 text

⑥埋め込みデータを編集 •アンケートフローを選択 32

Slide 33

Slide 33 text

⑥埋め込みデータを編集 •必要な情報を入力する • researcherID：先程取得したIDを入れる • studyID：今回の実験名を入れる • 英数字ならなんでもOK(例：UG_0613) 33 https://smartriqs.com/matching/#matchBlock

Slide 34

Slide 34 text

⑤公開する •公開ボタンを押すと、すぐに実施可能 • テストするには、プライベートブラウズで、２つウィンドウを開く 34

Slide 35

Slide 35 text

1.3 実際に実験を動かそう入門編

Slide 36

Slide 36 text

実験を動かしてみる ① SMARTRIQSのアカウントを取得 ② テンプレートをダウンロード ③ Qualtricsに読み込み ④ 埋め込みデータを編集する ⑤ 近くの人とリンクを送り合ってゲームしてみる • 一人で試す場合：プライベートブラウズで2つウィンドウを開く 36

Slide 37

Slide 37 text

1.4 日本語化する入門編

Slide 38

Slide 38 text

ALL英語なSMARTRIQS •英語から日本語へ翻訳が必要 • 日本人対象の場合、日本語化は必須 •基本は、英語を日本語にするだけでOK • 一部、システム部分（HTMLやJavaScript）に注意し、日本語化する必要がある 38

Slide 39

Slide 39 text

SMARTRIQS + Qualtricsの中身 •質問紙の構成 ① 質問・回答：自分で設定するブロック ② 埋め込みデータ：実験の設定 ③ 〇〇 BLOCK：SMARTRIQSのブロック 39 説明（Intro） SEND BLOCK GET BLOCK 回答表⽰ MATCH BLOCK 回答 COMPLETE BLOCK 埋め込みデータ＋

Slide 40

Slide 40 text

日本語化する部分 ① Qualtricsの設定言語 ② 「次へ」ボタン ③ 埋め込みデータ • 一部、システムのテキストは、埋め込みデータの設定で日本語化できる • 例：「参加者が集まらず、マッチングできませんでした」etc ④ 〇〇 BLOCK • 「アンケートブロック」と「JavaScript」両方を編集する • 例「マッチングが成功しました」etc ⑤ 質問・回答ブロック（割愛） • 特に気にせず日本語化してOK • 例：最後通牒ゲームの説明やポイントの配分の入力画面 40

Slide 41

Slide 41 text

①Qualtricsの設定言語 •基本となる言語を「日本語」に 41

Slide 42

Slide 42 text

②ボタンの日本語化 •「次へ」ボタンのテキストを変更する • ブロックを選択して、「「次へ」/「前へ」ボタン」を変える 42

Slide 43

Slide 43 text

③埋め込みデータで日本語化 •〜〜Textを埋め込みデータに設定 • terminateText, preMatchText, matchWaitText, getWaitText • 待機画面のテキストを設定できる 43 https://smartriqs.com/matching/#matchBlock

Slide 44

Slide 44 text

④◯◯BLOCKの日本語化（アンケートブロック） • MATCH と GET BLOCK - NR • “Waiting for ? pariticipant(s) to join”の部分 • 「ロードのGIF画像」と「◯人の参加者を待っています」機能を破壊しないようにする •リッチテキストエディター→ソースを表示 • ”match”や”get”の部分 44

Slide 45

Slide 45 text

④◯◯BLOCKの日本語化（アンケートブロック） •変更するのは赤線部分 • TQBOJElPQFO4QPUTz TQBO を消さないように • （innerHTMLを使って、JSで代入している） • ”Waiting for”は消し、”participant(s) to join”を「人の参加者を待っています」にする 45

Slide 46

Slide 46 text

④◯◯BLOCKの日本語化（JavaScript） •例：マッチングの成功/失敗画面 (match) • “You have been successfully matched with another participant.”と表示される 46

Slide 47

Slide 47 text

④◯◯BLOCKの日本語化（JavaScript） •matchを選択、該当の質問部分のJavsScriptを開く 47

Slide 48

Slide 48 text

④◯◯BLOCKの日本語化（JavaScript） •”hogehoge.innerHTML = “以下を書き換える • innerHTMLを探すと”You have been 〜〜”が見つかる 48

Slide 49

Slide 49 text

日本語化してみよう •公共財ゲームを日本語化してみる 49

Slide 50

Slide 50 text

実験をモニタリングする入門編

Slide 51

Slide 51 text

実験参加者の状況をモニタリングする •Progress Monitorにアクセス • ｒesearcherIDとｓtudyIDを入力してログイン • 実験が開始している必要あり 51

Slide 52

Slide 52 text

モニター画面 •参加者の進捗を確認できる • Group status：実験の進行割合（個人 ! ×回答回数ラウンド数 × 人数） • 参加者IDや参加者の回答 52