20190106第25回KG-RCSPセミナー 「社会的ジレンマ実験プログラムの開発と実践：oTreeを用いて」

Transcript

1. 今回の資料およびコードはコチラにあります https://github.com/akrgt/otree_2019KG 1
2. oTreeを使って， オープンサイエンスを 促進できないか？ 2 社会的ジレンマ実験プログラム の開発と実践：oTreeを用いて 実践編 明治大学　情報コミュニケーション学部 後藤　晶 akiragoto@meiji.ac.jp
3. 3 oTreeを使って， オープンサイエンスを 促進できないか？
4. 概要： ❖oTreeとは：PythonのwebアプリケーションであるDjangoを 用いた経済ゲーム実験プログラム – インタラクションのある経済ゲーム実験をオンライン上で実施できる ❖oTreeを実際に使ってみて，実験を色々できるようになろ う． ❖いくつかoTreeを使った実験例も紹介します． ❖さらに，様々なツールなどと組み合わせて，新しい実験の 可能性についても考えてみましょう． 4
5. 軽く自己紹介を．．． ❖後藤　晶 – （ごとう　あきら） ❖明治大学情報コミュニケーション学部専任講師 ❖専門分野：行動経済学・社会情報学・実験／計算社会科学 – 利他行動・協力行動の促進／抑制要因：ゲーム実験を中心として． • SVOを使った調査なども実施 – 情報社会における監視と信頼に関する研究：創造・毀損・回復過程の解明 – 行動経済学の観点からの「政策」評価：行動経済学を政策に活かせないか？ • 最近はプレミアム商品券関連をどうにか攻めたい！ – クラウドソーシングを用いた経済ゲーム実験環境の構築 5
6. oTreeを使って， オープンサイエンスを 促進できないか？ ❖イントロダクション ❖oTreeの使い方 ❖oTreeを使った実験例 ❖新たな可能性の検討 目次： 6
7. oTreeを使って， オープンサイエンスを 促進できないか？ ❖イントロダクション ❖oTreeの使い方 ❖oTreeを使った実験例 ❖新たな可能性の検討 目次： 7
8. 社会科学の「実験」化：実験社会科学（西條・清水, 2014） ❖異なる学問領域の研究者が「実験」を共通言語として 社会現象を解明&これからの社会をデザインする – ラボ実験，フィールド実験，調査，コンピュータシミュレーションな ども「実験」として包含 ❖実験が行われてなかった社会科学領域に対して導入 – 経済学，会計学，政治学など – ゲーム理論の枠組みを用いた実験が中心＆神経科学領域との融合 – ゲーム理論が応用可能な分野（様々なプレイヤーが関わる学問）に応 用できるのではないか． – ラボ実験を中心として展開されてきた． 8
9. 「実験」のビッグデータ化： ❖「実験室実験」から「オンライン実験へ」 – ラボ実験：充実した実験環境の構築にはコストが大きい． • メリット：完璧な統制環境の構築が可能 • デメリット：数10人〜200人程度を対象，1研究に10万円—のコスト – コンピュータ等の整備を含めるともっと．．． – 実験者の周辺にいる人（学生など）が中心 – オンライン実験：webフレンドリーなプログラムにより一気に実験 • メリット：数千人を対象に，数万円台〜で実験を実施可能，広い社 会経済的要因の影響を分析可能 • デメリット：完璧な統制環境の構築は困難 – 実験室のような統制はできない． 9
10. ΰτ΢ʷP5SFFͷ
    ग़ձ͍ 10
11. ஍ํࢲେ͸ਓ͕͍ͳ͍ʂ 11
12. ஍ํࢲେ͸͓͕ۚͳ͍ʂ 12
13. Ϋϥ΢υιʔγϯάΛ࢖ͬͯ
    ΦϯϥΠϯͰ࣮ݧ͢Δ͔͠ͳ͍ͬʂʂ 13
14. 「実験」のビッグデータ化： ❖「実験室実験」から「オンライン実験へ」 – ラボ実験：充実した実験環境の構築にはコストが大きい． • メリット：完璧な統制環境の構築が可能 • デメリット：数10人〜200人程度を対象，1研究に10万円—のコスト – コンピュータ等の整備を含めるともっと．．． – 実験者の周辺にいる人（学生など）が中心 – オンライン実験：webフレンドリーなプログラムにより一気に実験 • メリット：数千人を対象に，数万円台〜で実験を実施可能，広い社 会経済的要因の影響を分析可能 • デメリット：完璧な統制環境の構築は困難 – 実験室のような統制はできない． 14
15. 大規模な経済ゲーム実験の例： ❖大阪大学，京都大学，早稲田大学，同志社大学，関西大 学，高知工科大学や北海道大学など，様々な大学で行動経 済学・実験経済学・社会心理学など様々な学問領域で実施 – 専用の実験室があるところはなかなかない． ❖玉川大学（故・山岸先生）の研究チームの例： – 2012年〜2016年：一般家庭に約18万部のチラシを配布 – 応募の意志を表明した1670名の中から性別・世代のバランスを配慮した600 名を元に経済ゲーム実験・調査を実施 – fMRIなどの生物学的情報まで取得しているが，金銭面・時間面で非常に莫 大なコストが掛かっている 15
16. オンライン実験の例： ❖実験参加者：3つのWaveに分けて実施 – Wave1：2018年6月6日14:00〜17:55（回答者284人） – Wave2：2018年6月6日23:00〜6月7日03:10（261人） – Wave3：2018年6月7日17:00〜23:40（294人） – 公共財ゲーム実験には全参加者で855名が参加，最後の調査までは790 名が参加 ❖人的／金銭的コスト対効果が非常に高い！！ ❖成果報酬：65000円程度 – クラウドソーシング市場を考慮すると高い金額を払いにくい 16
17. oTreeとは： ❖oTree(Chen et al, 2016) – PythonのDjangoベースで開発できる経済ゲーム実験ソフト – Webベースで実験できるためにブラウザや実験参加者の居場所を問わ ずに実験可能 – Amazon MTurk連携も可能 – もちろん，実験室実験でも利用可能 • 玉川大学脳科学研究所では実験室実験としても利用 • 明治大学や大阪市立大学，早稲田大学などでも実験として実施． 17
18. oTree：http://www.otree.org/ 18
19. oTree：自分でPythonベースでプログラムできる ❖ z-Treeをオンラインでやってるイメージ ❖ cf.xeeは個人情報等は取得しない＆教育メイン 19 一般的な言語なので，普遍性が高い →Pythonを知っていれば書きやすいし，授業でも十分に有用．
20. oTree：少しでも実験プログラムを開発しやすくする環境も20 オンライン上でクリックだけでプログラム開発へ https://www.otreehub.com/studio/ サーバ（Heroku）管理とあわせて， 有料サービスも最近始まった模様
21. P5SFFIVCʹ͍ͭͯ͸ࢲ͕໌Δ͘ͳ͍ͷͰɼ
    ࠓճ͸৮ΕΒΕ·ͤΜɽ
    ਃ͠༁͋Γ·ͤΜɽɽɽ 21
22. z-Tree：経済ゲーム実験プログラムの王道 ❖z-Tree(Fischbacher, 2007) – 世界中で広く使われているプログラム – （基本的には）Windowsのみ，独自のプログラム言語体系 22
23. xee：日本でのオンライン経済実験教材 ❖XEE：東海大学の林良平先生により開発されたオンライ ン経済実験教材 – 教育志向であり，研究目的には用いられていない． – 開発者自身も研究目的にこれは使っていない – 現在研究に耐えられるシステム構築を進めているとの噂．乞うご期待． 23
24. ConG：動学的経済実験のプログラム ❖ConG：(Pettit et al, 2014) – 時系列で推移していくゲームを行うためのプログラム • ex.ゲームをもっと連続的に行う（バーを動かすだけ）などに良い – 開発元もoTreeへ移行 • カリフォルニア大学サンタクルーズ校Learning and Experimental Economics Projects (LEEPS) 24
25. Moblab：（有料の）実験プログラム ❖いろいろな機能があって便利そう． – だが，有料の時点で興味を持てず．．．；； 25 https://moblab.com/
26. SoPHIE：広く実験に使えそうな気配がある ❖クリックだけで実験を作る＆実施ができる模様． – その分，自由が効かない？？ – Amazon MTurk連携も可能 26 https://www.sophielabs.com/
27. 経済実験プログラムとして長く使われてきたz-TreeとoTreeの比較： ❖z-Treeが経済学実験に果たしてきた役割は大きい – 基本を学ぶ意味でも非常に大きい – 過去の膨大な蓄積が残っている – しっかりと学んで基本的な考え方を学ぶためには重要． – ページの組み方，マッチングの組み合わせなどが比較的容易 27
28. 経済実験プログラムとして長く使われてきたz-TreeとoTreeの比較： ❖oTreeは自由度が非常に高い – △要Python(django)プログラム能力 • しかし，どうにかなる！意外と簡単に作れる！！ – 自由度が高すぎるために，いきなりoTreeに入ると混乱する可能性が ある – Pythonを使ったことがある人にはいきなりでも良いかもしれない． – 多くの研究者が使い始めているために，一気に開発が進んでいる印象 • webでできる強み+一般的な言語でプログラムを組める強み – Web上でプログラム＆実験を公開できるため，再現可能性を高める． • 研究室の「秘伝のワザ」や「伝統芸能」的なことがなくなる 28
29. oTreeのメリットとデメリット： ❖メリット： – プログラム開発が一般的な言語(Python)を用いているので比較的容易 • cf.z-Treeは特化した言語（C++だけど） – Web上で実験ができるために，Webサーバを立てればいくらでも＆どこ でも＆誰でも実験が可能 • cf.z-Treeはサーバとクライアントの通信設定がややこしい＆ポー トを開ける作業をしなければならないためにややこしい． – タブレット端末で実験可能 • cf.z-Treeはwindows端末限定 ❖デメリット： – 過去の実験環境との連続性を確保できない • ex.z-Treeで開発したプログラムをそのまま使うことはできない 29
30. oTreeを使うのに必要なもの： ❖Pythonの知識： – チュートリアルは割とあり，簡単な実験は簡単 – javascript等とあわせて，より応用が可能 – web解析ツール等をあわせて，細かい動き等も分析可能 ❖Webサーバ：Amazon EC2でスケーラブルな対応がおすすめ – スペックを変更できるので，必要に応じて利用可能 – 実験時：c4.2xlargeプラン – 仮想物理コア：8コア，メモリ15GB，0.504USD/時間 – 実験を実施していない時は最低スペックで運用orサーバを止める（コスト が発生しない） • 開発者はHerokuを勧めている．．．が，イマイチ使いこなせなかった 30
31. oTreeを使って， オープンサイエンスを 促進できないか？ ❖イントロダクション ❖oTreeの使い方 ❖oTreeを使った実験の可能性 ❖新たな可能性の検討 目次： 31
32. ࣍ͷαΠτΛ࢖ͬͯɼ࣮ࡍʹಈ͔ͯ͠Έ·͠ΐ͏ɽ 32
33. oTreeのサーバを公開中！http://open.bee-lab.online/ ❖囚人のジレンマをはじめ，基本的なゲーム実験を公開 ❖oTreeの基本的機能は利用可能 – ぜひ授業や実験などで使ってみてください． 33
34. oTreeの画面 ❖アクセスすると”Demo”画面が表示される 34
35. oTreeの画面 ❖アクセスすると”Demo”画面が表示される 35
36. Sessions：実験を始めるときにはこの画面からでも ❖実施した実験がどんどんストックされていく． ❖実験を実施する際には右上の「Create new session」 からはじめる 36
37. Sessions：実験を始めるときにはこの画面からでも ❖人数などはこの画面から決定する． ❖必要事項を入力したら”Create”をクリックする 37
38. Sessions：実験を始めるときにはこの画面からでも 38
39. Description： ❖プログラムに関するメモなど ❖プログラム内に記述されている文章が表記されている – 39
40. Links： ❖実験に使うリンクが示されている． 40
41. Links： ❖このURLにアクセスすれば実験に参加できる． ❖しかし，使い勝手は必ずしもよくない． – 1回アクセスするとリンクが潰れてしまう． – 1回アクセス→間違って閉じる→再びアクセスすると別のアカウント 扱い 41
42. Links： ❖順番にグループ1のプレイヤー1，2の順番でプレイ ヤーが参加していく．．． 42 グループ1 プレイヤー1 プレイヤー2 グループ2 プレイヤー1 プレイヤー2 B A C
43. Links： ❖Aが誤って「✗」で閉じてしまったので，再度同じURL にアクセス 43 グループ1 プレイヤー1 プレイヤー2 グループ2 プレイヤー1 プレイヤー2 B A C ✗
44. Links： ❖Aはグループ2のプレイヤー2として新たに参加 ❖グループ1のプレイヤー1であるCは永遠に待ちぼうけ 44 グループ1 プレイヤー1 プレイヤー2 グループ2 プレイヤー1 プレイヤー2 B A C ✗
45. Links： ❖このURLにアクセスすれば待ちぼうけ等が発生するこ とはない ❖使い勝手は良い．．が，URLが長くてめんどくさい – もっと楽なのはまた後で 45
46. Links： ❖順番にグループ1のプレイヤー1，2の順番でプレイ ヤーが参加していく．．． 46 グループ1 プレイヤー1 プレイヤー2 グループ2 プレイヤー1 プレイヤー2 B A C
47. Links： ❖Aが誤って「✗」で閉じてしまったので，再度同じURL にアクセス 47 グループ1 プレイヤー1 プレイヤー2 グループ2 プレイヤー1 プレイヤー2 B A C ✗
48. Links： ❖再度続きから実験に参加することができる 48 グループ1 プレイヤー1 プレイヤー2 グループ2 プレイヤー1 プレイヤー2 B A C ✗
49. Edit： ❖色々記録したりなんだり．メモを残すにも便利 49
50. Monitor： ❖各プレイヤーの状況を確認したり．強制的に進めたり するなど． ❖基本的には状況把握のためのページ 50
51. Data： ❖今まで入力されている情報を確認するためのページ 51
52. Payment： ❖支払い情報の管理ページ – ここで報酬まで計算することもできるが，そこまで未だ触れたことがないです； 52
53. ࣮ࡍʹ͸ɼʡ3PPNTʡΛ࢖͏ํ͕ศརͰ͢ɽ
    ࢲ΋࣮ݧ͢Δࡍʹ͸ʡ3PPNTʡ͔Β͔͠࢖͍·ͤΜɽ 53
54. oTreeの画面 ❖”Rooms”からは「部屋」を設定して実行できる． 54
55. Rooms： ❖実験を実施する際のキモはここの使い方 ❖プログラム上では2ヶ所で設定する必要がある – settings.pyの中の”ROOMS”に関する記述 – “_rooms”フォルダ内の任意のファイル 55
56. Rooms： ❖settings.py（左）の中でRoomsに関する記述を定義し て，参加者IDをファイル内で定義 56
57. Rooms： ❖決めたら”create”をクリックする 57
58. Rooms： 58
59. Rooms： ❖このリンクをクリックすれば，さっきの「使い勝手は良 い．．が，URLが長くてめんどくさい」問題を解決可能！ 59
60. Ͱ΋ɼΑ͘࢖͏ͷ͸ͬͪ͜ 60
61. Rooms： ❖クリックすると上記画面が出てくる – ID入力画面（このページの改変・追記はもちろん可能） – ここで先程のIDを入力してもらうようにしている． – 一作業挟むことでオンライン実験でもbotなどを防げるように． 61
62. Rooms：ここでの設定を色々工夫することが多い ❖Ex.実験室実験の場合： – 8桁の実験参加者IDを発行 • 上2桁：実験条件 • 中4桁：乱数（しっかり入力確認） • 下2桁：座席番号 ❖ex.クラウドソーシング実験の場合 – 5桁の実験参加者IDを発行 • 上1桁：実験条件 • 下4桁：各参加者に割り振った番号 ❖Ex.授業内に実験を取り込む場合 – 学生番号を”_rooms”内のファイルに登録する&settings.pyにも書き込む – QRコードを発行して，ID入力画面へ誘導する 62
63. ͦͷଞͷ࢖͍ํ͸TFTTJPOͱಉ༷Ͱ͢ɽ 63
64. oTreeの画面：Data ❖”Data”を確認しましょう． 64
65. Data： ❖様々なDataをダウンロードできる． 65
66. Data： ❖全てのデータをまとめてダウンロードできる． ❖が，かなり横長のデータでちょっと大変． – 全てのアプリごとに用意されているデータ×全てのプレイヤー数なの でもう大変泣 66
67. Data： ❖各アプリごとにデータをダウンロードできる – 楽といえば楽だが，複数のアプリを橋渡ししているときには少しめん どくさいかも． 67
68. Data： ❖実はリアクションタイムも取れる． – 設定次第かもしれないが，「秒単位」 ❖ラボ実験ならば良いかもしれないが，オンライン実験 では通信ラグ等がどこまで対応できているか不明 – 大まかな参考資料にはしているが，そこまで精緻な基準にはしていな い 68
69. oTreeの画面：Server Check ❖”Server Check”からはサーバの状況を確認することができます 69
70. oTreeの画面：Server Check ❖サーバが順調ならば緑色で表記，何か問題があれば赤 色で表記している． 70
71. 画面の説明①：実験プログラムの起動 71
72. 画面の説明②：実験プログラムの起動 72
73. 画面の説明③：結果のダウンロード 73
74. oTreeを使って， オープンサイエンスを 促進できないか？ ❖イントロダクション ❖oTreeの使い方 ❖oTreeを使った実験例 ❖新たな可能性の検討 目次： 74
75. ݱࡏਐߦதͷ࣮ݧͳͷͰɼ
    ׂѪ͠·͢ɽ 75
76. 大阪市立大学・多摩大学・明治大学で実験を実施：400名同時アクセスまでは安定稼働 76 写真は割愛します．
77. oTreeを使って， オープンサイエンスを 促進できないか？ ❖イントロダクション ❖oTreeの使い方 ❖oTreeを使った実験の可能性 ❖新たな可能性の検討 目次： 77
78. 今後の展望： ❖実験室実験とクラウドソーシング実験のインタラク ションにより，より精度の高い実験の展開へ 78 16台のタブレット →ポータブル実験室を構築 実験室 実験 クラウド ソーシング 実験
79. さらなる可能性を探って： ❖プレミアム商品券に関する調査：いくら分が手に入るのであれば購入するか？ ❖Multiple Price List – 様々な金額のバージョンを作って，順番をランダマイズできる． 79
80. Multiple Price List×表示順ランダマイズの結果（未発表）： ❖CRT(簡易IQテスト)のスコアが低い人ほど最低希望プレミアム率が高い – 本当は双曲回帰ができそうだけど，簡単にプロットしたのでご容赦ください． – ※どうしたらmixed-effectsな双曲回帰ができるのか悩み中．．． 80 写真は割愛します．
81. さらなる可能性を探って： ❖Sliderを使ったタスク – SVO Slider法による向社会性を判別するタスクも作成可能 81
82. さらなる可能性を探って： ❖書き写しタスク – 文字列を実際に打ち込んで，その正答数に応じて報酬を渡す 82
83. さらなる可能性を探って： ❖Crosetto/Filippin (2013) – Bomb Risk Elicitation Test：直感的にリスク傾向を測る課題 83
84. さらなる可能性を探って： ❖クイズ＆答え合わせを実施できる – この正答数に応じてポイント付与も可能？ 84
85. demoが色々公開されているために，これをカスタマイズ！85
86. さらなる可能性を探って： ❖Pythonのウェブアプリケーション(django)を使っているの で，普通のwebで使うような技術を使える． – Web解析ツール – 音声を組み込む – 動画（Youtube）を組み込むetc… – 可視化(ex.Highchart) – インタラクティブチュートリアル • 実験室とは異なり，個別対応ができないためにできる限りケアをするため の手法として． ❖パネル調査： – ゲーム実験のパネル調査も安価で実施可能 • パネルからの離脱が多い可能性が懸念材料 86
87. Web解析ツールを導入した例（mouseflow）： ❖キーワードに正解した1,565名ならびに不正解した68 名をあわせた1,633名 87 1ϖʔδ໨ TDMΠϯετ (ࣾձతՁ஋ࢦ޲ੑ) 2ϖʔδ໨ TDM(ࣾձతՁ஋ࢦ޲ੑ) 3ϖʔδ໨ SliderΠϯετ (ࣾձతՁ஋ࢦ޲
88. Web解析ツールを導入した例（mouseflow）： 88 5ϖʔδ໨ CRT ओ؍త޾෱౓ 4ϖʔδ໨ Slider (ࣾձతՁ஋ࢦ޲ੑ) 6ϖʔδ໨ ৘ใॲཧελΠϧई౓ 8ϖʔδ໨ ϑΣΠεγʔτ
89. intro.jsを導入した例： ❖読み上げる代わりに明暗を分けることで可読性を上げる 89
90. intro.jsを導入した例： ❖インストラクションをいつでも確認できるように画面に表記させたい が，出しっぱなしは少し邪魔くさい． 90
91. Highchartsを導入した例： ❖基本的にwebでできることは何でもできる． 91
92. 実験を研究室の「秘伝のワザ」にしないために： ❖oTreeを使ってOpen Scienceを促進できないか： – web上でコードを公開できる – 実際に実験プログラムを実行可能な状態で公開できる – いろいろな側面から再現可能の検証が可能になる ❖研究を「秘伝のワザ」にしないために – 先輩も何もいない研究室で実験研究をするのは困難 • しかし，新たな研究の切り口として必要なことがある – 新たな方法論と出会うor相談できるコミュニティが必要 92
93. oTreeを使った研究を国内で増やそう！ ❖slack上でコミュニティを作っていきたい – 技術的な相談（日本語で）や，情報・作成したプログラムの共有など – オープンサイエンスの促進にも！ • 基本的に使われるようなアンケート項目などは共有できないか？ • 経済ゲーム実験研究の促進にもつながる！ 93 http://bit.ly/39tCk01
94. 参考文献： ❖Chen, D.L., Schonger, M., Wickens, C., 2016. oTree - An open-source platform for laboratory, online and field experiments. Journal of Behavioral and Experimental Finance, vol 9: 88-97 – oTreeを使ったときには必ず引用しましょう． 94
95. その他，oTreeに関する文献： ❖oTree: Ready-made apps for risk preference elicitation methods ❖A flexible z-Tree and oTree implementation of the Social Value Orientation Slider Measure ❖その他，Journal of Behavioral and Experimental Financeの特集号”Software for Experimental Economics”の中で関連しそうなものが取り上げられて いる． 95
96. ຊݚڀ͸ެӹࡒஂ๏ਓిؾ௨৴ීٴࡒஂɼͳΒͼʹ
    +414Պݚඅ,ͷॿ੒ʹΑΓ࣮ࢪ͠·ͨ͠ɽ
    ͜͜ʹهͯ͠ײँਃ্͛͠·͢ɽ 96
97. 概要： ❖oTreeとは：PythonのwebアプリケーションであるDjangoを 用いた経済ゲーム実験プログラム – インタラクションのある経済ゲーム実験をオンライン上で実施できる ❖oTreeを実際に使ってみて，実験を色々できるようになろ う． ❖いくつかoTreeを使った実験例も紹介します． ❖さらに，様々なツールなどと組み合わせて，新しい実験の 可能性についても考えてみましょう． 97