ジグソー・テキストによる文並べ替え操作の測定

情報処理学会 コンピュータと教育研究会(CE) 142回研究発表会
2017年12月10日(日)、 松山大学 樋又(ひまた)キャンパス
http://ce.eplang.jp/index.php?142%B2%F3%B8%A6%B5%E6%C8%AF%C9%BD%B2%F1

v1.1: 発表時スライドv1に、口頭で説明した内容などを補ったものです。

2018-01-14
スライド#54の「ジグソー年表」を「ジグソーできごと」として実装しました。
ジグソーできごと
https://cc-study.appspot.com/open-jigsaw-event/
ジグソーできごと分析
https://cc-study.appspot.com/open-jigsaw-analytics/

Transcript

1. ジグソー・テキストによる ⽂並べ替え操作の測定 Reading And Writing Activity Measurement And Analysis By Jigsaw Text ◎⼭⼝琢(フリー), ⼤場みち⼦(公⽴はこだて未来⼤学), ⾼橋慈⼦(ハーティネス), ⼩林⿓⽣(スコレックス) v1 2017-12-10 v1.1 2017-12-28 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
2. このv1.1は、発表時スライドv1に、 ⼝頭で説明した内容などを 補ったものです。 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
3. Agenda • ジグソー・テキスト(Jigsaw Text)アプリ、 測定データ、分析結果の紹介 「ジグソー・テキストの操作ログは、 ⼈の考え⽅を捉えているか？」 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
4. • 背景: 主なフィールド – Learning Analytics学習分析 – 考え⽅の学習・指導 – 読み・書き、プログラミング、歴史、地理、 … 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
5. 今回の研究会で すでに何度も語られてるので、 背景については割愛します。 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
6. 考え⽅を反映した⾏動パターン ࢁޱୖ  ◦→△→□… •→▲→▪… ◇→▼→◎… 観察できない頭の中 観察できる操作パターン アプリ + 課題・問題 の⼯夫 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ
7. • ヒッグス機構(ヒッグス粒⼦)だって、 重⼒理論(重⼒波)だって、 観測されてこそ、ですよね • ICTツールならきめ細かく⼯夫できるはず 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
8. アプリ 記録[データ] 分析[理論] 指導・学習[応⽤] 研究の構成 互いに密接に関係する、個別の研究 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ  フィードバック
9. 教材アプリ 記録[データ] 分析[理論] 指導・学習[応⽤] 各研究のテーマ • ⽐較・特徴・向き/不向き • パターンの顕在化 • 授業に馴染むか？ • 相互運⽤性 • 国際化 • 指導法などからの中⽴性 • 指導・学習の効果・検証 … • 点過程の分析 • 読み書きパターンの可視化⼿法 • 計算時間・コスト • リアルタイム、ストリーミング • 予測・機械学習 • さまざまな相関・因果関係 科学: そもそも… • 考え⽅とは？ • 知的なスキル・能⼒とは？ 
   *14+
   4*($&
   ճݚڀձ !দࢁେֶ ࢁޱୖ 
10. 教材アプリ 記録[データ] 分析[理論] 指導・学習[応⽤] 個別の研究: 組み合わせて相互活⽤ アプリ、分析 ⼿法などを組 み合わせて 相互に活⽤ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  • トピック・ライター • ジグソー・テキスト • AnswerBoxCreator [*1] • BookLooper [*2] • デジタルペーパー [*3] • ロンリー [*4] • マトリックス型 テキスト編集モデル • InputLog • keystroke • pen stroke • ロジック・ツリー • ◦◦法 • △△法 • 操作の時間的・⼿順的な共起 • EOI: Editing Operation Indicator …
11. …そして、メタ研究 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  様々な結果を横断的に分析 • トピック・ライター • ジグソー・テキスト • AnswerBoxCreator • BookLooper • デジタルペーパー • ロンリー • ロジック・ツリー • ◦◦法 • △△法 教材アプリ 記録[データ] 分析[理論] 指導・学習[応⽤]
12. δάιʔɾςΩετ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  教材アプリ 記録[データ] 分析[理論] 指導・学習[応⽤]
13. ジグソー・テキスト • ランダムに並んだ⽂を、 プレイヤーが適切と考える順序に、 並べ替える • ⽂章のジグソー・パズル 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
14. https://cc-study.appspot.com/jigsaw_text/ 短縮URL https://goo.gl/QFQ336 ࢁޱୖ  
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ
15. 演習での⼿順 1. ブラウザを起動し、ジグソーテキストにアクセスします。 2. 「オレオレ詐欺」を選択します。 ← ここで⽂がランダムに並べ替えられ、そのたびに違う順序で表⽰される。 3. ⽂章をドラッグ&ドロップして順番を並べ替えます。 4. 並べ替えが終わったら、「完成！」をクリックします。 document idと、完成した⽂章が⽂id付きで表⽰されます。 5. 表⽰されたテキストを提出します。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
16. δάιʔɾςΩετͷଌఆ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  教材アプリ 記録[データ] 分析[理論] 指導・学習[応⽤]
17. ジグソー・テキストの測定 • いつ(⽇時) • なにを(対象、⽂章の単位)、 – どの⽂を + どんな状況で(コンテキスト) – ドラッグやドロップしたとき、その⽂の前の⽂ – ドラッグやドロップしたとき、その⽂の後の⽂ – ⽂全体の並び順 • どうしたか – パズル開始、⽂をドラッグ、⽂をドロップ、完成 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
18. 学習分析は細粒度化が進んでいる。 s1 読解では、電⼦書籍のページめくりを記録して学習者の参画度合いを知… s2 記録・分析した作⽂⾏動には誤字脱字や表現の修正も含まれている。 s4 別の作⽂アプリケーションによって⽂章の論理構成のみを問うような課題を… s5 そこで、⽂の並べ替え作⽂を課題とし編集操作を記録するジグソー・… s6 われわれは、これまでに、作⽂について、作⽂⾏動を記録・分析した… s3 s1…s7は⽂(=パズルのピース)のID 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
19. 学習分析は細粒度化が進んでいる。 s1 読解では、電⼦書籍のページめくりを記録して学習者の参画度合いを知… s2 記録・分析した作⽂⾏動には誤字脱字や表現の修正も含まれている。 s4 別の作⽂アプリケーションによって⽂章の論理構成のみを問うような課題を… s5 そこで、⽂の並べ替え作⽂を課題とし編集操作を記録するジグソー・… s6 われわれは、これまでに、作⽂について、作⽂⾏動を記録・分析した… s3 ドラッグ開始: 前(上) s1、対象 s3、後(下) s4 ドロップ: 前(上) s6、対象 s3、後(下) s5 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
20. δάιʔɾςΩετͷ෼ੳ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  教材アプリ 記録[データ] 分析[理論] 指導・学習[応⽤]
21. 違う受講⽣に対する2つの演習(A演習とB演 習)を対⽐して、結果を⽰して考察します。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
22. パズルの⽂章「オレオレ詐欺」 s1 相変わらず、オレオレ詐欺の被害が減らない。 s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、 ⾦銭を要求する。 s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして 現⾦⾃動預払機を操作させ、⾦銭をだまし取る。 s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗 証番号を聞き出した上で、銀⾏カードもだまし取る。 s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、 銀⾏⼝座やクレジットカードに係わる電話があった場合は、 まず、詐欺を疑い、家族や親しい⼈に相談することだ。 s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多く いることにあるのかもしれない。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
23. 最初に動かした⽂ s1「相変わらず、…減らない。」が多 い s2「…2つの種類がある。」が多い A演習 B演習 % 件数 対象の⽂ 件数 % ########## 50% 4 s1 9 22% #### ##### 25% 2 s2 15 37% ####### ## 12% 1 s3 2 5% # ## 12% 1 s4 3 7% # 0% 0 s5 5 12% ## 0% 0 s6 2 5% # 0% 0 s7 4 10% ## 8件 40件 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
24. 以下、件数の少なさに留意しつつ… 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
25. • 最初に動かした⽂が違う s1 相変わらず、オレオレ詐欺の被害が減らない。 ↕ s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 • トピック・センテンス的な⽂か、 構造を⽰す⽂か、という違いではないか。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
26. A演習 B演習 件数 並び順 件数 ##### 25% 2 s1→s2→s3→s4→s5→s6→s7 30 57% ############################## ####### 37% 3 s1→s2→s3→s4→s5→s7→s6 4 7% #### s2→s3→s4→s5→s6→s7→s1 1 1% # s1→s2→s4→s3→s5→s6→s7 1 1% # s1→s2→s4→s5→s3→s6→s7 5 9% ##### s1→s7→s2→s3→s6→s4→s5 1 1% # s2→s4→s5→s3→s1→s7→s6 2 3% ## s1→s2→s3→s4→s6→s7→s5 1 1% # s1→s2→s3→s7→s4→s5→s6 1 1% # s1→s2→s4→s5→s3→s6→s7 1 1% # ##### 25% 2 s1→s2→s3→s6→s4→s5→s7 1 1% # s2→s3→s6→s7→s4→s5→s1 2 3% ## s1→s2→s3→s5→s4→s6→s7 1 1% # s2→s3→s4→s5→s1→s6→s7 1 1% # ## 12% 1 s2→s4→s3→s1→s5→s6→s7 0 0% 完成順序 サンプル数が少なすぎるのか… オリジナルと同じが半数以上 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
27. 完成順序については、 「書き⼿の意図」で戻ってきます。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
28. 操作順序(ドラッグ対象)の共起マトリックス 合計: 286, セルの数: 49, 平均: 5.8, 分散: 7.4, 標準偏差: 2.7, 平均 + 標準偏差 = 8.5 <、ただし対⾓ 線を除く。 B演習 • s2の後でs3、s4を動かす。 • s6の後でs1を動かす。 合計: 50, セルの数: 49, 平均: 1, 分散: 0.9, 標準偏差: 0.9, 平均 + 標準偏差 = 1.9 <、ただし対⾓ 線を除く。 A演習 サンプル数が少なくて特徴が出てないのかも 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
29. このマトリックスの⾒⽅を以下に説明しま す。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
30. ドラッグ対象の時系列 • 「s2を動かして、次ぎにs3を動かした」 回数が、全員の合計で16回あった。 …などと読む。 • 操作対象の 時間的共起を 表現 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
31. • s2、s3、s4、s5を互いに続けて動かすこ とが多いのでは？ これを「操作が時間的に共起している」 と表現しています。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
32. • 操作の時間的な共起には理由があって、 例えば、⽂章の構造を反映してる、 と考えています。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
33. s1 相変わらず、オレオレ詐欺の被害が減らない。 s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、⾦銭 を要求する。 s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして現⾦ ⾃動預払機を操作させ、⾦銭をだまし取る。 s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗証番 号を聞き出した上で、銀⾏カードもだまし取る。 s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、銀 ⾏⼝座やクレジットカードに係わる電話があった場合は、まず、 詐欺を疑い、家族や親しい⼈に相談することだ。 s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多くいる ことにあるのかもしれない。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
34. 再掲: ドラッグ対象の共起マトリックス 合計: 286, セルの数: 49, 平均: 5.8, 分散: 7.4, 標準偏差: 2.7, 平均 + 標準偏差 = 8.5 <、ただし対⾓ 線を除く。 B演習 • s2の後でs3、s4を動かす。 • s6の後でs1を動かす。 合計: 50, セルの数: 49, 平均: 1, 分散: 0.9, 標準偏差: 0.9, 平均 + 標準偏差 = 1.9 <、ただし対⾓ 線を除く。 A演習 サンプル数が少なくて特徴が出てないのかも 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
35. ドラッグ対象の時系列分析より 1. 「2つの種類がある」、「ひとつは」、「ひとつは」と いうキー・フレーズに着⽬して(読解) 2. ⽂章に構造があると考えて(読解) 3. その構造を反映した順序に並べ替えようとしてる(作⽂) …のではないか 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
36. ドロップ先の分析 - B演習 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
37. 「s1をs2の前にドロップした回数が、トータルで34回」 などと読む。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
38. 「s4をs5の前に」と「s5をs4の後に」の回数が多い。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  セルの値のヒストグラム
39. • B演習の完成順序は、 s1→s2→s3→ s4→s5→s6→s7 が多い ↕ 符合している • B演習のドロップ先のマトリクスは、 「対⾓線+右隣」の左右両隣が多い 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
40. 再掲: パズルの⽂章「オレオレ詐欺」 s1 相変わらず、オレオレ詐欺の被害が減らない。 s2 オレオレ詐欺には、⼤きく分けて2つの種類がある。 s3 ひとつは、まさにオレオレ詐欺で、孫や甥などをかたって、 ⾦銭を要求する。 s4 ひとつは、官公庁や銀⾏を騙って、還付⾦があるとだまして 現⾦⾃動預払機を操作させ、⾦銭をだまし取る。 s5 この派⽣形として、⼝座が不正に操作されたとだまして、暗 証番号を聞き出した上で、銀⾏カードもだまし取る。 s6 このような被害を防ぐ最良の⽅法は、電話での⾦銭の要求や、 銀⾏⼝座やクレジットカードに係わる電話があった場合は、 まず、詐欺を疑い、家族や親しい⼈に相談することだ。 s7 しかし、問題は、⾝近に相談できる⼈がいない⾼齢者が多く いることにあるのかもしれない。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
41. 書き⼿の意図 • 作った側の意図としては、 – 書き出しのs1、s2は、分かって欲しい – s3とs4は、交換可能（s3を先に持ってくるためには、オレオレ詐欺に ついての社会的背景知識が必要） – 構造的には、s5は、s3の後でもs4の後でも可能（銀⾏⼝座関連の語彙 グループに気付くと、s4の下が⾃然） – s6とs7も、⽂意が読み取れれば⾃然に繋がる • というわけで、解答データの変異は、s3、s4、s5の辺りに集中して いる、というのがぼくの作業仮説。 • 逆に⾔うと、他の部分の変異は、（論理的）読解⼒との正の相関が ある、という仮説も成り⽴ちそう。 ࢁޱୖ  
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ
42. この派⽣形として、⼝座が不正に操作され たとだまして、暗証番号を聞き出した上で、 銀⾏カードもだまし取る。 相変わらず、オレオレ詐欺の被害が減らない。 ひとつは、官公庁や銀⾏を騙って、還付⾦ があるとだまして現⾦⾃動預払機を操作さ せ、⾦銭をだまし取る。 ひとつは、まさにオレオレ 詐欺で、孫や甥などをか たって、⾦銭を要求する。 オレオレ詐欺には、⼤きく分けて2つの種類がある。 このような被害を防ぐ最良の⽅法は、電話 での⾦銭の要求や、銀⾏⼝座やクレジット カードに係わる電話があった場合は、まず、 詐欺を疑い、家族や親しい⼈に相談するこ とだ。 しかし、問題は、⾝近に相談できる⼈がい ない⾼齢者が多くいることにあるのかもし れない。 テーマの設定 分類 例⽰ 例⽰ 例⽰_sub 解決⽅法 課題の展開 s1 s2 s3 s4 s5 s6 s7 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
43. A演習 B演習 件数 並び順 件数 ##### 25% 2 s1→s2→s3→s4→s5→s6→s7 30 57% ############################## ####### 37% 3 s1→s2→s3→s4→s5→s7→s6 4 7% #### s2→s3→s4→s5→s6→s7→s1 1 1% # s1→s2→s4→s3→s5→s6→s7 1 1% # s1→s2→s4→s5→s3→s6→s7 5 9% ##### s1→s7→s2→s3→s6→s4→s5 1 1% # s2→s4→s5→s3→s1→s7→s6 2 3% ## s1→s2→s3→s4→s6→s7→s5 1 1% # s1→s2→s3→s7→s4→s5→s6 1 1% # s1→s2→s4→s5→s3→s6→s7 1 1% # ##### 25% 2 s1→s2→s3→s6→s4→s5→s7 1 1% # s2→s3→s6→s7→s4→s5→s1 2 3% ## s1→s2→s3→s5→s4→s6→s7 1 1% # s2→s3→s4→s5→s1→s6→s7 1 1% # ## 12% 1 s2→s4→s3→s1→s5→s6→s7 0 0% 再掲: 完成順序 サンプル数が少なすぎるのか… オリジナルと同じが半数以上 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
44. • 書き⼿の意図 「というわけで、解答データの変異は、s3、s4、s5の辺 りに集中している、というのがぼくの作業仮説。」 ↑ • B演習では当たっていると⾔えそう。でも、変異の⽐率 については、考えさせられることもある。 • これら 並べ替え操作 + 操作可視化・分析結果 を、⽂章に対するレビュー結果と⾒ることもできそう。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
45. リアルタイム分析 • リアルタイムに傾向が分かる/予測できれ ば: – 好ましくない傾向が⾒えたら、早⽬に介⼊ – 簡単過ぎた/難しすぎたなど • B演習は: – 各⾃は2〜3分ほどで解いているが、 – 全体では20分程度の時間をかけている… 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
46. B演習、操作順序マトリックスの時間変化 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  開始直後 開始3分 6分 9分 12分 18分 15分 21分
47. • …よく分からない。 何か良い傾向を⽰しているのか？ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
48. ݁࿦ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
49. • 結果に⾄る過程に違いがあり、 かつパターンがある。 • 少なくとも「サイコロを振ってる」 のではなさそうだ。 ↓ 考え⽅を反映してると ⾔ってよいのではないか 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
50. 外から測定できる「考え⽅」とは 今回、外から測定できた「考え⽅」: • ある⽂を最初に動かす • キー・フレーズから⽂章の構造を知る – 「2つある」「ひとつは…」「ひとつは…」 • 複数の⽂をセットで扱う 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
51. • これらの結果は、それだけで良いとか悪 いとかいうものではないだろう。 • 演習では、パズルの後でグループになっ て、⾃分の完成形を⾒せあって、なぜそ うだと思うのか説明したり、議論したり している。この、事後のディスカッショ ンに効果があるのではないかと、先⽣は ⾔っている。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
52. ൃలɾԠ༻ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
53. ジグソー年表 できごとのカテゴリーを知って・意識して並べ替えている かが、分析で分かるのではないか。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
54. ジグソー年表 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ  朝ドラ「あさが来た」のモデル 朝ドラ「わろてんか」のモデル
55. ジグソー地理 • 地理のメンタルモデル • 緯度経度によらない地理 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
56. ジグソー・プログラム • 変数の値の⼊れ替えなど、順序が問題と なる処理。 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ 
57. Ҏ্ 
    *14+
    4*($&
    ճݚڀձ !দࢁେֶ ࢁޱୖ