社内研修や勉強会の事後テストを
 作るとき気をつけたい9つのこと 2018/9/2 林 真理⼦ 1

Mariko Hayashi こんな⽅に向けて ➤ 社内研修や勉強会を⾏った後、受講者にアンケートをとって 満⾜度や理解度の本⼈評価を確認するだけでなく、「本当に 理解したのか」測定・評価する客観的なテストを作りたい⽅ ➤ 「テスト問題の作り⽅を⼀から知りたい」というより、 「作ってみたものの、これでいいのだろうか」という⽅向け 2 ※ここで取り上げる内容は、私が⾃分でテストを作成したり、講師（デザイナー、エンジニア、プロジェクトマネージャーといった各学習テーマの実務 家）が作成したテスト問題を⼿直ししてきた経験を振り返って洗い出してみたものですので、内容に網羅性があるわけではありません。参考までに。

Mariko Hayashi もくじ（テスト作成者が疑うべき9つのポイント） 1. 問うべき論点がずれていないか？ 2. 選択肢の誤答が分かり易すぎないか？ 3. 前提情報が不⾜していないか？ 4. 状況説明が冗⻑ではないか？ 5. 正解と⾔い切れなくないか？ 6. 採点⽅針が感覚的ではないか？ 7. どう答えればいいか曖昧ではないか？ 8. 問題⽂の訊き⽅が不統⼀ではないか？ 9. 回答者に無⽤なプレッシャーを与えていないか？ 3

問うべき論点が ずれている 4

Mariko Hayashi このネタで、どんな問題を作りますか？ ➤ ⼀⾒すると、⻘∕⾚∕⽩の⾊帯は どれも同じ幅に⾒えるが、実際は ⻘＞⾚＞⽩で幅が狭くなっている ➤ 縮⼩してみえる⻘は幅広に、膨張 してみえる⾚は幅狭に、そして両 側に華やかな⾊を置いたときの⽩ は最も膨張して⾒えるため、ここ では⼀番狭い幅になっている 5 37% 30% 33% フランスの国旗 ※三等分で表しているフランス国旗もある

Mariko Hayashi Q. フランス国旗の3⾊の帯、幅の広さは同じ？ ➤ YES ➤ NO 6 そう訊くってことは NOだろうな 例えば、こんな問題とか… まともな問題を作るのって、けっこう難しい

Mariko Hayashi このネタで、どんな問題を作りますか？ ➤ フランス国旗の3⾊の帯、幅の広さは同じ、 それとも違う？ ➤ フランス国旗の3⾊の帯、最も幅が広い（or 狭い）のは何⾊？ ➤ フランス国旗の3⾊の帯、幅の広い（or 狭 い）順に⾊を並べて！ ➤ フランス国旗の3⾊の帯、幅の⽐率はそれぞ れ何％？ ➤ フランス国旗の3⾊の帯、幅の⽐率が微妙に 異なる理由を答えて！ ➤ これは、どこの国旗？ 7 れ

Mariko Hayashi 「何がいい問題か」は、たとえ同じネタでも、テストを 受ける相⼿や、テストを⾏う⽬的によって変わってくる 8 いろんな問題は思いつくけれど、何がいい問題なのか？ a. テストを受ける相⼿ ➤ フランス国旗の3⾊の帯、幅の⽐率が微妙に 異なる理由を答えて！ デザインの学習者 b. テストを⾏う⽬的 ➤ フランス国旗の3⾊の帯、幅の⽐率はそれぞ れ何％？ フランス国旗の正確な
 再現⼒の習得・測定

Mariko Hayashi 問うべき論点がずれていないか？ ➤ 問うべき論点がずれると「それに答えられたからといって、 何の役に⽴つの？」という問題になる ➤ 実務者が受けるテスト問題は、実務に役⽴つ観点が問われな いと意味がない ➤ 問うべき論点がずれる要因は、問題作成者が「実務に役⽴つ 問題」ではなく「作りやすい問題」「これで問題を作りたい というネタ（例えばフランス国旗のうんちく） 」に流されてしまうため。
 あるいは、不⽑なひっかけ問題の作成（いかに間違えさせる か）に興じてしまうため 9

“ 測定したいこと、学ばせたいことの
 核⼼を問う問題にする 10

選択肢の誤答が 分かり易すぎる 11

Mariko Hayashi Q. 要件定義する際のプロジェクトマネージャーの振る舞い として最も望ましいものを、次から1つ選んでください。 ➤ 受託範囲から外れるものには⾔及せず、要件定義書にも記載しない ➤ 明確な受託範囲外にも⽬を向け、グレイゾーンも洗い出してクライアントと話し合 い、受託範囲に含むか否か共通認識をもつ ➤ 明確な受託範囲外にも⽬を向け、グレイゾーンも洗い出してクライアントと話し合 い、受託範囲に含むか否か共通認識をもつ。要件に含まないことも必要に応じて要 件定義書に「範囲外であること」を明記する 12 「3番⽬が正解」には間違いないんだけど… 明らかに3番⽬が望ましい気が…

Mariko Hayashi 選択肢の誤答が分かり易すぎないか？ ➤ 選択肢の「正答」が最も正答らしく、「誤答」が明らかに間 違いっぽいと、簡単すぎてテストの体をなさなくなる ➤ 問題作成者の頭の中が「問いと正答を作ること」に閉じてい ると起こりがち ➤ 選択肢問題を作る場合、「正解」と「明らかな誤答」の他 に、「初学者が正解と間違いやすい誤答∕答えに迷う誤答」 を含めて選択肢を構成するのが定⽯ 13

Mariko Hayashi 意識をもって取りかかっても、誤答づくりは難しい ➤ 「その知識ノウハウが実際使われるシーン」の理解が必要 ➤ 「学習対象者/初学者がどこで間違いやすいか」の理解が必要 ➤ こうしたネタをいかにテスト問題に展開するかという⽂章表 現上の巧みさも求められるクリエイティブな作業 14

Mariko Hayashi Q. 要件定義する際のプロジェクトマネージャーの振る舞い として最も不適切なものを、次から1つ選んでください。 ➤ 短納期の場合は、要件定義に割く期間を優先的に圧縮し、設計・開発に⼗分な期間 を確保する ➤ プロジェクトに必要となる作業を1⼈だけで洗い出そうとせず、専⾨家を巻き込む ➤ クライアント⾃らは要望してこない潜在ニーズを汲んで提案し、受託できる範囲を 広げる ➤ 顧客の要望に⽭盾があっても⼀旦話を聴き、分析・提案後に妥当なラインに落とし 込む調整を⾏う 15 例えば、先ほどのテスト問題の改善案 「不適切なもの」を選ばせるように替えて、選択肢を
 全体的に「適切な振る舞い」っぽく調整して難易度UP

“ 選択問題の質は「誤答」の出来次第で 激変する。誤答づくりで⼿を抜かない 16

前提情報が不⾜ 17

Mariko Hayashi Q. 納⾖メーカーが⾃社サイトに載せる写真として、次の うち最もふさわしい写真はどれか、1つ選んでください。 18 どれが⼀番ふさわしいかと⾔われても… この企業の⽴ち位置とか、売り出し⽅とか、どんなページに
 掲載するのかとか、そういう前提がないと判断できなくない？ A B C D

Mariko Hayashi 前提情報が不⾜していないか？ ➤ 仕事場⾯では、その多くがケースバイケース ➤ だからこそ、問題⽂の中で⼀定の⽂脈を情報提⽰して、「こ ういう⽴場、こういう状況だったら、何が妥当か」というふ うにシチュエーションを絞り込んだ問い⽅が必要になる ➤ 問題作成者が⽂脈情報の作り込みを⼿抜きすると、「ケース バイケース」としか⾔えない問題となり、正答も誤答もなく なるため、テスト問題の体をなさなくなる ➤ クライアントの業種業態や規模、案件の予算感や想定期間、 クライアントとの関係性など、そこの情報がないと熟練者ほ ど回答を窮するような⽋陥問題にしないこと 19

“ 「こういう⽴場/状況だったら」と
 いう⽂脈情報の作り込みを怠らない 20

状況説明が冗⻑ 21

Mariko Hayashi 22 どちらのほうが回答（採点/評価）しやすい問題か 無駄に情報を盛りすぎても悪問に… Q. あなたはWeb制作会社に勤める ディレクター。3年前サイトリニュー アル案件を⼿がけて以来、サイト運⽤ を継続的にサポートしている業界最⼤ ⼿の製薬会社から、今回改めてサイト リニューアルの相談がありました。来 週訪問して詳しくヒアリングすること に。あなたはそれまでにどんな下調べ をしますか。⼤まかな確認項⽬、打合 せ項⽬を箇条書きで挙げて、全⾓100 ⽂字以内で答えてください。 Q. あなたは、都内の中堅Web制作会社に勤め るディレクター。勤続年数は7年で、⼀⼈前と して案件を任されています。この度、3年前サ イトリニューアル案件を⼿がけて以来のつきあ いとなる重要クライアントのWeb担当者、鈴 ⽊さんから、サイトをまたリニューアルしたい から⼀度相談に乗ってもらえないかと電話を受 けました。⼀度訪問して詳しく話を聴きたい と申し出たところ、鈴⽊さんの上司、ネット 戦略部の佐々⽊部⻑も同席のもと、来週打合 せの場をもてることに。打合せまでは3営業⽇ ありますが、業務は⽴てこみ気味で、下準備に さほど時間は使えません。あなたは、それま でにどんな下調べをしますか。

Mariko Hayashi 状況説明が冗⻑ではないか？ ➤ 実践的な問題を作ろうとして、状況説明を書き連ねるも、回答 する上ではあまり意味がない情報を盛りすぎ、問題が冗⻑化 ➤ ⽂章題の場合、単に「それっぽいから」という理由で、問題作 成者が「あなたは○○デザイナー」に始まる壮⼤な物語を無駄 に創作しすぎることがあるので要注意 ➤ どこまでを前提情報として提⽰すべきか（どこから先は無駄 か）は、問いたいものが何かによって異なる ➤ 問題に対する正答∕模範解答を作り、それを導き出すのに必要 な前提情報を洗い出し、そこに焦点をしぼって盛り込むと問題 ⽂を洗練させやすい 23

Mariko Hayashi 24 ⽂脈情報が適量あることで、問題に正解と不正解ができる ➤ Webディレクターなのだから、来週のヒアリングを リードできるようアジェンダを⾃分で作成できるべき ➤ 3年前のサイトリニューアル以降、運⽤もずっと⼿がけ てきたのだから、⾃⾝が認識するサイトの問題点や課 題認識も整理して、先⽅で話せるようにして臨むべき ➤ ⽂字数制限があるのだから、全⾓100⽂字以内で要点 を絞って⼤まかな確認項⽬、打合せ項⽬を⽰すべき

“ 正答（べき）と誤答（べきでない）を 作り出すに⾜る⽂脈情報を⼊れ込む 25

正解と ⾔い切れない 26

Mariko Hayashi Q. Instagram上で流せる動画の再⽣時間の上限は？
 次から1つ選んでください。 27 問題の解釈のしようで、正解が変わってきたりして… ⼀般的には1分だけど、IGTVでは10分、特別なアカウント では60分まで可能となると、ここでは何が正解だろう… ➤ 1分 ➤ 5分 ➤ 10分 ➤ 60分

Mariko Hayashi 正解と⾔い切れなくないか？ ➤ 問題⽂の解釈が多様で、「正答」とした選択肢に「必ずしも 正しいとは⾔い切れない」隙があったり、「誤答」とした選 択肢に「正しい場合もある」余地があったりする ➤ 発⽣要因としては、問うものに対する問題作成者の理解不 ⾜、あるいは理解はあっても問題⽂の⽂章表現上、別の選択 肢に正答の余地を残してしまうケースがある ➤ 「正しいものはどれか」を、次のような訊き⽅に変更するだ けで、正答の⼀意性を確保できることもある
 〜の状況で最もふさわしい∕⼀般的な∕望ましい∕適切な∕妥当なものはどれか
 〜の状況で最もふさわしくない∕不適切なものはどれか 28

Mariko Hayashi Q. Instagram上で⼀般的なユーザーが流せる動画の再⽣ 時間の上限は何分か？次から1つ選んでください。 29 例えば先ほどの問題を微調整 ➤ 1分 ➤ 5分 ➤ 10分 ➤ 60分 問題⽂に「⼀般的な〜」を⼊れることで
 正答の⼀意性が上がる、この感じ

Mariko Hayashi 考察 「現場では複数の正解がある＝テストでも複数の正解がありうる」は成⽴するか ➤ テストは、明らかな正答と誤答を⽤意して、回答の正誤を明 らかにすることで、受けた⼈の状態を測定、評価し、学習を 促進するための⽤具。ゆえに正答の⼀意性を保つ責任を負う ➤ もし多様な回答を認めたい問いであれば、そもそもテストと いう形式を選択せずに、ケーススタディを⽤いたワーク ショップなどで、それをネタにしてみてはどうか 30

“ 「正答をひとつに限定できているか」 に細⼼の注意を払う 31

採点⽅針が感覚的 32

Mariko Hayashi Q. クライアントのWeb担当者から「WordPressの投稿は カテゴリーとタグで分類できますが、この2つはどう使い 分けるのですか？」という質問を受けました。簡潔に回 答してください。 33 配点15点の⽂章題だとして、では何をもって15点なのか カテゴリーはこうで、タグはこう使う
 って書いてあれば15点？（ゆるふわ）

Mariko Hayashi 採点⽅針が感覚的ではないか？ ➤ 問題だけ作ってテスト実施。⽂章題に模範解答の⽤意がな く、採点基準も設定なし、回答がきてからその場対応の採点 ➤ 何が満点か、何だったら0点か、15点配点の問題で6点や12点 はあるのか？それぞれどういう場合に？といった設定がない ➤ 「何をもって何点」という指針がないため、AさんとBさんの 評価の整合性がとれず、点数の違いについて説明ができない ➤ 「○△×」「5段階評価」など、ただ記号や数字をつけている だけで、それが何を意味するか⾔葉で定義できていない ➤ 採点者が複数いる場合、指標なしでは評価はぶれぶれに 34

Mariko Hayashi Q.「WordPressのカテゴリーとタグ分類の使い分け」 35 例えば先ほどの問題の採点指針を考えてみる 【前提】「全⾓300⽂字以内」などの⽂字数制限を設け、簡潔な回答を条件とする 【3点】必須か任意かの説明があるか
 WordPressの投稿は、必ず何らかのカテゴリーに分類する必要があるが、タグは任意であること 【3点】階層構造の可否の説明があるか
 カテゴリーは親カテゴリーを指定して階層構造を作れるが、タグに親⼦関係は作れないこと 【3点】使い分け⽅の指針説明があるか
 カテゴリーでは投稿を⼤まかな話題ごとに分類し、細かな分類はタグを活⽤すると良いこと 【6点】使い分けのアドバイスがあるか
 カテゴリーを増やしすぎると、各カテゴリーの記事数が少なくなってしまい、分類も迷いやすく なる。1つの投稿を複数のカテゴリーに割り当てることもできるが、基本は1記事1カテゴリーとし たほうが読者に混乱を与えない。複数のキーワードに関連づけるのには、タグを活⽤すると良い

“ 採点基準を⾔葉で定義して共有、
 回答者本⼈にも説明できる状態に 36

どう答えれば いいか曖昧 37

Mariko Hayashi Q. 国内の⽉間アクティブユーザーを20代と40代で⽐較し たとき、20代のほうが多いSNSはどれか？
  a) Twitter b) Facebook c) LINE d) Instagram 38 問題の意図はわかるんだけど、具体的な回答イメージが… 「⼿短に」って、とはいえどれくらいの情報量？ 「どれか」って⼀つだけ？複数選択可？ Q. 打ち合わせ中クライアントのWeb担当者から「GETと POSTって、どう違うんですか？」と訊かれました。わか りやすく⼿短に答えてください。

Mariko Hayashi どう答えればいいか曖昧ではないか？ ➤ 「何を問うか」だけ⾔い放って、「どう答えればいいか」へ の配慮を⽋いた問いを投げてしまいがち ➤ 択⼀式なら「次から1つ選んでください」、
 複数選択可なら「次からすべて選んでください」、
 記述式なら「○⽂字以内（程度）で答えてください」など、 具体的な回答イメージを添えるべし ➤ ⽂字数制限がないと、回答者も採点者もつらい… ➤ GoogleFormなどを使うと、⽂字数制限も設定可能。⼊⼒して もらう場合は「全⾓○⽂字以内」と記すと、わかりやすい 39

“ 回答の形式は、正解や模範解答から
 逆引きして規定し、問題⽂に含める 40

問題⽂の訊き⽅が 不統⼀ 41

Mariko Hayashi Q1. 〜はどれか？ Q2. 〜を選べ Q3. 〜を次から選べ Q4. 〜を次から1つ選びなさい 42 さっきの問題と訊き⽅が違うのって、何か意味あるの？ ぜんぶ同じ意味なら、どれか1つに統⼀してほしい

Mariko Hayashi 問題⽂の訊き⽅が不統⼀ではないか？ ➤ 問題⽂によって訊き⽅がバラバラだと、⽂章としてわかりに くい上、粗雑な印象を与えて、問題品質まで低く⾒える ➤ 択⼀式ならすべて「〜はどれか、次から1つ選んでください」 にするなど、同じテスト問題の中の訊き⽅は統⼀する ➤ ⼀通り問題作成を終えたら、少し寝かせて疲れを癒やしてか ら別の⽬で⾒直す。他の⼈にチェックしてもらうのも⼤事 43

“ 完成度は、問題⽂の表現の⼀貫性に出 る。⾒直しを複数回⼊れて最終仕上げ 44

回答者に無⽤な
 プレッシャーを
 与える 45

Mariko Hayashi Q. ⼤学⽣を被験者に、これから複雑な内容を3時間にわ たって学習するとし、A群には「学習の結果はテストされ 成績がつけられます」、B群には「後でこの内容を実際に 他の⼈に教えてもらうのでそのつもりで学ぶように」と 告げて、学習後に内発的動機づけと学習成果を調べた。 46 「後でテストするよ！」は学習成果を向上させるのか？ ➤ 内発的動機づけ（学習テーマへの興味）が⾼かったのはどっち？ ➤ 学習成果（学習内容の概念的な理解度）が⾼かったのはどっち？

Mariko Hayashi A. どっちも「B群」のほうが⾼かった テスト予告されたA群より、後で学習内容を活⽤すると予 告されたB群のほうが、内発的動機づけが⾼く、学習内容 を概念的によく理解していた。 47 「後でテストするよ！」は学習成果を向上させるのか？ ※Benware, C., & Deci, E. L. (1984). The quality of learning with an active versus passive motivational set. American Educational Research Journal, 21, 755-766.

Mariko Hayashi 回答者に無⽤なプレッシャーを与えていないか？ ➤ 「テストすること」「テストを予告して学習に⼊ること」 が、必ずしも学習効果に好影響を及ぼすわけではない ➤ 「成績をつける」「競争させる」といった動機づけアプロー チはよく知られるが、こうした外発的アプローチは⼀⽅で、 本⼈が興味をもってそれに向き合おうとする内発的動機づけ を低減させる副作⽤が確認されている ➤ テストの予告や、テストの成績を評価に結びつけることのマ イナス⾯を⼗分に考慮の上で、テストを効果的に活⽤する 48

“ プレッシャーを与えるよりも、
 プレッシャーを取り除くほうが学習を 促進するという側⾯を⾒落とさない 49

事業部⾨が⾏う実務直結型の 研修・勉強会を裏⽅サポートしたい ➤ デジタル化/ネット化するビジネスの現場で マーケティング/クリエイティブ業務を実践 する⼈の学習構造作りを包括的にサポート ➤ 事業部⾨が⼿がける実務直結型の研修(⼈材 開発施策)を構造的に整理して分析・設計 ➤ 学習テーマの実務スペシャリスト(教え⽅や 学ばせ⽅は専⾨外の)が⼿がける講師業務 を、後⽅で設計・開発・運営サポート ➤ Instructional Design & Performance Improvement を実践＆鍛錬中 50 林 真理⼦ hysmrk 株式会社イマジカデジタルスケープ トレーニングディレクター Facebook：https://www.facebook.com/hysmrk Twitter：https://twitter.com/marimari ブログ：http://hysmrk.cocolog-nifty.com/ 公開スライド：http://www.slideshare.net/hysmrk