レビュー駆動学習のススメ_StaPy#83

PyConJP2022のトーク採択会議が先日終わりました。私も10名以上のレビュアーのひとりとして参加し，とても有意義な経験でした。今回は，PyConJPのプロポーザルレビューがどんなものか，そしてレビュー駆動学習とは何かについてお話しします（プロポーザルの内容，評価については一切お話ししません）。

Transcript

1. レビュー駆動学習のススメ StaPy#83 2022-07-14 杉山 剛 @Soogie(すーぎー)
2. 自己紹介 • 事務系サラリーマン歴34年 主なツール：Excel • Python歴8年 独学趣味プログラマー • 最近は仕事（データ分析）でもPythonを使うようになった • PyConJP2016，2018, 2021登壇 • 2019年からPyConJPのプロポーザルレビューに参加 • Python Boot Camp TA×5回 • Python関連書籍を中心に出版前レビュー×15冊
3. トーク内容 話すこと • PyConJPのプロポーザルレビューの仕組み • レビュー駆動学習とは 話さないこと • 個別のプロポーザル内容や評価 • 採択会議で誰が何を言った，みたいな生々しい話 ※あくまで発表者個人の意見であり所属組織の方針を代表するものではありません
4. PyConJPご存じですよね？ • 毎年1回開催される，日本最大のPythonのカンファレンス • 今年は10/14〜15にハイブリッド開催（16にスプリントも開催） • チケット完売が当たり前→オンライン参加できるようになって多少余裕も？ • とりあえず発売されたらConnpassにGo！ https://2022.pycon.jp/
5. PyConJPの登壇者は誰が決めてるの？ • 登壇者（除：キーノート）を決める流れ 1. 話したい人を公募（CfP:Call for Proposal） https://pyconjp.blogspot.com/2022/05/httpspyconjp.blogspot.com202205proposal.html 2. 並行してプロポーザルレビュアーを公募 https://pyconjp.blogspot.com/2022/06/pyconjp2022-proposal-reviewer.html 3. レビュー期間中にレビュアーがレビュー （この間スタッフの皆様による準備がたくさんあるはずですが今日は割愛） 4. レビュアーとスタッフが合議して「採択」「待機」「非採択」を決定 https://pyconjp.blogspot.com/2022/07/pyconjp2022-talk-adoption-bulletin-ja.html
6. レビューの観点はどうなってるの？ • 誰が書いたプロポーザルかわからないブラインドレビュー方式 （ただし自分が書いたプロポーザルは評価対象外） • 評価の観点（重要度順） 1. 内容はPythonと関連しているか。 2. 内容に独自性・新規性はあるか。 3. プロポーザルの目的や、扱う課題が明確か。 4. 具体的に持ち帰ることができる知識や技術の利用方法・工夫があるか。 5. トークの発表が明確にイメージできるほど構成は明確か https://pyconjp.blogspot.com/2022/05/talk-proposal-review.html • 採択会議ではこの基準を重視しつつ全体バランスも考慮
7. レビューって大変なのでは？ • ぶっちゃけ読むだけでも大変です（今年は120本，1/3くらいは英語） • ある程度理解できていないと評価できない（特に独自性・新規性） • よく知らない分野の話は調べるところからなので時間もかかる 大変だけどめちゃめちゃ有意義！！
8. レビューは勉強になる • プロポーザルは「この話をみんなと共有したい！」という意志を持った人が 自分の経験や得意領域について書いたもの • プログラムとして公開されるのは採択されたごく一部。レビュアーは全部読 めるし，読むだけでも勉強になる • 評価するためにプロポーザルの内容について調べて理解する • 調べたことがきっかけとなって新しいテーマに興味が湧いて詳しく学習 そう，これがレビュー駆動学習だ！
9. 他にも勉強になることが • その年の人気があるテーマが見えてくる • 「Web系」「Data系」「機械学習系」といった，おおまかな流れ • 「あれ，このツールさっきも出てきたぞ」といった，ツールやサービスの潮流 • 採択会議のやりとりで理解が深まる • 自分でも勉強して評価したけど，参加者にはもっと詳しい人がいる • 「同じツールの話だけど，こっちのはこういう側面，もう一つのは別の切り口で〜」 • 「一見すごそうな書き方ですが実は〜」
10. 学習以外にも副次的メリットが • 「こんなプロポーザルは評価で損をしている」がみえてくる • たとえば「興味深いテーマについてのプロポーザルなのに具体的な発表の 構成案がない」ケース • 評価観点5「構成が明確か」にひっかかる • 構成が明確じゃない＝何をどのくらい伝えるかがわかりにくい • 結局評価観点4「具体的に持ち帰れる内容・工夫」が評価しづらい →重要度低目な観点ですがボーダーラインは同点ひしめく僅差。もったいない！ • 「こんなふうに書くとよい」のお手本は公開されてます https://pyconjp.blogspot.com/2022/06/pyconjp2022-sample-proposal.html
11. レビュアーのデメリット • 読むのが大変，調べたりして時間がとられる →レビュー駆動学習の考え方ではデメリットではない • 自分がプロポーザルを出してると採択会議で寿命が縮まる • ブラインドレビューなので低評価の理由をオブラートなしで聞かされる （なかなか聞けないのでメリットでもあるけど耳が痛い） • 公平性を担保するためプロポーザルに書いてないことを補足してはならない • ボーダーライン上のときは同じライン上の他のプロポーザルについても批判する のはフェアでない
12. 今日話したこと • PyConJPのトーク採択の仕組み • プロポーザルレビュアーに参加するとめっちゃ勉強になる （レビュー駆動学習オススメです！） • 自分がプロポーザル出してると採択会議で寿命が縮まる でもまた来年出したくなる
13. PyConJP2023のトーク採択会議でお会いしましょう！ （その前にPyConJP2022） Enjoy!