第1回Science of scienceセミナー

2024年3月16,17日に行われた、第1回Science of science研究会の発表資料です。

・ライセンスをCC-BY-4.0です。社内会議や学内会議だけでなく、商用利用も可能ですが、クレジットを表示してください。
・Science of Science 研究会の外部においてセミナーなどを開催される場合には、最新の研究を踏まえたお話ができますので、ご一報ください。

お問い合わせのある方は、sciscijp@googlegroups.comまでご連絡ください。

Transcript

1. 第1回 Science of science研究会 / Science of scienceセミナー 研究の新規性をどう測るか 東京⼤学 ⼯学系研究科 坂⽥・森・浅⾕研究室 三浦崇寛 miura@ipr-ctr.t.u-tokyo.ac.jp
2. Science of scienceセミナーとは？ 2 概要: ⼤学・研究室・企業の垣根を超えたScisciコミュニティを作るために、Scisciが対象とする領域に関する 公開勉強会を開き、⽇本からトップレベルの研究成果を⽣み出すことを⽬指します。 ⽬的: Scisciに取り組む際に基礎となるトピックをまとめることで、初学者の円滑なスタートを⽀援するだけで なく、分野の潮流を踏まえて、Scisciコミュニティとして取り組む問題を議論することを主⽬的とします。 スコープ: Scisciは特定の学会誌・論⽂誌を持っていないため、主に学術情報を扱う既存領域のトップ誌や 総合誌で議論されているトピックに則る形を考えています。ただし、領域にとって重要なテーマであれば 学会/ジャーナルは問いません。 •例: International Conference on Science of science and Innovation(ICSSI), Quantitative Science Studies, Journal of Informetrics, Scientific Data, Research Policy, Nature/Science姉妹誌, ProNASなどのトップ総合誌 その他: 後進の発展のため、発表資料は可能な限り公開とします •図表など著作権上公開が難しいものは、⾮公開にさせていただくことがあります。 •2回⽬は未定です。
3. 三浦崇寛（東京⼤学⼯学系研究科 坂⽥・森・浅⾕研究室 博⼠課程） 3 p研究領域 ・・・ 量を使った科学分析は何を⾒誤るのか？ 「データ」と「主張」の間に潜む ⼈間の科学認識のバイアス 「インパクト」とは何か？ 多様な時間軸がもたらす科学の発展 上⼿くいく研究者は何をしているのか？ 「連戦連勝」を作るメカニズムの解明 • 東京⼤学統合報告書 (2022) • Journal off Informetrics (2023) • Applied Network Science (2021) • ISSI, IC2s2, 横幹連合 (2023) • など • 東京⼤学統合報告書 (2023) • ICSSI (2023) • ISSI (2023) • など • ⼈⼯知能学会「学術情報分析」特集 • Science of science翻訳プロジェクト 監訳 • NISTEP 報告書1,2 • など 詳細
4. 本⽇の内容 4 p研究の新規性を取り巻く背景 • 新規性とは何か • 新規性を測るモチベーション pScience of scienceにおける新規性の測り⽅ • 新規性を測る指標 • データセット p新規性と関連する事柄 • 新規性と研究評価 • 新規性とチームマネジメント • 新規性とファンディング • 新規性とAI p新規性を測る上での問題点 • 「意味のある新規性」と「意味のない新規性」 • まっさらな新規性などあるのか？ • 新規性指標の次のステップ
5. 5 1. 研究の新規性を取り巻く背景
6. 新規性とはなんだろうか？ 6 新規性 定義
7. 新規性とは 7 pNovelty := the quality of being new, different and interesting (Oxford Dictionary) • ただ新しいだけではなく、先⾏研究と異なる興味深い違いを主張しているものが新規性のある研究 p科研費の評点要素には「学術的独⾃性」「創造性」という⽂⾔が⼊っている • 「新規性」が要件に記載されているのは、学術変⾰領域研究のみ https://www.jsps.go.jp/file/storage/kaken_0103_shinsakitei_g1571_1/hyoukakitei240301.pdf ➡ 新規性のある研究 = 良い研究 だと思われている 科研費の評点要素
8. 新規性へのプレッシャーはますます強くなっている 8 p新規性のない”incremental”な発⾒は2nd, 3rd Tierのジャーナルに出版すべきかのような雰囲気 • 論⽂概要に登場する”novel”, “unique”, “unprecedented” といった、価値を強調する単語を含むアブストラクトが、 40年間で2倍近くに増えている(Edlinger et al. 2023) • 新規性を失わず早く出版するために、⾃分に本来要求すべき ⽔準を課さずに出版するインセンティブになってしまう ➡ 再現性の危機の問題 Positive expressionが概要に含まれない論⽂割合(Edlinger et al. 2023) Edlinger, M., Buchrieser, F., & Wood, G. (2023). Presence and consequences of positive words in scientific abstracts. Scientometrics, 128(12), 6633-6657. (2015) 39% Replicated
9. 研究の価値はいくつもあるが、新規性は特に議論にあがりやすい 9 p新規性は、多くの査読基準で考慮される要素の⼀つ • 新規性: 論⽂の内容が（従来から容易に導き出せない）新しい⽰唆を含んでいること • 有効性（有⽤性）: 論⽂の内容が学術や産業の発展に何らかの意味で役⽴つものであること • 関連性: 論⽂が提出された学会・ジャーナルに関連があること • 信頼性: 論⽂の内容が読者から⾒て信頼のおけるものであること • 了解性: 論旨の展開が⼗分理解しやすく、順序⽴てて明瞭に記述してあること pトップジャーナルでも、”新規性のある研究”が必須であることが明確に⾔及されている • Cell: Weʼre looking for papers ~ that prompt new thinking about a biological problem ~ • Nature: The criteria for a paper ~ are that the results seem novel, ~ • Science: Selected papers should present novel and broadly important data, ~ (参考)https://www.ieice.org/jpn/shiori/cs_5_1.html
10. 新規性を測るモチベーション 10 pそれでもなぜ、研究者は新規性のある研究をしようとするのか？ Academic Pursuing(学術的探求) Funding (⽣活資⾦) Peer review (出版) https://www.vectorstock.com
11. Academic Pursuing: 新規性に関わる魅⼒的な疑問に答えたい 11 pチーム • 所属する研究者が次々と新規性を⽣み出すような研究チームはどうすれば作れるのか？ pキャリア • 新規性を⽣み出した研究者はどのようなキャリアパスを経るのか？もっと価値を最⼤化するマネジメント⽅法はないか？ p研究環境 • 新規性の⾼い研究を⾏いやすい研究環境には何が必要なのか？ pファンディング • 競争的研究資⾦は研究者の新規性を促進しているのか？それとも短視眼的な研究にさせてしまっているのか？ p授賞 • 権威ある賞は研究の新規性をどれくらい評価できているのか？社会的なバイアスをどれくらい含むか？ pピアレビュー • 研究者は新規性のある発⾒をどのように評価しているのか？新しすぎると評価しないようなresistanceはあるのか？ pAI • AIは新規性のある研究をどれくらい作れるのか？/評価できるのか？
12. Funding: ⽣活のために新規性を探さなければならないし、助成側も良い提案を⽀援したい 12 p研究助成機関は、ボラティリティのある新規性をポートフォリオに組み込みたい • ⼀⽅で、NIHは”Innovation”セクションを設けたが、feasibilityという相反するものを同時に求めている(Cohen 2017) • 広く配って種を育てるにしても、それが有効であるというエビデンスが欲しい pICSSI2023の冒頭では、2022年に設⽴されたNSFのテクノロジー・イノベーション・パートナーシップ局が ビデオレターがあり、最新のScisciの知⾒をイノベーション創出に活⽤する⽅針が述べられた Cohen, B. A. (2017). How should novelty be valued in science?. Elife, 6, e28699.
13. Peer Review: 新規性が主張できないと、出版できない 13 The idea is very simple. It just changes one term in the loss and everything else is the same as prior work. This literature merely summarizes existing studies and execute validation without offering any new interpretations. The idea is obvious because the authors just combined two well known ideas. Merely changing the dataset without innovating the methodology diminishes the significance of the study. The authors describe a new method but I don't know why anyone needs this. ➡ これらの査読者のコメントを乗り越えて、初めて学術誌に出版される
14. 14 2. Science of scienceにおける新規性の測り⽅
15. 新規性 = 新しい概念の登場 15 p論⽂・意味ネットワーク上の新⽤語/注⽬論⽂を測る • 単語数の増減でEmerging Topicを計測する • クラスタを表す単語から学術俯瞰(Shibata et al. 2008) • ネットワーク特徴量+NNで成⻑予測(Krenn et al. 2019) • 各分野で初めてその単語が現れたことを新規性とみなす • 特定の分野の論⽂を集め、引⽤が集まる発⾒、注⽬度の⾼い論⽂についての レビューをまとめるものは多数 (Systematic review, bibliometric analysis) • 研究助成機関が⽀援するトピックは、新単語の登場から7年ほど遅れる (Packalen et al. 2020) ➡ シンプルで使いやすいため、学術俯瞰や萌芽予測などの 全体像の把握のために⽤いられやすい 量⼦⼒学分野で5年成⻑率が⾼い⽤語の例(Krenn et al. 2019) 2010~2016年にNIHが採択したアイデアが⽣まれた年 (Packalen et al. 2020) Shibata, N., Kajikawa, Y., Takeda, Y., & Matsushima, K. (2008). Detecting emerging research fronts based on topological measures in citation networks of scientific publications. Technovation, 28(11), 758-775. Krenn, M., & Zeilinger, A. (2020). Predicting research trends with semantic and neural networks with an application in quantum physics. PNAS, 117(4), 1910-1916. Packalen, M., & Bhattacharya, J. (2020). NIH funding and the pursuit of edge science. PNAS, 117(22), 12011-12016.
16. ただ新しいだけでなく、その後に続くことも重要 (Kuhn et al. 2014, Kamada et al. 2021) 16 p概念は繰り返し利⽤されていくことによって確⽴していく（⾳楽・レシピ・アイデア） • これを”ミーム(meme)”と呼ぶ (Dawkins 1976) • 学術⽤語も同じように、ただ新しいだけでなく、それが後世にも受け継がれるような概念であるほど、 その影響⼒は⼤きいと⾔える pある単語mが使われている論⽂からよく引⽤され(sticking factor)、使われていない論⽂からはあまり引⽤ されない(sparking factor)単語は、ミームスコアが⾼い • sparking factorによって、stop wordsや名詞処理をかけなくても、 重要な概念を抽出できる点に強みがある pミームスコアの⾼い単語は、Wikipediaの掲載率が⾼く(Kuhn et al. 2014)、ノーベル賞を受賞した ⾰新的な発⾒を多く含んでいる(Kamada et al. 2021) ➡ 新しさ(Priority)以外の「そのトピックが科学的概念をどれだけ作ったか(Originality)」の評価にも活⽤できる mを含む論⽂への引⽤のうち、 mを含む論⽂からの引⽤ (sticking factor) mを含まない論⽂への引⽤のうち、 mを含む論⽂からの引⽤ (sparking factor) Dawkins, R. (1976). The selfish gene. Oxford university press. Kuhn, T., Perc, M., & Helbing, D. (2014). Inheritance patterns in citation networks reveal scientific memes. Physical Review X, 4(4), 041036. Kamada, M., Asatani, K., Isonuma, M., & Sakata, I. (2021). Discovering Interdisciplinarily Spread Knowledge in the Academic Literature. IEEE Access, 9, 124142-124151. ローカルな知 概念として確⽴
17. 17 Wikipedia
18. 新規性 = 既知の知識のrecombination 18 p組み合わせで新規性を定義する⾒⽅は古くから存在する = “Recombinant Novelty” • ポアンカレ: 創造するということは無⽤な組み合わせをすることではなく、有⽤でごく少数のものをつくることにある • シュンペーター: イノベーションは、新たな価値を創造する新結合から⽣まれる • ヤング: アイデアとは既存の要素の新しい組み合わせ以外の何ものでもない。 p組み合わせによって⽣まれた発⾒の代表的な例 • ベンツ・パテント・モトールヴァーゲン: 世界初の⾃動⾞。⾃転⾞ + 荷⾞ + 内燃機関 • アルキメデスの原理: 王冠を⽔に沈めて漏れ出す量から浮⼒を発⾒。重さを測る+浴槽から溢れるお湯 • ケクレの夢: 夢の中に出てきたウロボロスからベンゼン環の構造を思いつく。炭素 + 環状構造 p新しい組み合わせの意外度を測ることができれば、それは新規性の指標として機能すると考えられる ポアンカレ,アンリ. (1959). 科学と仮説, 河野伊三郎訳, 岩波⽂庫. Schumpeter, J. A. (1939). Business cycles: a theoretical, historical and statistical analysis of the capitalist process. ジェームズ W. ヤング (1961). アイデアの作り⽅. 今井茂雄訳, CCCメディアハウス.
19. 希少なジャーナルペアを参考⽂献に含む論⽂ = 新規性が⾼い (Uzzi et al. 2013) 19 p引⽤したジャーナルを、その論⽂が依拠するknowledge spaceの代理変数とする(Web of Scienceデータ) • 同⼀ジャーナル内では、被引⽤数の分布も安定しており、特定のtopic relevanceをまとめたものとみなせる pジャーナル間共引⽤ネットワークを、共引⽤される年・本数は変えずに繋ぐ先だけをシャッフルする • z>0 … 珍しくないペア(conventional) • z<0 … 珍しいペア(novel) pWeb of Scienceで分野が異なる共引⽤ペアでも 6割近くがz>0であり、分野横断性とは異なる 「新しい組み合わせ」に着⽬できている [1] Wang et al. Science. .... [2] Smith et al. Sci. Rep. ... [3] Brown et al. PRL. .... [4] Jones. Royal Society. ... (1) 論⽂の参考⽂献のジャーナル 共引⽤を取得 (2) ジャーナル間共引⽤ネットワークを randomizeしたものと⽐較して、疎な繋がり を持つ部分は希少な組み合わせと⾔える 𝑧!" = 𝑜𝑏𝑠!" − 𝑒𝑥𝑝!" 𝜎!" ジャーナルi,j間の z-score 実際のi,j間の共引⽤数 シャッフルしたi,j間の共引⽤数の平均値 シャッフルしたi,j間の 共引⽤数の標準偏差 Uzzi, B., Mukherjee, S., Stringer, M., & Jones, B. (2013). Atypical combinations and scientific impact. Science, 342(6157), 468-472. Lin, Y., Evans, J. A., & Wu, L. (2022). New directions in science emerge from disconnection and discord. Journal of Informetrics, 16(1), 101234. (3) 各論⽂の共引⽤ペアをz-score順に ソートし、10%点を”Novelty”, 50%点 を”Conventionality”とする journal paper novel paper conventional paper z-score 組み合わせの新規性(昇順) 10% 50%
20. インパクトの⾼さには、NoveltyとConventionalityの双⽅が有効 20 p8年内被引⽤数Top5%に⼊る確率(hit probability)は • Noveltyが⾼い (𝑧!"% < 0) • Conventionalityが⾼い (𝑧$"% > 𝑧$"%,&'()*+ ) ➡ つまり、新規性と慣習性の両⽅が被引⽤数に効く p3⼈以上の共著論⽂の場合、Conventionalityは 変わらないが、Noveltyが⾼くなる傾向にある p新規性・慣習性・チームの⼈数の関係には、3つの関係がある 1. 同じConventionalityであれば、Noveltyが⾼い⽅がHit probabilityが⼤きい 2. Hit probabilityが最も⾼くなっているのは、Conventionalityが⾼いが⾼すぎない時である 3. チームが⼤きいほどHit probabilityは⼤きいが、Novelty, Conventionalityの値次第では⼩規模チームが上回る Uzzi, B., Mukherjee, S., Stringer, M., & Jones, B. (2013). Atypical combinations and scientific impact. Science, 342(6157), 468-472. Novelty, ConventionalityとHit rateの関係 High median convention Low median convention High tail novelty 9.11% 5.33% Low tail novelty 5.88% 2.05%
21. より計算コストを抑えたジャーナル間共引⽤ネットワークを使⽤（Lee et al. 2015） 21 pシャッフルしたジャーナル間引⽤ネットワークの標準偏差を求めるコストが⾼い ➡ ランダムな共引⽤ネットワークの同時確率を仮定する • Commonnessの10%点に対してlogをとり、正負反転した ものをNoveltyと定義（時間も考慮） pNoveltyとチームサイズには、逆U字の関係がある • チームサイズが⼤きいほど、平均のインパクト(5年内被引⽤数)は⾼い • ⼀⽅で、Noveltyは⼩規模でも⼤規模でもないチームで⾼い傾向にある ➡ ⼤き過ぎるチームは、”process loss”が起こることがあるかもしれない • low consensus, high coordination cost, more free-riding, emotional conflicts pなぜチームサイズが⼤きいとnoveltyが上がるかを知るため、著者の分野やタスクの多様性をアンケートで 尋ね補正すると、チームサイズの影響が消えた • 異なるドメインの知識が混ざり合うことが、チームサイズと新規性の正の関係をもたらしていると考えられる t年の論⽂による ジャーナルi,j間の共引⽤数 t年の論⽂による ジャーナルi,jへの引⽤の同時確率 Lee, Y. N., Walsh, J. P., & Wang, J. (2015). Creativity in scientific teams: Unpacking novelty and impact. Research policy, 44(3), 684-697.
22. 特に”初めての”ジャーナルの組み合わせをもたらした研究に絞る（Wang et al. 2017） 22 pただ組み合わせが新しいかどうかだけでなく、その組み合わせがどれだけ離れているかを考慮する • J1とJ2が新しく共起したとしても、J1, J2が他の論⽂誌と似通って共引⽤ されていれば、あまり新しい組み合わせとは考えない pWeb of Scienceの分野内で上位1%のnoveltyを”highly novel”, 1つ以上の新規組み合わせがある場合を”moderately novel”とすると • Big hit(上位1%)からの引⽤が多く、分野外からの引⽤が多く、 引⽤の遅れを経験しやすく、JIFが低い論⽂誌に掲載されやすい ジャーナル間共起⾏列の例 Big hitとの関係 分野内引⽤と分野間引⽤ Top1%引⽤との関係 Journal Impact Factorとの関係 Wang, J., Veugelers, R., & Stephan, P. (2017). Bias against novelty in science: A cautionary tale for users of bibliometric indicators. Research Policy, 46(8), 1416-1436. 新規ペア なし 低新規ペア あり ⾼新規ペア あり Big hit probability 新規ペア なし 低新規ペア あり ⾼新規ペア あり 分野内/外からのTop cited 分野外からの引⽤ 分野内からの引⽤ 新規ペア なし 低新規ペア あり ⾼新規ペア あり 3年間/15年間のTop cited 15年被引⽤数 3年被引⽤数 新規ペア なし 低新規ペア あり ⾼新規ペア あり Journal Impact Factor
23. ジャーナル単位の粗い議論より、細かくドメインの違いを測る動きも出ている 23 pジャーナルの場合、総合誌の扱いが難しくなるほか、同ジャーナル内のトピックの違いを考慮できない ➡ ジャーナル単位ではなく論⽂単位で知識の組み合わせを測ろう！ • 参考⽂献に重複のある同分野の論⽂とどれだけ似通っていない 参考⽂献を持っているかで新規性を求める(Matsumoto 2021) p参考⽂献の⽂書情報も使って、遠い参考⽂献の組み合わせかどうかを判断する • ジャーナル単位に絞る必要はなく、どれだけ異なる論⽂を引⽤しているかで新規性を評価する(Shibayama 2021) Matsumoto, K., Shibayama, S., Kang, B., & Igami, M. (2021). Introducing a novelty indicator for scientific research: validating the knowledge-based combinatorial approach. Scientometrics, 126(8), 6891-6915. Shibayama, S., Yin, D., & Matsumoto, K. (2021). Measuring novelty in science with word embedding. PloS one, 16(7), e0254034. 参考⽂献の重複を活⽤した新規性の計算
24. 引⽤を使わずに、⽂章の意外性を直接測るアプローチも出てきている 24 pNLPの発展によって、タイトルやアブストラクトを直接使った新しい発⾒も増えてきた • 外れ値検知を使って、論⽂のタイトルをembeddingした空間の中で外れ値となるものを新規性とする(Jeon et al. 2023) • Embeddingのモデルや外れ値検知の⼿法を変えても結果はロバスト p特に近年は論⽂の全⽂が使えるデータセットも整備されてきているので、発展の可能性は⾼い • S2ORC(https://github.com/allenai/s2orc) Jeon, D., Lee, J., Ahn, J. M., & Lee, C. (2023). Measuring the novelty of scientific publications: A fastText and local outlier factor approach. Journal of Informetrics, 17(4), 101450. k=4の時のLOFの例 k近傍の距離が遠いほど、LOFは⼤きくなる
25. 引⽤以外にも、様々な「新しい組み合わせ」で新規性はよく測られている 25 p化学物質 (Foster et al. 2015) • MEDLINEに収録された記事内で共起する化学物質のペアを分類 • 時系列変化する共起ネットワークをクラスタリングし、その関係で”new(新しい組み合わせ)”と”repeat(これまであった組 み合わせ)”に分類 • 化学物質数が増えて新規性の⾼い発⾒の探索可能範囲は増えているのに、研究者の取る戦略はrepeatとnewが8:2でずっと ⼀定であることを⽰す pMeSHターム (Boudreau et al. 2016) • 研究者にグラントの申請書の評価を依頼し、その中に含まれるMeSHターム(医学⽤語のシソーラス)のペアの希少度と 研究者からの評価を⽐較 • 新規性が⾼い申請書ほど、評価者は低いスコアをつけやすい。特に評価者の領域に近い申請書ほど低くなりやすい pキーワード(Carayol et al. 2017) • Lee et al. (2015)と同じ考え⽅をキーワードに対して適⽤ • 珍しいキーワードの組み合わせを含む論⽂ほど、Top1%に⼊る確率が⾼い傾向にあった Foster, J. G., Rzhetsky, A., & Evans, J. A. (2015). Tradition and innovation in scientistsʼ research strategies. American sociological review, 80(5), 875-908. Boudreau, K. J., Guinan, E. C., Lakhani, K. R., & Riedl, C. (2016). Looking across and looking beyond the knowledge frontier: Intellectual distance, novelty, and resource allocation in science. Management science, 62(10), 2765-2783. Carayol, N., Lahatte, A., & Llopis Córcoles, Ó. (2017). Novelty and academic impact.
26. しかし... 26 p「新規性 = 新しい概念 / 論⽂に現れた新しい組み合わせ」で本当に⼗分だろうか？ • 複雑だったモデルをシンプルな仮定で説明できるような理論的貢献に新規性はないだろうか？ • 既存の理論に潜む⽋陥を指摘する研究に新規性はないのか？ • 逆に、「Sustainabilityを理論物理学の領域から捉え」るような、本質的に⾒えない横断性が新規性の源なのか？ • そもそも新規性は論⽂の引⽤や⽂書に登場するものなのか？⽇々の着想を得た部分は論⽂には出てこないのではないか？ 1. Noveltyとは、Complexityではない ➡ 単純な変化で⼤きな結果を成し遂げたなら讃えるべき 2. Noveltyとは、Difficultyではない ➡ 汗⽔垂らしたかではなく、コアの貢献のみを⾒れば良い 3. Noveltyとは、Surpriseではない ➡ ⾔われるまで気づかなかったなら新しい、後から評価は卑怯 4. Noveltyとは、Technical noveltyだけではない ➡ 理論・データ・考察などの貢献も多分にある 5. Noveltyとは、usefulnessではない ➡ すぐには使えなくても新しいアイデアは沢⼭ある Michael J. Black. (2022) Novelty in Science. A guide for reviewers. Perceiving Systems Blog. https://perceiving-systems.blog/en/news/novelty-in-science Max PlanckのCS研究者 The idea is very simple. It just changes one term in the loss and everything else is the same as prior work. This literature merely summarizes existing studies and execute validation without offering any new interpretations. The idea is obvious because the authors just combined two well known ideas. Merely changing the dataset without innovating the methodology diminishes the significance of the study. The authors describe a new method but I don't know why anyone needs this. Noveltyではなく ”beauty”を査読の 基準にすべき
27. ⼈⼿の新規性評価と組み合わせの新規評価の⽐較 (Bornmann et al. 2019) 27 p組み合わせ指標と、⼈間がアノテーションした研究評価の対応関係を調査 • F1000Prime(研究者がアノテーションしたデータ)の⼈⼒新規性評価と⽐較を⾏う • ポアソン回帰モデルを組んで、タグが付与されたときに各指標の平均値が何%上昇するか Bornmann, L., Tekles, A., Zhang, H. H., & Fred, Y. Y. (2019). Do we measure novelty when we analyze unusual combinations of cited references? A validation study of bibliometric novelty indicators based on F1000Prime data. Journal of Informetrics, 13(4), 100979. 過去の実験や仮説の検証 (Confirmation) 教材として優れている (Good for teaching) ネガティブリザルト (Negative/Null results) 過去の結果の反証 (Refutation) 議論を呼ぶ (Controversial) 仮説の提唱 (Hypothesis) 新しい発⾒ (New finding) 新しい検証先の発⾒ (Novel drug target) 技術的発展 (Technical advance) タグ 新規性と期待される関係 Negative Positive 付与率 17.61% 22.39% 0.97% 1.33% 7.13% 24.09% 70.21% 7.55% 14.82% ジャーナル 組み合わせ(Uzzi) ジャーナル 組み合わせ(Wang) 新単語の登場 (Bornmann) -13.45%*** -2.06% -19.86%*** -1.14% -10.35%*** 17.71%*** 7.47%*** 58.78%** * 28.78%*** -0.71%*** 3.26%*** -4.84%** 1.81% 2.36%* 1.60%*** -3.91%*** -4.10%*** -0.13% -3.39%* 3.71%*** -9.14% 5.73% -0.91% -1.32% -6.55%*** -12.15%*** -7.83%*** ⼈⼿アノテーションとの乖離
28. ⼈⼿の新規性と合っているから、新規性の指標として使って良いのか？ （Fontana et al. 2020） 28 p「新規性 = 新しい組み合わせ」とすると、新規性は「横断性」とほぼ同じになる • WangのNoveltyWは、初めてのジャーナルペアしか考慮しないため、データの 細かな違いに⾮常にピーキーであり、使⽤はやめた⽅が良い • UzziのNoveltyUは、分野横断性で⼀般的に⽤いられる指標とほぼ完全に相関する ➡ NoveltyUで取られられるのは「横断型」の新規性だけ pしかし、新規性のある発⾒には純粋な基礎研究のブレイクスルーもある • 2007年にノーベル物理学賞をとった巨⼤磁気抵抗効果(GMR)の研究は、 原⼦物理学の基礎研究の成果であって、何かを横断した発⾒ではない pこれは、新規性の結果の解釈の上で⼤きな問題になる可能性がある • 「新規性を⽣み出す研究に投資する」というスキームが、ほぼ「横断的な研究への投資」になってしまう • 研究の新規性を測るためには、引⽤を⾒るのではなくその論⽂⾃体を⾒る必要があることを⽰している Fontana, M., Iori, M., Montobbio, F., & Sinatra, R. (2020). New and atypical combinations: An assessment of novelty and interdisciplinarity. Research Policy, 49(7), 104063. 分野横断性とNoveltyUの分布 ⾚字はノーベル賞を受賞した論⽂を⽰す (図はイメージ) 分野横断性 NoveltyU
29. そもそも引⽤⽂献に本当の発⾒の種がどれだけ含まれるのだろうか？ (Tahamtan et al. 2018) 29 p斬新な発⾒をした研究者にメールを送り、参考⽂献にどれだけそれが反映されているかを調査 ➡ 8⼈の研究者のうち、本当にアイデアのインスピレーションを得た⽂献が⼊っているのは数件のみ Tahamtan, I., & Bornmann, L. (2018). Creativity in science and the link to cited references: Is the creative potential of papers reflected in their cited references?. Journal of informetrics, 12(3), 906-930. 分野補正被引⽤数の提案(1983, Glanzel) このアイデアはずっと前から頭にあったものだった。Imre Ruffと科学の測定⽅法について議論して、その後 ハンガリー科学アカデミーで科学の測定を⾏うにあたって、皆が分野内の相対的位置を知りたがっているよう だったため、思いついた ➡ 参考⽂献リストの論⽂を⾒て閃いたものではない上に、最初が⼩規模な学会論⽂な ので参考⽂献リストが存在しない h-indexの提案(2005, Hirsch) 私⾃⾝は計量書誌学の分野ではなかったが、科学的貢献の重要性を評価する指標として、h-indexのアイデア を思いつき、⼿元で直感に合うことを確認していた。その後放置していたが、Rednerが2005年にPhysics Todayで⾏なっていた書誌学の分析を⾒て(参考⽂献に含む)、⾃分もh-indexを書き上げようと思って書いた。 他にも計量書誌学の論⽂は読んだが、それはアイデアに⼤きな役割は果たしていない。 ➡ h-indexのアイデア⾃体には、参考⽂献は貢献していない
30. 考えなければいけないこと 30 p引⽤を使うことの限界 • そもそも出版されない発⾒への貢献は観測されない（グローバルサウス、⾔語の壁、ローカルのリポジトリ） • 読まれるが引⽤されないこともある（ジャーナル規定で参考⽂献数を減らす、インスピレーションを得た） • 分野による引⽤の解釈の差（参考⽂献リストの⻑さ … 数学＜物理＜⽣命科学） • 引⽤にも種類があり、引⽤=利⽤とは⾔えない（実際に利⽤した知識、歴史的経緯、説得のための材料、批判的引⽤、 関連する知識 など）（Tahamtan 2018） • データセットの制限（電⼦化前の引⽤を遡れない、英語で書かれた論⽂以外は対象にならない、分野/出版形式による 収録率の違い、最新研究はデータセットがまだ整備されていない） ➡ 新規性を「引⽤の組み合わせ」とする定量化は、これらの限界に⽬を瞑って⾏われている Tahamtan, I., & Bornmann, L. (2018). Core elements in the process of citing publications: Conceptual overview of the literature. Journal of informetrics, 12(1), 203-216.
31. 新規性を検証するデータセットの拡⼤ 31 pデータセットの多様化によって、新規性の多様なソースを⾒られるようになっている • ピアレビュー • Openreview.net: 機械学習系を中⼼に、レビュー⽂とScore, Confidenceが取得可能 • Publons: Clarivateが所有。登録された査読プロセスを公開している • eLife: 掲載された論⽂のメタデータ・全⽂・レビューの履歴が公開されている • Peer Review Workbench: Elsevierが提供する分析フォームで、Editorial Managerの査読内容を使った分析提案を募集していた • 申請書 • NIHのRePORTERで採択されたプロジェクトを確認できる他、⾮採択だったプロジェクトを分析する研究も出てきている(Yin et al. 2019) • Federal RePORTERは2022年で終わってしまったので、代替データセットの検討も進んでいる（⼩柴 2022） • アンケート調査 • 論⽂を執筆した研究者にアンケートを送り、何が重要なきっかけだったかを検証する(Tahamtan et al. 2018, Teplitskiy et al. 2022) • 外部データ • F1000Prime: 研究者が付与した9分類の論⽂評価データを公開している (Peer review workbench) https://researchcollaborations.elsevier.com/en/projects/peer-review-workbench Yin, Y., Wang, Y., Evans, J. A., & Wang, D. (2019). Quantifying the dynamics of failure across science, startups and security. Nature, 575(7781), 190-194. ⼩柴等, 岡村⿇⼦, & ⿊⽊優太郎. (2022) NSF データを⽤いた研究課題動向分析の試み. NISTEP DISCUSSION PAPER 216. Tahamtan, I., & Bornmann, L. (2018). Creativity in science and the link to cited references: Is the creative potential of papers reflected in their cited references?. Journal of informetrics, 12(3), 906-930. Teplitskiy, M., Duede, E., Menietti, M., & Lakhani, K. R. (2022). How status of research papers affects the way they are read and cited. Research policy, 51(4), 104484
32. 32 3. 新規性と関連する事例
33. 4つの視点から研究における新規性の議論を紹介 33 p研究評価・ピアレビュー • 新規性のある研究は査読で正当な評価を受けているか？ • 新し過ぎるあまり無視されることはどれくらいあるか？ それはなぜか？ pチームマネジメント • どんなチームが新規性のある研究を出しているのか？ • 新規性の向上につながるエッセンスは何か？ pファンディング • 競争的研究費は挑戦を促し新規性を⾼めているのか？ それとも安全に結果が出る研究に進ませるのか？ • どの程度の新規性のプロジェクトに研究費が付けられ ているのか？ p機械学習・AI • AIに査読をさせることがどれくらいできるのか？ • アルゴリズムで研究の⽅向性を決めるとどうなるのか？
34. 新規性と研究評価・ピアレビュー 34 p新規性の⾼い研究の⻑期的インパクト(8年~15年)は⾼い(Uzzi 2013, Wang 2017) • 短期的なインパクト(3~5年)は低くなる傾向があり、新規性のある研究は初期に過⼩評価されやすい（Wang 2017, Lin 2022） p新規性の⾼い組み合わせを持つグラント申請書は、評価が低い (Bourdeau 2016) • 分野外の研究者ほどスコアを⾼く付けやすく、新規性の⾼さは逆U字を描く p⼀⽅で、⼈間による新規性の評価⾃体が条件によって変わることを 指摘した研究も⽣まれてきている • 被引⽤数が低いことを隠して新規性を評価してもらうと、新規性の評価値が上がる(Teplitkiy 2022) • ダブルブラインドにすると採択率が下がるという結果と逆である点が興味深い(Tomkins 2017) Uzzi, B., Mukherjee, S., Stringer, M., & Jones, B. (2013). Atypical combinations and scientific impact. Science, 342(6157), 468-472. Wang, J., Veugelers, R., & Stephan, P. (2017). Bias against novelty in science: A cautionary tale for users of bibliometric indicators. Research Policy, 46(8), 1416-1436. Lin, Y., Evans, J. A., & Wu, L. (2022). New directions in science emerge from disconnection and discord. Journal of Informetrics, 16(1), 101234. Boudreau, K. J., Guinan, E. C., Lakhani, K. R., & Riedl, C. (2016). Looking across and looking beyond the knowledge frontier: Intellectual distance, novelty, and resource allocation in science. Management science, 62(10), 2765-2783. Teplitskiy, M., Duede, E., Menietti, M., & Lakhani, K. R. (2022). How status of research papers affects the way they are read and cited. Research policy, 51(4), 104484. Tomkins, A., Zhang, M., & Heavlin, W. D. (2017). Reviewer bias in single-versus double-blind peer review. Proceedings of the National Academy of Sciences, 114(48), 12708-12713. (左) 申請書と評価者の知識空間上の距離とスコアの関係 (右) 申請書のキーワード組み合わせとスコアの関係
35. 新規性とチームマネジメント 35 p新規性と相関が⾒られるチームは 1. 3⼈以上だが⼤きすぎないチーム(Uzzi 2013, Liu 2019) 2. 役割配分がフラットなチーム(Xu 2022) 3. 専⾨の多様性が⾼いチーム(Zheng 2022) 4. ジェンダー多様性が⾼いチーム（Yang 2022) 5. リモートではなく地理的に近い研究者同⼠のチーム(Lin 2023, Wagner 2019) ※ どれも因果ではなく相関であるため、なぜそうなのかは考察レベル Wu, L., Wang, D., & Evans, J. A. (2019). Large teams develop and small teams disrupt science and technology. Nature, 566(7744), 378-382. Xu, F., Wu, L., & Evans, J. (2022). Flat teams drive scientific innovation. Proceedings of the National Academy of Sciences, 119(23), e2200927119. Lin, Y., Frey, C. B., & Wu, L. (2023). Remote collaboration fuses fewer breakthrough ideas. Nature, 623(7989), 987-991. Zheng, H., Li, W., & Wang, D. (2022). Expertise diversity of teams predicts originality and long-term impact in science and technology. arXiv preprint arXiv:2210.04422. Yang, Y., Tian, T. Y., Woodruff, T. K., Jones, B. F., & Uzzi, B. (2022). Gender-diverse teams produce more novel and higher-impact scientific ideas. Proceedings of the National Academy of Sciences, 119(36), e2200841119. Wagner, C. S., Whetsell, T. A., & Mukherjee, S. (2019). International research collaboration: Novelty, conventionality, and atypicality in knowledge recombination. Research Policy, 48(5), 1260-1270. チームの関係のネットワーク（Xu 2022） チームの多様性とdisruptionの関係 (Zheng 2022) チームのジェンダー多様性と新規性の関係 (Yang 2022) Cumulative Distribution 10 % z-score 0 Conventional Combination Novel Combination team pair solo Relative Probability of disruption collaboration distance(km) 1.00 200 400 600 600+ papers patents 共同研究の物理的距離と disruptionの関係(Lin 2023)
36. 新規性とファンディング 36 pNIHの投資は、キーワードの登場から7年ほど遅れる(Packalen 2020) • 本当にシード期の研究には⽀援が⾏き届いていない可能性 p科研費は研究の新規性を促進しているのか？（Wang 2018） • Web of scienceのデータから⽇本⼈著者の論⽂を取得し、ランダムに メールを送って資⾦源を調査する（Block fundingか競争的研究費か） • 研究者の所属・性別・年齢によって、競争的研究費を受けている 研究者(資⾦源の25%以上が競争的)の新規性が⾼いかを検証した (Noveltyを被説明変数とする) • 結果、組織・性別・年齢を補正しても、競争的資⾦を得る研究は 新規性が⾼い研究を⾏なっていた • ⼀⽅で、旧七⼤以外・⼥性・若⼿の研究者は、競争的資⾦を得ると新規性が低い研究を⾏っていた ➡ 競争的資⾦で新規性が上がるのは、ステータスを得ている研究に限られる • ただ競争的資⾦が新規性の⾼い研究者につけられている逆の因果もあるので、資⾦提供後に計画変更があったかを尋ねた • 多くは選択効果（新規性のある研究を選んでいるから）だが、特に若⼿研究者は計画変更後にnoveltyが下がりやすい • これは、若⼿は資⾦管理が難しいので、その負担を強いられてアウトプットが下がっている可能性がある Packalen, M., & Bhattacharya, J. (2020). NIH funding and the pursuit of edge science. PNAS, 117(22), 12011-12016. Wang, J., Lee, Y. N., & Walsh, J. P. (2018). Funding model and creativity in science: Competitive versus block funding and status contingency effects. Research Policy, 47(6), 1070-1083. 2010~2016年にNIHが採択したアイデアが⽣まれた年 (Packalen et al. 2020)
37. 新規性とAI 37 pGPT-4によって、⼈間の査読コメントの再現が⾏われている（Liang 2023) • GPT-4が指摘したコメントのうち、Natureで半分以上(57.55%)が、⼈間の査読コメントと⼀致 • ⼈間同⼠の査読コメントの違いと⽐べても、遜⾊なくコメントができている • しかし、Noveltyに関する⾔及は⼈間に特徴的で、LLMは新規性の⾔及ができていない Liang, W., Zhang, Y., Cao, H., Wang, B., Ding, D., Yang, X., ... & Zou, J. (2023). Can large language models provide useful feedback on research papers? A large-scale empirical analysis. arXiv preprint arXiv:2310.01783. GPT易 GPT難 ⼈⼿評価とGPT-4の評価の⽐較 査読コメントの⼀致度の評価⽅法、similarityが7を超えたものを⼀致とみなし、hit rateを測る 各査読に現れやすいコメント
38. 38 4. 新規性を測る上での問題点
39. 「意味のある」新規性と「意味のない」新規性 39 pただ新しいだけのものを指して「研究の新規性」とはあまり呼ばない。 • その新規性には何らかの意味があることが求められる • しかし、意味の取りうる幅は⾮常に広い（時間的にも、評価者的にも） https://twitter.com/kakenhi_com/status/1751213470433849694
40. Novelty for whom? In what context? 40 p「誰にとって」「何の意味で」新規性があるかという⽂脈なしの、「⽣の新規性」を測ったとしても あまり意味はない • これまで解決しなかった問題が解決するから、新しいのか？ • これまで知られていた問題だけれど、新しい解釈を与えることで議論が深まるから新しいのか？ • 誰も着⽬していなかった論点を提⽰すれば新しいのか？ ➡ 全て研究の「新規性」であり、測りたい新規性によって指標にするべき現象は異なるはず （新規性を測るのが難しいのではなくて、時間・評価者によって「どんな種の」新規性が重要なのか違うのが難しい） pScisci研究の特徴として、⼿元に綺麗なデータが揃ってるところから⼿をつけられがち • 引⽤データ、タイトル・アブストラクト、著者データあたりは潤沢なデータがある ➡ でも本当に新規性を測ろうとするならば、データを取ってくるところからやるほうが実際は近道かもしれない • 学会でのコミュニケーション、研究申請書など、本当に新規性を測りに⾏くなら掘るべき場所は⼭ほどある
41. 指標を作る⼈と指標を使う⼈が分かれているのが、今の新規性の現状 41 Strategy Interpretation Data Analysis Operationalize Conceptualize Novelty 科学計量学 科学技術政策 Science of science 新規性を測って何をしたいのか？ 何の知⾒が必要なのか？ データから何が⾒えるのか？ 新規性の中でどの部分を⾒たいのか？ ⾒たい新規性を何で定量化するか？
42. 43 “Novelty is a blackhole.” ~ それ⾃体は観測できないが、そこから引き起こされる現象は観測できる Wikipedia
43. 例: 新規性がなぜ評価されにくいのかの検証 (Johnson et al. 2024) 44 p新規性は「新しい領域に⾏きたくないから」評価されないのか？ • ⼼理学において、新規性の⾼いアイデアは否定的に解釈されやすいことが知られている • さらに、新規性評価は評価する⼈によって異なるという問題が知られている • 新規性は、新しいから評価されないのか？それともコンセンサスが取れなさそうな危険なアイデアを避けているのか？ pベンチャーのピッチ・映画などの5つのシチュエーションで、 • ①新規性を評価するフェーズ (novel or not novelの評価を⾏う) • ②価値を評価するフェーズ（What is the degree of value offered by this idea?） • これで、新規性が⾼いものの価値評価がどれだけばらつくかを検証した ➡ 新規性が⾼い領域の⽅が価値のばらつきが⾼かった p新規性のあるものを評価する条件（これまで⾒たことがないサンドイッチを提供する店のメニューとして の価値を評価する）、で同様の実験を⾏うと、新規性のある研究のばらつきは⼩さくなった ➡ 研究者は、新規性⾃体の評価がばらついているのではなく、新規性を分かった上で、コンセンサスが取れなさそうな 研究を割り引いて評価する傾向がある Johnson, W., & Proudfoot, D. (2024). Greater variability in judgements of the value of novel ideas. Nature Human Behaviour, 1-9. 映画のジャンルと評価された価値の標準偏差
44. 新規性に限らず、指標設計に潜むトリレンマ 45 pこの三原則は、指標設計の際に考えられる思想にも応⽤できる（私⾒） • 簡素: 使いやすく直感的 • 中⽴: その指標を⽬指すことが科学の⾏動そのものを歪めない • 写実: その指標が正しく⽬的のものを表している p2つを重視すると1つは成り⽴たない • 中⽴+写実: 分野に合わせて、適切な新規性ガイドラインを作って運⽤する ↔ 煩雑で流動性がない • 簡素+写実: 全てを研究者のピアレビューに任せる ↔ 研究者間の⼈間関係や社会的⽂脈に強く依存 • 簡素+中⽴: 横断的な研究が新しい、引⽤が⾼い研究が新しい ↔ 新規性本体を捉えているとは⾔い難い 財務省HPより抜粋
45. オープンディスカッション（新規性が完璧に測れたらしたいこと） 46 p論⽂以外に、何のデータを⾒ることで研究の新規性を測れるのか？ p研究者の知識のマップがあったとして、新規性のある発⾒が⽣まれるホットスポットはあるのか？ pどの種の新規性は誰から⽣まれているのか？どんなポートフォリオを組むのが良いか？ p⼈⼿評価とはかけ離れているけれど、新規性のある発⾒を⽣み出すことはできるのか？（将棋・チェス）
46. Take home message 47 1. 新規性の測り⽅は「新概念の登場」か「新しい組み合わせ」の どちらかを使うことが多い 2. 新規性の⾼い発⾒を研究助成機関が本当に⽀援できているのか、 どんな環境から⽣まれているのか、誰が⽣んでいるのかの 期待がかつてなく⾼まっている 3. ⼀⽅で、Scisciの新規性は横断性やcomplexityに集中している上、 論⽂引⽤・単語に限定されており、表現⼒に限界がある 4. 何のために新規性を測りたいのかに⽴ち返り、conceptualizeから strategyまで⼀貫した新規性分析をすることが次のステップ