ACL読み会2024@名大：SCIMON : Scientific Inspiration Machines Optimized for Novelty

Transcript

1. ※図表は論文・著者スライドより引用 読み手：井田龍希（豊田工業大学 知識データ工学研究室 D1）
2. /14 論文のまとめ • 過去文献を基に新たなアイデアを生成するモデルの開発 • データセット構築：過去の問題と提案されたアイデアのペア • 提案モデル：背景を考慮して，文献から着想を得てアイデアを出力 • 出力と過去の関連研究を繰り返し比較して新規性の高いアイデアを目指す 2024/9/30 ACL2024読み会@名大 2 ※着想（検索）方法による生成の違いに関する 考察はほとんど記述なし
3. /14 従来の文献に基づく仮説生成の課題 • 概念間のリンクの仮説に限定 → 仮説の表現力が制限される ➔ 背景テキストに基づき，アイデアを自然言語で出力する問題設定 • 新規性が高くなるような最適化には焦点を当てていない ➔ 十分に新規性が高いアイデアが得られるまで反復的に生成するモデル 2024/9/30 ACL2024読み会@名大 3 COVID-19 | Drug Repurposing | BenevolentAI Platform https://www.benevolent.com/about-us/sustainability/covid-19/ (Accessed: September 26, 2024)
4. /14 アイデアを自然言語で出力する問題設定 • 背景テキストに基づき，アイデアを自然言語で出力 • 入力：背景テキストとシード用語（出力の焦点となるべき用語） • 出力：単純な入力のコピーではなく新規のアイデア 2024/9/30 ACL2024読み会@名大 4
5. /14 データセットの構築 • 過去の問題と提案されたアイデアのペアを自動で抽出 • アブストラクトの各文を背景，方法・目的に自動分類 • 方法・目的に分類された文から重要語をシード用語として自動抽出 2024/9/30 ACL2024読み会@名大 5 ACL Anthologyから67,408本の論文を収集 時系列で訓練/開発/テストに分割
6. /14 提案手法（SCIMON）の概要 • 背景テキストとその関連情報を基にアイデア生成する手法 • 出力と過去の関連研究を繰り返し比較して反復的に生成 2024/9/30 ACL2024読み会@名大 6
7. /14 過去文献から関連情報を検索 • 入力の関連情報を訓練データセットから3種類の方法で検索 2024/9/30 ACL2024読み会@名大 7 1. Semantic Neighbors • 似た問題に対するアイデアに 紐づくシード用語 2. KG Neighbors • 入力のシード用語と関係を持つ 他のシード用語 3. Citation Neighbors • 引用論文のタイトル “ The retrieval results are: i1, . . . , ik” 実際のプロンプト（関連情報に関する部分）
8. /14 反復的なアイデアの生成 • 十分に新規性が高いアイデアが得られるまで反復的に生成 2024/9/30 ACL2024読み会@名大 8 “Your idea has similarities with existing research as demonstrated by these j sentences: Rˆ Make sure the idea you suggest is significantly different from the existing research mentioned in the above sentences. Let’s give it another try. " 実際のプロンプト（反復に関する部分） 1. 関連研究を検索（k近傍） 2. 埋め込みの類似度を計算 3. 類似度が高い研究と異なる アイデアとなるように指示
9. /14 人手評価 • 評価基準： アイデアの有用性 （Helpfulness/Unhelpfulness） • 背景テキストとの関連性，新規性，明確性， アイデアの合理性を基に評価 • GPT4を利用する手法が高い性能 • KGにより，技術的詳細さと新規性が向上 • 実際の論文との比較 • 85%のケースで，実際の論文のアイデアが より高い技術レベルと新規性を持つ • 残り15%は正解のアブストが曖昧 2024/9/30 ACL2024読み会@名大 9 FS : Few-shot. CT : Citation Neighbors KG : KG Neighbors SN : Semantic Neighbors
10. /14 人手評価｜反復的な生成の影響 • 反復的に生成された出力の比較 • 反復的な生成の過程で追加された新たな単語についても調査 • 反復的な生成により新規性が向上する事例が多い • 向上しない事例においても，少なくとも新規性は維持 2024/9/30 ACL2024読み会@名大 10
11. /14 エラー分析と課題 • 一般的な提案や文脈からの直接的な引用が多い • 単純な概念の組み合わせに偏る傾向 2024/9/30 ACL2024読み会@名大 11
12. /14 エラー分析と課題 • 一般的な提案や文脈からの直接的な引用が多い • 単純な概念の組み合わせに偏る傾向 2024/9/30 ACL2024読み会@名大 12 シード語: 音声単位境界; コンテキスト(抜粋): ... ストリーミング音声入力に対して部分的な文翻訳 を生成する．既存のアプローチは...音声の音響単位間の境界が均一でないため，音声の音響単位が 壊れてしまう. ... 音声単位境界を識別するための休止予測モデル... 音響的特徴と言語的特徴を活用して音声単位境界を動的に予測し，スムーズな遷移を確保する手 法... 既存の研究とは異なり，音響的特性と言語的コンテキストの両方を組み合わせている... 話者 の特性、話し方のスタイル、言語の違いに適応する。 適応的音声単位境界検出（ASUBD）と呼ばれる新しい方法...関連する音響的・言語的特徴に焦点 を当てる注意機構と、過去の決定に基づいて単位境界の最適な予測を行うようにシステムを導く 強化学習の組み合わせ... 効率的な単調分割モジュール ... 音響情報を段階的に蓄積し，適切な音声単位境界を検出する．
13. /14 まとめ • 過去の文献を基に自然言語でアイデアを生成するという 新たなタスクを提案 • 入力を考慮し，文献から着想を得てアイデアを出力するモデル • 出力と関連研究を繰り返し比較して新規性の高いアイデアを目指す • 人手評価ではGPT4ベースのモデルが高い性能 • 提案モデルによる改善は見られたが，人間のアイデアには及ばない 2024/9/30 ACL2024読み会@名大 13
14. /14 所感 • 重要な問題設定だと思うので，今後使われていきそう • 困難な問題設定なので，今後の発展に期待 （Fine-tuningなしで解けるような問題設定には思えない） • 評価が凄く難しそう • 入力の背景テキストと比較して新規性があるかどうかは良いとして， 本当の意味で新規なアイデアなのかどうかを判断するには熟練した アノテータが必要 2024/9/30 ACL2024読み会@名大 14
15. /14 補足資料｜AI Scientist • 研究全体（アイデア創出，実験，論文執筆，査読）の自動化 2024/9/30 ACL2024読み会@名大 15 Lu et al., The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery, arXiv preprint
16. /14 補足資料｜自動評価 • ROUGE-LとBERTScoreで評価 • T5ベースのモデルがGPTベースの モデルより高い性能 • 人手評価と逆の結果になる理由 • GPT4の出力がT5より長いため • “In this paper, we propose a new ... for ...”のようなテンプレートの使用 2024/9/30 ACL2024読み会@名大 16