アドホック検索における モデルマージによる破滅的忘却の抑制

Transcript

1. 第18回 データ⼯学と情報マネジメントに関するフォーラム（DEIM2026） [1F-02] アドホック検索における モデルマージによる破滅的忘却の抑制 ⾕⼝壮平, 佐々⽊泰河, ⼭本岳洋, ⼤島裕明（兵庫県⽴⼤学） 藤⽥澄男（LINEヤフー株式会社）
2. アドホック検索 2 クエリに合った⽂書を関連度順にランキング ランキング 検索システム クエリ ⽣成AIの活⽤⽅法 データベース ⽂書集合 1. 【業種別】⽣成AIの活⽤... 2. ⽣成AIで業務効率化す... 3. ⽣成AIの活⽤事例20選... 4. ⽣成AI（ジェネレーテ... 5. 【2025年最新】⽣成AIの...
3. アドホック検索におけるLLM 3 クエリと⽂書の意味を表すベクトルを⽣成 クエリ𝒒 クエリ𝒒の意味ベクトル ⽣成AIの活⽤⽅法 ⽂書𝒅𝒊 【業種別】⽣成AIの活⽤... クエリ𝒒と⽂書𝐝𝒊 の類似度 LLM ⽂書𝒅𝒊 の意味ベクトル 𝐬𝐢𝐦(𝒒, 𝒅𝒊 ) 関連度として ランキングに使⽤
4. アドホック検索におけるLLM 4 ファインチューニングによって特定のドメインに適応 クエリ𝒒 クエリ𝒒の意味ベクトル ⽣成AIの活⽤⽅法 クエリ𝒒と⽂書𝐝𝒊 の類似度 LLM ⽂書𝒅𝒊 ⽂書𝒅𝒊 の意味ベクトル 𝐬𝐢𝐦(𝒒, 𝒅𝒊 ) 関連度として ランキングに使⽤ 【業種別】⽣成AIの活⽤... AIの分野に適応させたい... AIに関するデータセットで ファインチューニング AIについての 検索が得意です
5. 破滅的忘却[1] 5 モデルが学習する際に，元々持っていた知識を忘れる現象 クエリ 破 滅 的 忘 却 ！ AI分野に適応した検索モデル りんごの保存⽅法 1. Apple製端末のバックア... 不適切 2. りんごは野菜室に⼊れな... 適切 3. Apple IDの共有設定を... 不適切 ⼀般的なクエリに対して 性能DOWN↴ 1. M. McCloskey, et al., 1989, ” Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem”, Psychology of Learning and Motivation
6. モデルマージ[2] 6 複数のモデルのパラメータを統合して新たなモデルを構築する技術 パラメータ: 𝜽𝟏 あ→A あ→ 아 ⽇英翻訳モデル ⽇韓翻訳モデル ２⾔語の翻訳が得意なモデル パラメータ: 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = 𝜽𝟏 *𝜽𝟐 = 𝟎. 𝟓𝜽𝟏 + 𝟎. 𝟓𝜽𝟐 𝟐 2. Y. Le, et al., 2024, “Language models are Super Mario: Absorbing abilities from homologous models as a free lunch”, ICML2024. パラメータ: 𝜽𝟐
7. ⾜して2で割るマージ⼿法 7 それぞれのモデルの内部ベクトルの対応するパラメータの平均をとる モデル1 モデル2 パラメータ: 𝜽𝟏 パラメータ: 𝜽𝟐 同⼀アーキテクチャを前提 11 5 マージモデル 8 2 パラメータ: 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = 𝜽𝟏 '𝜽𝟐 = 𝟎. 𝟓𝜽𝟏 + 𝟎. 𝟓𝜽𝟐 𝟐
8. 関連研究[3] 8 翻訳タスクにおいて破滅的忘却をモデルマージで抑制 A あ A あ ファインチューニング ⼀般的なモデル 翻訳モデル 破 滅 的 忘 却 ！ ⼀般タスクに 対応できない... ⼀般タスクにも 翻訳タスクにも対応 マージモデル 3. 岩川光⼀, et al., 2025, “モデルマージを⽤いた LLM 翻訳における破滅的忘却の抑制”, ⾔語処理学会 第 31 回年次⼤会 発表論⽂集
9. ⽬的 9 アドホック検索においてモデルマージによる 破滅的忘却の抑制が有効かどうか検証する ファインチューニング AI関連のデータセット 汎⽤的な検索モデル AI関連に特化した 検索モデル 破 滅 的 忘 却 ！
10. ⽬的 10 アドホック検索においてモデルマージによる 破滅的忘却の抑制が有効かどうか検証する ファインチューニング AI関連のデータセット 汎⽤的な検索モデル AI関連に特化した 検索モデル 破 滅 的 忘 却 ！ モデルマージ 破滅的忘却を 抑制できる？ マージモデル
11. 実験設計 11 ベースモデルはe5-base-v2[4]を使⽤ e5-base-v2 • 12層のTransformerブロックで構成されている • BERTベースのエンコーダモデル • 様々なドメインのデータセット（MS MARCO など）を⽤いて学習 • ⾼い汎⽤検索能⼒ 4. https://huggingface.co/intfloat/e5-base-v2
12. データセット 12 データセットはBEIR[5]から6つを使⽤ ※BEIR: 情報検索のベンチマーク ファインチューニングと評価に使⽤ FEVER 事実検証 FiQA ⾦融 HotpotQA 多段階推論 NFCorpus 医療 SciFact 科学 評価にのみ使⽤ MS MARCO Web検索 ベースモデルの検索能⼒維持を 評価するために使⽤ 5. N. Thakur, et al., 2021, “BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models”, NeurIPS2021
13. データセット データセット 13 クエリ例 FEVER タスク Wikipediaの記事から，⾃然⽂の主張に対する 根拠となる⽂書を検索し，真偽を検証する ． クエリ数 訓練: 109,810件 検証: 6,666件 テスト: 6,666件 ⽂書数 5,416,568件 History of art includes architecture, dance, sculpture, music, painting, poetry literature, theatre, narrative, film, photography and graphic arts. 訳）美術史には、建築、舞踊、彫刻、⾳楽、 絵画、詩⽂学、演劇、物語、映画、写真、グ ラフィックアーツが含まれます。
14. データセット データセット 14 クエリ例 FiQA タスク ⾦融・経済分野の質問に対し，専⾨⽤語や知識 を理解して適切な回答を検索する． クエリ数 訓練: 5,500件 検証: 500件 テスト: 648件 ⽂書数 57,638件 How to find a business consultant that would ensure that all your business activities are legal and compliant with all regulations? 訳）貴社の事業活動がすべて合法であり、す べての規制を遵守していることを保証するビ ジネスコンサルタントは、どのように⾒つけ ればよいでしょうか？
15. データセット データセット 15 クエリ例 HotpotQA タスク 複数のWikipedia記事から情報を統合し，多段 階の推論を必要とする複雑な質問に回答する． クエリ数 訓練: 85,000件 検証: 5,447件 テスト: 7,405件 ⽂書数 5,233,329件 Chris Larceny directed the music video Gon Jock, featuring a Haitian rapper who first achieved fame as a member of what New Jersey hip hop group? 訳）クリス・ラーセニーが監督したミュー ジックビデオ「ゴン・ジョック」にフィー チャーされているハイチ⼈ラッパーは、 ニュージャージー州のどのヒップホップグ ループのメンバーとして最初に有名になりま したか？
16. データセット データセット 16 クエリ例 NFCorpus タスク 栄養学および健康科学分野において，専⾨的な ⽂書からクエリに関連する情報を検索する． クエリ数 訓練: 2,590件 検証: 324件 テスト: 323件 ⽂書数 3,633件 Colon Cancer Prevention: Is it the Fiber or the Phytates? 訳）⼤腸がん予防：⾷物繊維とフィチン酸、 どちらが効果的か？
17. データセット データセット 17 クエリ例 SciFact タスク 科学論⽂の要旨に基づき，特定の主張の根拠と なる根拠⽂書を検索する． クエリ数 訓練: 648件 検証: 161件 テスト: 300件 ⽂書数 5,183件 7-day-old adult Caenorhabditis elegans exhibit approximately 5% of the learning capacity seen in 1-day old adults. 訳）⽣後7⽇の成体カエノハブディティス・ エレガンスは、⽣後1⽇の成体に⽐べて学習 能⼒が約5%に低下する。
18. データセット データセット 18 クエリ例 MS MARCO タスク Web検索のユーザクエリに対し，その回答や関 連情報が含まれるWeb上の⽂書を検索する． クエリ数 テスト: 6,980件 ⽂書数 8,841,823件 how much does an average person make for tutoring 訳）家庭教師の平均的な収⼊はどのくらいで すか
19. 実験設計 19 ファインチューニング ファインチューニング⽤のデータセット Tevatron[5]を使⽤して20epoch学習 → 検証データでのnDCG@10スコアが最も⾼いチェックポイントを使⽤ ※Tevatron: 密検索モデルの標準的な訓練フレームワーク 5. https://github.com/texttron/tevatron
20. 実験設計 20 ファインチューニングと評価に使⽤ e5-base-v2 ①ベースモデル パラメータ: 𝜽𝐛𝐚𝐬𝐞 FEVER 事実検証 FiQA ⾦融 HotpotQA 多段階推論 NFCorpus 医療 SciFact 科学 評価にのみ使⽤ MS MARCO Web検索
21. 実験設計 21 ファインチューニング e5-base-v2 ファインチューニングと評価に使⽤ 特定ドメインのデータセット ①ベースモデル ②ドメイン特化モデル パラメータ: 𝜽𝐛𝐚𝐬𝐞 パラメータ: 𝜽𝐝𝐨𝐦𝐚𝐢𝐧 FEVER 事実検証 FiQA ⾦融 HotpotQA 多段階推論 NFCorpus 医療 SciFact 科学 評価にのみ使⽤ MS MARCO Web検索
22. 実験設計 22 ファインチューニング e5-base-v2 ファインチューニングと評価に使⽤ 特定ドメインのデータセット ①ベースモデル ②ドメイン特化モデル パラメータ: 𝜽𝐛𝐚𝐬𝐞 パラメータ: 𝜽𝐝𝐨𝐦𝐚𝐢𝐧 ⾜して2で割る モデルマージ FEVER 事実検証 FiQA ⾦融 HotpotQA 多段階推論 NFCorpus 医療 SciFact 科学 評価にのみ使⽤ ③マージモデル パラメータ: 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = 𝟎. 𝟓𝜽𝐛𝐚𝐬𝐞 + 𝟎. 𝟓𝜽𝐝𝐨𝐦𝐚𝐢𝐧 MS MARCO Web検索
23. リサーチクエスチョンと主要な知⾒ 23 01 02 03 RQ: アドホック検索において モデルマージによる破滅的忘却 の抑制は有効か RQ: 破滅的忘却の抑制に最適な マージの割合は存在するか RQ: ファインチューニングの エポック選択でモデルマージと 同等の効果が得られるか． 実験で得られた知⾒ モデルマージは破滅的忘却の 抑制に有効な⼿段となり得る 実験で得られた知⾒ 最適なマージ割合はドメイン によって異なり，ドメインの 特性に依存する可能性がある 実験で得られた知⾒ エポック選択だけでは モデルマージほどの抑制効果 は得られない
24. 実験① 24 01 02 03 RQ: アドホック検索において モデルマージによる破滅的忘却 の抑制は有効か RQ: 破滅的忘却の抑制に最適な マージの割合は存在するか RQ: ファインチューニングの エポック選択でモデルマージと 同等の効果が得られるか． 実験で得られた知⾒ モデルマージは破滅的忘却の 抑制に有効な⼿段となり得る 実験で得られた知⾒ 最適なマージ割合はドメイン によって異なり，ドメインの 特性に依存する可能性がある 実験で得られた知⾒ エポック選択だけでは モデルマージほどの抑制効果 は得られない
25. 実験結果① nDCG@10による評価 学 習 ド メ イ ン FiQA (⾦融) HotpotQA (多段階推論) NFCorpus (医療) SciFact (科学) 評価ドメイン MS MARCO FEVER FiQA HotpotQA NFCorpus SciFact 0.703 0.850 0.399 0.692 0.354 0.720 ドメイン特化 0.652↓ 0.887↑ 0.359↓ 0.622↓ 0.328↓ 0.656↓ マージ 0.702 0.889↑ 0.403 0.683↓ 0.349 0.719 ドメイン特化 0.668 0.798↓ 0.414↑ 0.679↓ 0.364 0.704 マージ 0.705 0.851 0.427↑ 0.690↓ 0.359 0.719 ドメイン特化 0.613↓ 0.755↓ 0.320↓ 0.692 0.320↓ 0.651↓ マージ 0.682 0.843↓ 0.380↓ 0.729↑ 0.354 0.719 ドメイン特化 0.612↓ 0.582↓ 0.271↓ 0.606↓ 0.385↑ 0.667↓ マージ 0.694 0.812↓ 0.385↓ 0.677↓ 0.386↑ 0.735 ドメイン特化 0.686 0.804↓ 0.393 0.683↓ 0.360 0.788↑ マージ 0.705 0.839↓ 0.404 0.691 0.364 0.773↑ ベース（e5-base-v2） FEVER (事実検証) 25
26. 実験結果① nDCG@10による評価 学 習 ド メ イ ン FiQA (⾦融) HotpotQA (多段階推論) NFCorpus (医療) SciFact (科学) 評価ドメイン MS MARCO FEVER FiQA HotpotQA NFCorpus SciFact 0.703 0.850 0.399 0.692 0.354 0.720 ドメイン特化 0.652↓ 0.887↑ 0.359↓ 0.622↓ 0.328↓ 0.656↓ マージ 0.702 0.889↑ 0.403 0.683↓ 0.349 0.719 ドメイン特化 0.668 0.798↓ 0.414↑ 0.679↓ 0.364 0.704 ベース（e5-base-v2） FEVER (事実検証) 26 マージ 0.427↑ 0.690↓ 0.705 0.851 0.359 ファインチューニングしたFEVERではベースモデルに⽐べて性能が ドメイン特化 0.613↓ 0.755↓ 0.320↓ 0.320↓ 0.692 有意に向上した⼀⽅，それ以外のドメインでは性能が有意に低下した． 0.719 0.651↓ マージ 0.682 0.843↓ 0.380↓ 0.729↑ 0.354 0.719 ドメイン特化 0.612↓ 0.582↓ 0.271↓ 0.606↓ 0.385↑ 0.667↓ マージ 0.694 0.812↓ 0.385↓ 0.677↓ 0.386↑ 0.735 ドメイン特化 0.686 0.804↓ 0.393 0.683↓ 0.360 0.788↑ マージ 0.705 0.839↓ 0.404 0.691 0.364 0.773↑
27. 実験結果① nDCG@10による評価 学 習 ド メ イ ン FiQA (⾦融) HotpotQA (多段階推論) NFCorpus (医療) SciFact (科学) 評価ドメイン MS MARCO FEVER FiQA HotpotQA NFCorpus SciFact 0.703 0.850 0.399 0.692 0.354 0.720 ドメイン特化 0.652↓ 0.887↑ 0.359↓ 0.622↓ 0.328↓ 0.656↓ マージ 0.702 0.889↑ 0.403 0.683↓ 0.349 0.719 ドメイン特化 0.668 0.798↓ 0.414↑ 0.679↓ 0.364 0.704 ベース（e5-base-v2） FEVER (事実検証) 27 ドメイン特化モデルで低下したほとんどのドメインでの性能が マージ 0.427↑ 0.690↓ 0.705 0.851 0.359 ベースモデル並に回復した． ドメイン特化 0.613↓ 0.755↓ 0.320↓ 0.320↓ 0.692 0.719 0.651↓ マージ 0.682 0.843↓ 0.380↓ 0.729↑ 0.354 0.719 ドメイン特化 0.612↓ 0.582↓ 0.271↓ 0.606↓ 0.385↑ 0.667↓ マージ 0.694 0.812↓ 0.385↓ 0.677↓ 0.386↑ 0.735 ドメイン特化 0.686 0.804↓ 0.393 0.683↓ 0.360 0.788↑ マージ 0.705 0.839↓ 0.404 0.691 0.364 0.773↑
28. 実験結果① nDCG@10による評価 学 習 ド メ イ ン FiQA (⾦融) HotpotQA (多段階推論) NFCorpus (医療) SciFact (科学) 評価ドメイン MS MARCO FEVER FiQA HotpotQA NFCorpus SciFact 0.703 0.850 0.399 0.692 0.354 0.720 ドメイン特化 0.652↓ 0.887↑ 0.359↓ 0.622↓ 0.328↓ 0.656↓ マージ 0.702 0.889↑ 0.403 0.683↓ 0.349 0.719 ドメイン特化 0.668 0.798↓ 0.414↑ 0.679↓ 0.364 0.704 マージ 0.705 ドメイン特化 0.613↓ 0.427↑ 0.690↓ 0.359 0.719 HotpotQAでは統計的には性能が低下したままだが， 0.755↓ 0.320↓ 0.320↓ 0.651↓ 0.692 値を⾒るとベースモデル並に回復している． マージ 0.682 0.843↓ 0.380↓ 0.729↑ 0.354 0.719 ドメイン特化 0.612↓ 0.582↓ 0.271↓ 0.606↓ 0.385↑ 0.667↓ マージ 0.694 0.812↓ 0.385↓ 0.677↓ 0.386↑ 0.735 ドメイン特化 0.686 0.804↓ 0.393 0.683↓ 0.360 0.788↑ マージ 0.705 0.839↓ 0.404 0.691 0.364 0.773↑ ベース（e5-base-v2） FEVER (事実検証) 28 0.851
29. 実験結果① nDCG@10による評価 学 習 ド メ イ ン FiQA (⾦融) HotpotQA (多段階推論) NFCorpus (医療) SciFact (科学) 評価ドメイン MS MARCO FEVER FiQA HotpotQA NFCorpus SciFact 0.703 0.850 0.399 0.692 0.354 0.720 ドメイン特化 0.652↓ 0.887↑ 0.359↓ 0.622↓ 0.328↓ 0.656↓ マージ 0.702 0.889↑ 0.403 0.683↓ 0.349 0.719 ドメイン特化 0.668 0.798↓ 0.414↑ 0.679↓ 0.364 0.704 マージ 0.705 0.851 0.427↑ 0.690↓ 0.359 0.719 ドメイン特化 0.613↓ 0.755↓ 0.320↓ 0.692 0.320↓ 0.651↓ マージ 0.682 0.843↓ 0.380↓ 0.729↑ 0.354 0.719 ドメイン特化 0.612↓ 0.582↓ 0.271↓ 0.606↓ 0.385↑ 0.667↓ マージ 0.694 0.812↓ 0.385↓ 0.677↓ 0.386↑ 0.735 ドメイン特化 0.686 0.804↓ 0.393 0.683↓ 0.360 0.788↑ マージ 0.705 0.839↓ 0.404 0.691 0.364 0.773↑ ベース（e5-base-v2） FEVER (事実検証) 29
30. 実験結果① 評価ドメイン nDCG@10による評価 MS MARCO FEVER FiQA HotpotQA NFCorpus SciFact 0.703 0.850 0.399 0.692 0.354 0.720 ドメイン特化 0.652↓ 0.887↑ 0.359↓ 0.622↓ 0.328↓ 0.656↓ マージ 0.702 0.889↑ 0.403 0.683↓ 0.349 0.719 0.364 0.704 0.359 0.719 ベース（e5-base-v2） FEVER (事実検証) 学 習 ド メ イ ン FiQA (⾦融) HotpotQA (多段階推論) NFCorpus (医療) SciFact (科学) 30 ドメイン特化 0.798↓ 0.414↑ 0.679↓ 0.668 アドホック検索における破滅的忘却の抑制に マージ モデルマージが有効な⼿段となり得る 0.427↑ 0.690↓ 0.705 0.851 ドメイン特化 0.613↓ 0.755↓ 0.320↓ 0.692 0.320↓ 0.651↓ マージ 0.682 0.843↓ 0.380↓ 0.729↑ 0.354 0.719 ドメイン特化 0.612↓ 0.582↓ 0.271↓ 0.606↓ 0.385↑ 0.667↓ マージ 0.694 0.812↓ 0.385↓ 0.677↓ 0.386↑ 0.735 ドメイン特化 0.686 0.804↓ 0.393 0.683↓ 0.360 0.788↑ マージ 0.705 0.839↓ 0.404 0.691 0.364 0.773↑
31. 実験② 31 01 02 03 RQ: アドホック検索において モデルマージによる破滅的忘却 の抑制は有効か RQ: 破滅的忘却の抑制に最適な マージの割合は存在するか RQ: ファインチューニングの エポック選択でモデルマージと 同等の効果が得られるか． 実験で得られた知⾒ モデルマージは破滅的忘却の 抑制に有効な⼿段となり得る 実験で得られた知⾒ 最適なマージ割合はドメイン によって異なり，ドメインの 特性に依存する可能性がある 実験で得られた知⾒ エポック選択だけでは モデルマージほどの抑制効果 は得られない
32. 実験設計② 32 最適なマージ割合を探索したい → マージ係数を変化させて⽐較検証 e5-base-v2 ①ベースモデル ②ドメイン特化モデル パラメータ: 𝜽𝐛𝐚𝐬𝐞 パラメータ: 𝜽𝐝𝐨𝐦𝐚𝐢𝐧 マージ係数𝜶を⽤いて⼀般化 パラメータ: 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = 𝟎. 𝟓𝜽𝐛𝐚𝐬𝐞 + 𝟎. 𝟓𝜽𝐝𝐨𝐦𝐞𝐢𝐧 ③マージモデル ↓ 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = (𝟏 − 𝜶)𝜽𝐛𝐚𝐬𝐞 + 𝜶𝜽𝐝𝐨𝐦𝐚𝐢𝐧
33. 新たな評価指標の導⼊ 33 他ドメインをどれだけ忘れずに，特定ドメインにどれだけ適応できたかを １つの指標で評価したい 1. 破滅的忘却を評価する どれか１つのドメインでも急激に低下するとスコアが⼤きく低下してほしい． → 極端に低い値があるとスコアが⼤きく低下する調和平均をベースとする． 2. ドメイン適応を評価する 本来の⽬的である学習対象ドメインでの性能向上を破滅的忘却の抑制と同等に評価したい． → 学習対象外ドメイン群のスコアをあらかじめ１つにまとめる設計にする． 𝑯 𝒅𝟏 , … , 𝒅𝒕𝒈𝒕 , … , 𝒅𝒏 𝑯 𝑯 𝒅𝟏 , … , 𝒅𝒏 , 𝒅𝒕𝒈𝒕 → 学習対象外ドメイン群で調和平均をとる
34. 新たな評価指標の導⼊ 34 階層的調和平均（Hierarchical Harmonic Mean; HHM） 𝐇𝐇𝐌𝐃 = 学習対象外ドメイン群 のスコアの調和平均 𝟐 𝟏 𝟏 𝑯𝑫∖𝒅𝒕𝒈𝒕 + 𝑺𝒅𝒕𝒈𝒕 𝐷: 評価対象のドメイン群 𝐻: 調和平均 𝑆: nDCG@10スコア 𝑑343 : 学習対象ドメイン 学習対象ドメインの スコア 以降，この指標による評価値を総合スコアと呼ぶ
35. 実験結果② 35 パラメータ: 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = (𝟏 − 𝜶)𝜽𝐛𝐚𝐬𝐞 + 𝜶𝜽𝐝𝐨𝐦𝐚𝐢𝐧 ベースモデルに近い ドメイン特化モデルに近い FEVER ベースモデル 総 合 ス コ ア 𝜶 = 𝟎. 𝟑 ドメイン特化モデル 𝜶
36. 実験結果② 36 ドメインによって最適なマージ割合が異なる 𝜶 = 𝟎. 𝟑 𝜶 = 𝟎. 𝟒 𝜶 = 𝟎. 𝟒 𝜶 = 𝟎. 𝟑 𝜶 = 𝟎. 𝟕
37. 実験結果② 37 ⼀般知識型 専⾨知識型 Wikipediaの記事などの ⼀般的な⽂書を基盤としている 特定の専⾨領域の⽂書から構成されている FEVER 事実検証 FiQA ⾦融 HotpotQA 多段階推論 NFCorpus 医療 SciFact 科学
38. 実験結果② 38 ⼀般知識型 専⾨知識型 ベースモデルとの親和性が⾼いため，半分より 専⾨知識の獲得が重要であるため，半分より 特化モデル側に寄せすぎると，性能が低下して 特化モデル側に寄せても性能が維持されやすい． しまう．
39. 実験結果② 39 ⼀般知識型 専⾨知識型 ベースモデルとの親和性が⾼いため，半分より 専⾨知識の獲得が重要であるため，半分より 特化モデル側に寄せすぎると，性能が低下して 特化モデル側に寄せても性能が維持されやすい． しまう． モデルマージをする前にドメイン特性から より良いマージ割合を推定することができるのではないか
40. 実験③ 40 01 02 03 RQ: アドホック検索において モデルマージによる破滅的忘却 の抑制は有効か RQ: 破滅的忘却の抑制に最適な マージの割合は存在するか RQ: ファインチューニングの エポック選択でモデルマージと 同等の効果が得られるか． 実験で得られた知⾒ モデルマージは破滅的忘却の 抑制に有効な⼿段となり得る 実験で得られた知⾒ 最適なマージ割合はドメイン によって異なり，ドメインの 特性に依存する可能性がある 実験で得られた知⾒ エポック選択だけでは モデルマージほどの抑制効果 は得られない
41. 実験設計③ 41 ファインチューニング ベースモデル パラメータの変化 𝜟𝜽 𝜽𝐛𝐚𝐬𝐞 ドメイン特化モデル 𝜽𝐝𝐨𝐦𝐚𝐢𝐧 = 𝜽𝐛𝐚𝐬𝐞 + 𝚫𝜽 ⾜して2で割る モデルマージ マージモデル 𝜽𝐦𝐞𝐫𝐠𝐞𝐝 = 𝟎. 𝟓𝜽𝐛𝐚𝐬𝐞 + 𝟎. 𝟓𝜽𝐝𝐨𝐦𝐞𝐢𝐧 = 𝜽𝐛𝐚𝐬𝐞 + 𝟎. 𝟓𝚫𝜽
42. 実験設計③ 42 ファインチューニング +𝜟𝜽 ドメイン特化モデル ベースモデル −𝟎. 𝟓𝜟𝜽 𝜽𝐛𝐚𝐬𝐞 𝜽𝐛𝐚𝐬𝐞 + 𝚫𝜽 マージモデル 𝜽𝐛𝐚𝐬𝐞 + 𝟎. 𝟓𝚫𝜽 「ドメイン特化モデルから半分だけベースモデルに戻す」と解釈できる ファインチューニングの過程で モデルマージに似たモデルが構築されている？
43. 実験結果③ 43 ファインチューニングのエポック選択でも モデルマージ並に破滅的忘却を抑制できる？ FEVER ベースモデル ドメイン特化モデル 総 合 ス コ ア 学習エポック
44. 実験結果③ 44 ファインチューニングのエポック選択でも モデルマージ並に破滅的忘却を抑制できる？ FEVER 総 合 ス コ ア 学習エポック
45. 実験結果③ ファインチューニングのエポック選択でも モデルマージ並に破滅的忘却を抑制できる？ 45
46. 実験結果③ ファインチューニングのエポック選択でも モデルマージ並に破滅的忘却を抑制できる？ ファインチューニングのエポック選択だけでは モデルマージと同等の破滅的忘却の抑制効果は得られない 46
47. 今後の展望 47 今後の展望 • 他のマージ⼿法（TIES，DAREなど）による破滅的忘却の抑制効果の検証 • ベースモデルの性能が与える影響の検証 • • ベースモデルの性能が⾮常に良い場合や⾮常に悪い場合の破滅的忘却とその 抑制効果 ドメインごとの最適なマージ割合を事前に予測する⼿法の確⽴
48. まとめ 48 ⽬的 • ⼿法 • アドホック検索における破滅的忘却を 抑制する ベースモデルとドメイン特化モデルを モデルマージする 結果 • 破滅的忘却の抑制に対してモデルマージは有効な⼿段となり得る． • モデルマージの際の最適なマージ割合は，学習したドメインの性質によって異なる． • ファインチューニングの際のエポック選択の最適化では，モデルマージほどの破滅的忘却 の抑制効果は得られない．