LLM性能改善の実践知 - Kaggleでの学びを現場に活かす思考法 (書籍紹介資料)

2026年3月4日に開催されたFindyさん主催のイベントで使用した登壇資料となります．

Transcript

1. 2026/3/4 (水) 書籍紹介 たかいと
2. 1 自己紹介 名前: たかいと 略歴: 2021年3月: 博士後期課程 修了 (理工学博士) 2021年4月~: 資産運用会社 入社 (クオンツアナリスト) 2025年6月~: 大阪公立大学 客員研究員 専門分野: 自然言語処理 (NLP) × 金融 (Finance) Kaggleなどのコンペティションに積極的に参加 ディスカッションやノートブックの投稿なども積極的に実施
3. 2 書籍概要 ✔ テキストデータを扱うコンペティションに焦点を当てた初の書籍 ✔ 大規模言語モデルの基本的な使い方から，性能を底上げする応用的 な使い方までを幅広く解説 ✔ 応用編では厳選した 8 つのコンペを題材に性能を底上げするための 技術や考え方を解説
4. 3 【前提知識】 データ分析コンペティションについて ✔ 出題された課題を解くことができる解法 (機械学習モデルや統計手法) を実装し，その精度を競う ✔ たいていのコンペでは，学習用データが与えられ，非公開のテストデータに対して予想を行う解法を実装 ✔ 出題課題は，デフォルトの予測，商品推薦，画像分類，セグメンテーション，エージェント対戦など様々 ✔ テキストデータを対象としたコンペも行われており，様々な課題が出題されている ・ 文の分類 (スパムメール分類) ・ テキスト生成 (文字起こし) ・ 固有表現抽出 (個人情報のマスキング)
5. 4 関連書籍との位置づけ ✔ Kaggle に関する書籍 Kaggle の始め方，基本的な戦い方などがメインでまとめられている 従来の Kaggle 関連書籍はテキストデータを扱う自然言語処理 (NLP) コンペの言及は限定的 近年の大規模言語モデル (LLM) は扱えていない ✔ 言語モデルの理論や詳細な実装に関する書籍 理論とその実装方法が丁寧にまとめられている 「理解する」という点に重きが置かれている ✔ LLM 活用に関する書籍 API 経由で簡単に誰でも活用できるというコンセプトのものが多数 ⇒ 本書は LLM の性能を引き出す技術を重点的に解説！！
6. 5 本書で学べること ✔ NLP の基礎知識 (主に 1 章) ✔ Kaggle の基礎知識 (主に 2 章) ✔ BERT や LLM のチューニング方法 (主に 3 章) ✔ LLM の性能改善方法 (主に 4 章) ✔ LLM の軽量化・高速化の方法 (主に 5 章) ✔ 応用的な実践例 (主に 6 章以降) ⇒ Kaggle や実務で役立つ技術を詰め込んでいます！！
7. 6 書籍の特徴: 厳選された NLP コンペ 6. Jigsaw Unintended Bias in Toxicity Classification: テキストを分類するタスク (分類) 7. CommonLit - Evaluate Student Summaries: テキストのスコアを予測するタスク (回帰) 8. Kaggle - LLM Science Exam: 5 択クイズの正解を答えるタスク (検索・推薦) ※ RAGが重要 9. Bengali.AI Speech Recognition: ベンガル語の音声を文字列に変換するタスク (生成) 10. The Learning Agency Lab - PII Data Detection: 固有表現を抽出するタスク (分類) 11. Eedi - Mining Misconceptions in Mathematics: 誤答の理由を紐づけるタスク (検索・推薦) 12. WSDM Cup - Multilingual Chatbot Arena: 2 つのテキストの優越を予測するタスク (分類) 13. AI Mathematical Olympiad - Progress Prize 2: 数学の問題をモデルで解くタスク (生成)
8. 7 分類・回帰タスク 6. Jigsaw Unintended Bias in Toxicity Classification: テキストを分類するタスク (分類) 7. CommonLit - Evaluate Student Summaries: テキストのスコアを予測するタスク (回帰) 10. The Learning Agency Lab - PII Data Detection: 固有表現を抽出するタスク (分類) 12. WSDM Cup - Multilingual Chatbot Arena: 2 つのテキストの優越を予測するタスク (分類) ✔ 最もオーソドックスである分類・回帰タスクのコンペは意識して多めに厳選 ✔ BERT がはじめて活躍したコンペから，チューニングした LLM が活躍した直近のコンペまでを収録 ✔ NLP 特有の人名などを抽出する粒度の異なるタスクも取り上げることで，幅広く応用が利くように心がけた
9. 8 検索・推薦タスク 8. Kaggle - LLM Science Exam: 5 択クイズの正解を答えるタスク (検索・推薦) ※ RAGが重要 11. Eedi - Mining Misconceptions in Mathematics: 誤答の理由を紐づけるタスク (検索・推薦) ✔ NLP では類似した文章を検索・推薦する技術も非常に重要 (情報の量は年々増加しており，近年はLLMの普及で自動生成されたテキストも大量に存在) ✔ 関連する情報をうまく取得することができれば，LLM の性能をより引き出すことが可能 RAG (Retrieval Augmented Generation) ✔ LLM は推薦においても活用が期待されており， Eedi では LLMによる Reranking についても解説
10. 9 生成タスク 9. Bengali.AI Speech Recognition: ベンガル語の音声を文字列に変換するタスク (生成) 13. AI Mathematical Olympiad - Progress Prize 2: 数学の問題をモデルで解くタスク (生成) ✔ 〇〇-to-Text と呼ばれる，入力をテキストに変換するコンペとして，音声を文字起こしするコンペを選択 Text-to-Text (翻訳タスクなど)，Image-to-Text (画像の説明を生成するタスクなど) への応用を期待 ✔ AIMO では，Kaggle の制約下で数学の問題を LLM になるべく多く解かせることができるように様々な工夫 が行われている (以下に基本的なものを一部抜粋) 例1: LLM を特化モデルにエンハンス 例2: 外部ツール呼び出しで Python などを実行して問題を解く 例3: 解くのが難しい問題を捨てて，確実に得点できそうな問題に時間をかける
11. 10 Kaggle 参加のメリット ✔ 日夜，新しい手法やモデルが公開される中で，実際に良好な精度が出る技術を見つけ出すのは大変 ✔ Kaggle などのコンペの場は，そういった大量の技術の中で，良好なものは何なのか？それらはどういった条 件において良好なのか？などを知る絶好の場 (Kaggle のノートブックで実行可能な制限下という限定的な解法である点には良くも悪くも注意が必要) ✔ 例えば，新しくモデルがいくつか公開されたとき，一人で試せる実験設定やハイパーパラメータには限界がある ことや，そもそも実装にミスが生じている可能性もあるが，そういった試行錯誤がたくさんの参加者によって行われ ているのがコンペの場 ✔ モデルのチューニングのハイパーパラメータ，データ特性に合わせた前処理やモデル構造の工夫，評価指標を 改善するための後処理など，多くのことを学ぶことができる
12. 11 書籍に期待していること ✔ 常に進化していく技術 (特に LLM 周りの進歩は著しい) を身に着ける場として Kaggle は良い学びの場 ✔ この学びの場に入っていくための足掛かりに本書が少しでも貢献できたら幸いです！ ✔ 「Kaggleではじめる大規模言語モデル入門」というタイトルの通り，大規模言語モデルの性能を引き出す方 法を習得し， Kaggle で好成績を残すだけではなく，実務応用に役立ててもらえたら嬉しいです！ ✔ そのための Tips をなるべくたくさん詰め込みました！ ✔ 日本の Kaggle コミュニティは振り返り会や勉強会なども積極的に行っているので，書籍を通して学びの循 環に一人でも多くの方が参加してもらえたら，大変嬉しく思います！！
13. 12 Enjoy your Kaggle journey!!!