Kaggleの経験が実務にどう活きているか / kaggle_findy

■ イベント
LLM性能改善の実践知 - Kaggleでの学びを現場に活かす思考法
https://findy.connpass.com/event/383571/

■ 発表者
技術本部 研究開発部 Data Analysisグループ
齋藤 慎一朗

■ 研究開発部 採用情報
https://media.sansan-engineering.com/randd

■ Sansan Tech Blog
https://buildersbox.corp-sansan.com/

Transcript

1. Sansan株式会社 技術本部 研究開発部 齋藤 慎⼀朗 Kaggleの経験が実務にどう活きているか LLM性能改善の実践知 - Kaggleでの学びを現場に活かす思考法
2. 齋藤 慎⼀朗 Sansan株式会社技術本部 研究開発部 シニアリサーチャー - 契約書、⼈事異動情報、ニュースからの情報抽出 - 趣味 - Kaggle（2x Master) - ランニング（サブ5.5） - 書籍 - Kaggleではじめる⼤規模⾔語モデル⼊⾨ - Polarsとpandasで学ぶ データ処理アイデアレシピ55 - 最近 - LLMの検証・運⽤に取り組めて仕事が楽しい！ @sinchir0 X(旧Twitter)
3. - Sansanのビジネスの紹介 - 研究開発部の⽴ち位置 - ⼤規模(視覚)⾔語モデルの活⽤ - Kaggleを通して得たもの(LLMの社内活⽤の観点に限定) - Kaggleの経験が実務にどう活きているか - 1. LLMを実務で⽤いて成果を出せる確信が得られた。 - 2. LLMのプロダクト活⽤を⾼速にする社内レポジトリに、 最新⼿法を導⼊できている。 アジェンダ
4. Sansanのビジネスの紹介 ⽣産性を向上させ、企業のAI活⽤を最⼤化するデータベースとしても貢献できる 「働き⽅を変えるAXサービス」を提供します。 データクオリティマネジメント 請求 名刺 管理 営業 契約 名刺管理から、収益を最⼤化する AI契約データベースが、利益を守る 「なくせる」をつくり、全社の働き⽅を変える 名刺アプリ 経理DXサービス 取引管理サービス ビジネスデータベース 各サービスの活⽤で変わる働き⽅ 情報を分析・活⽤しやすく データに基づいた判断ができる 情報の管理がしやすく すぐに共有できる 必要な情報を すぐに⾒つけられる 個⼈向け 法⼈向け
5. 研究開発部の⽴ち位置 プロダクト組織と連携して、名刺や帳票などの⾼精度なデータ化を⾏う。 https://speakerdeck.com/sansan33/sansan-r-and-d-profile
6. vLLM ⼤規模(視覚)⾔語モデルの活⽤ ⾼精度なデータ化のための⼿法の⼀つとして、⼤規模(視覚)⾔語モデルを活⽤ している。 モデル - tokyotech-llm/Swallow-7b- instruct-v0.1 - google/gemma-2-2b - Qwen/Qwen2.5-VL-7B-Instruct - Qwen/Qwen3-VL-2B-Instruct ⼊⼒ ファインチューニング 運⽤ 請求書 契約書 メール ⼈事異動ニ ュース
7. Kaggleを通して得たもの(LLMの社内活⽤の観点に限定) - LLMをファインチューニングした際の精度の肌感 - LLMを⾼速かつ低コストに学習・推論する最新⼿法
8. 1. LLMを活⽤することで、実務において成果を出せる確信を早期に得た。 2. LLMの検証を⾼速かつ低コストに実現する社内レポジトリに、最新⼿法を 導⼊できている。 Kaggleの経験が実務にどう活きているか
9. 1. LLMを活⽤することで、実務において成果を出せる確信を早期に得た。 2. LLMの検証を⾼速かつ低コストに実現する社内レポジトリに、最新⼿法を 導⼊できている。 Kaggleの経験が実務にどう活きているか
10. うちの会社のタスクに対して、 従来のモデルよりLLMの⽅が精度が上がるの？ LLMの推論におけるスループットは、 プロダクトの要件を満たすことができるの？ LLMが流⾏り始めたころは、LLMが本当にプロダクト改善に役⽴つか どうか分からなかった LLMの学習・運⽤ってどれぐらいお⾦がかかるの？
11. - ⼀⽅、Kaggleを通してLLMのファインチューニング・推論を100回以上 経験した。 - その結果、LLMは当時(2024年7⽉頃)の主流のモデルよりも⾼い精度であり、 かつ現実的なコストにて学習・運⽤できることに早い段階で気づけた。 LLMの精度は⾼く、かつ現実的なコストでファインチューニング・運⽤ することが可能なことに早期に気づいた 2024年7⽉に参加したコンペ(LMSYS)における実験管理シートの⼀部
12. - その気づきから、ファインチューニングしたLLMを活⽤する提案、導⼊を 早期に社内でリードし始めた。 - リードの結果として、LLMを⽤いたエンジンを複数リリースできた。 - 社内でも評価され、2025年の統合報告書に載せてもらった。 ファインチューニングしたLLMの活⽤の提案、導⼊を早期に社内で リードし、成果を出した
13. 1. LLMを活⽤することで、実務において成果を出せる確信を早期に得た。 2. LLMの検証を⾼速かつ低コストに実現する社内レポジトリに、 最新⼿法を導⼊できている。 Kaggleの経験が実務にどう活きているか
14. ファインチューニングしたLLMの検証を⾼速化する社内レポジトリを 開発している - ファインチューニングしたLLMの導⼊をより推進するためには、 プロダクトにリリースするまでの時間を⾼速かつ低コストに実施することが重要である。 - リリースするまでの⼯程として、提案 → 検証 → 開発 → リリースの4つが存在する。 - このうち、検証の時間を⾼速かつ低コストに実施するために、 LLMのファインチューニング・推論を⾏う社内レポジトリrandd_llm_trainerを、 有志メンバーで開発している。
15. 1. ⾼速かつ低コストに学習・推論可能な仕組みを導⼊している。 LoRAファインチューニング、量⼦化、並列分散学習、vLLMなど。 2. 社内でよく使う学習データの収集、ファインチューニング・推論を、 CLIコマンドを数回叩くだけで実施可能である。 3. SageMakerTrainingJobs上での学習に対応している。次のメリットがある。 a. SpotTrainingを活⽤することで、学習コストを最⼤約70%削減できる。 b. 複数の実験を並列に実⾏することができる。 社内レポジトリrandd_llm_trainerが⾼速かつ低コストな理由
16. CLIコマンドの例 社内でよく使う学習データの収集、ファインチューニング・ 推論を、 CLIコマンドを数回叩くだけで実施可能である 学習データの作成 ファインチューニング
17. SageMakerTrainingJobs上での学習に対応している SageMakerTrainingJobsの例
18. Kaggleの経験はどこに役⽴っている？ - LLMの検証を⾼速かつ低コストで実現する最新⼿法を、 Kaggleを通して知ることができた。 - peft、trl、accelerate、vLLM - レポジトリに導⼊する際、Kaggleで利⽤した経験があったため、 ⾼速に導⼊できた。 - 今後も、最新⼿法をKaggleなどで試し、有効そうであれば 社内レポジトリに導⼊する流れを継続していく予定である。
19. Sansan 技術本部 募集ポジション紹介 https://media.sansan-engineering.com/