Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AMA (Ask me anything) 『Kaggleに挑む深層学習プログラミングの極意』...
Search
Shotaro Ishihara
March 22, 2023
Technology
0
450
AMA (Ask me anything) 『Kaggleに挑む深層学習プログラミングの極意』 / Ask me anything
3 月 22 日「W&B 東京ミートアップ #2」での発表資料です
https://wandb.connpass.com/event/275849/
Shotaro Ishihara
March 22, 2023
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
JOAI2025講評 / joai2025-review
upura
0
160
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
110
JSAI2025 企画セッション「人工知能とコンペティション」/ jsai2025-competition
upura
0
38
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
190
Semantic Shift Stability: 学習コーパス内の単語の意味変化を用いた事前学習済みモデルの時系列性能劣化の監査
upura
0
28
日本語ニュース記事要約支援に向けたドメイン特化事前学習済みモデルの構築と活用 / t5-news-summarization
upura
0
38
Web からのデータ収集と探究事例の紹介 / no94_jsai_seminar
upura
0
300
記者・編集者との協働:情報技術が変えるニュースメディア / Kaishi PU 2024
upura
0
110
ニュースメディアにおける生成 AI の活用と開発 / UTokyo Lecture Business Introduction
upura
0
320
Other Decks in Technology
See All in Technology
LangSmith×Webhook連携で実現するプロンプトドリブンCI/CD
sergicalsix
1
170
LangChain Interrupt & LangChain Ambassadors meetingレポート
os1ma
2
250
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
150
Github Copilot エージェントモードで試してみた
ochtum
0
140
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
3
630
Node-REDのFunctionノードでMCPサーバーの実装を試してみた / Node-RED × MCP 勉強会 vol.1
you
PRO
0
130
Connect 100+を支える技術
kanyamaguc
0
160
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
310
Fabric + Databricks 2025.6 の最新情報ピックアップ
ryomaru0825
1
160
論文紹介:LLMDet (CVPR2025 Highlight)
tattaka
0
260
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
160
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
460
Featured
See All Featured
Building Applications with DynamoDB
mza
95
6.5k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
What's in a price? How to price your products and services
michaelherold
246
12k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Fireside Chat
paigeccino
37
3.5k
BBQ
matthewcrist
89
9.7k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
The Invisible Side of Design
smashingmag
300
51k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Transcript
W&B 東京ミートアップ #2 2023 年 3 月 22 日 小嵜
耕平、秋葉 拓哉、林 孝紀、◯石原 祥太郎 AMA (Ask me anything) 『Kaggleに挑む深層学習 プログラミングの極意』
2 • 1 月 31 日に紙版の発売開始 • 現時点で 4 刷が決定
• 電子版も販売予定
3 • 書籍ページ(講談社・Amazon) • 付録コード・正誤表・脚注(GitHub) • 著者の紹介記事(秋葉さん・石原) • 書評(からあげさん・TJO さん・Maxwellさん
・nikkie さん) • Twitter 評判「Kaggle 極意」「Kaggle 本」 リンク集
4 • なぜ Kaggle x 深層学習(極意本)? • 本書の目次と担当 • 本書の特徴と補完資料
本日の目次
5 • Kaggle の入門としてタイタニック号を題材にした コンテストが有名 • 扱うのは、テーブル形式 のデータセット(右図) • サイズは総計で
93.08 kB https://www.kaggle.com/c/titanic Kaggle のイメージ => Titanic ?
6 ※ Amazon で、レビュー数が上位の 2 冊 • 『Kaggle で勝つデータ分析の技術』 (技術評論社、2019
年) • 『Python ではじめる Kaggle スタートブック』 (講談社、2020 年) これまでの「Kaggle 本」はテーブル形式 のデータセットを扱う例が有名
7 データセットの種類別の推移 Kaggle 公開のデータセット 「Meta Kaggle」から作成 したデータセットの種類別 のコンテスト数の推移 (2023 年
1 月時点で終了 したコンテストまでを対象 に集計)
8 • 画像やテキストを題材にしたコンテストが増加 • アルゴリズムも、勾配ブースティング決定木から ニューラルネットワーク(深層学習)に • データセットのサイズも巨大化 ◦ Happywhale
- Whale and Dolphin Identification: 62.06 GB ◦ American Express - Default Prediction: 50.31 GB ◦ H&M Personalized Fashion Recommendations: 34.56 GB 深層学習の利用が一般的に
9 • 画像・自然言語処理の機械学習コンテストを題材 に深層学習ライブラリ「PyTorch」の実装を交え、 著者らの経験に基づく知見をまとめた書籍 • 第 1-2 章で基礎知識を学び、第 3-5
章で具体的な 機械学習コンテストに挑戦していく構成 『Kaggle に挑む深層学習プログラミング の極意』(講談社)
10 目次 https://www.kspub.co.jp/book/detail/5305133.html • 第 1 章: 機械学習コンテストの基礎知識 • 第
2 章: 探索的データ分析とモデルの作成・検証・ 性能向上 • 第 3 章: 画像分類入門 • 第 4 章: 画像検索入門 • 第 5 章: テキスト分類入門
11 • 石原(第 1-2 章): Kaggle Master • 秋葉(第 3
章): Kaggle Grandmaster • 小嵜(第 4 章): Kaggle Grandmaster • 林(第 5 章): Kaggle Master • 書籍は有識者 5 名にレビューしていただいた (まえがき参照) 著者紹介
12 • 主要な対象読者は、画像や自然言語処理を題材と した機械学習コンテストに参加する方 • 著者らの経験を基に、一般的な書籍にはあまり書 かれていない暗黙知や技法も含めてまとめている • より広く「Kaggle でない実世界の課題を深層学習
で解決するといった場面でも役立つ」 https://karaage.hatenadiary.jp/entry/2023/02/06/073000 特徴①予測性能を高める実践的な知見
13 • 第 2 章: 手戻りが少なくなるような実験方法 • 第 3 章:
学習終盤に強いデータ拡張をやめる • 第 4 章: ArcFace のハイパーパラメータの勘所 • 第 5 章: 長さが近いテキストをまとめたミニバッチ 実践的な知見の例(抜粋)
14 • 本体は 224 ページと比較的コンパクト • サンプルコードは必要最低限の関数のみを掲載し て読みやすくし、全体は GitHub へ
• 参考文献(ウェブサイト・論文など)は 287 件 • カラー本で図表も多め 特徴②凝縮した内容 + 付録・参考文献
15 データサイズも大きく、泥臭い処理も含めて掲載 • 第 3 章: 犬猫の画像分類 ◦ 多くの画像認識タスクに拡張可能 •
第 4 章: 著名な Google Landmark Retrieval • 第 5 章: 質問文の類似判定 ◦ 多くの自然言語処理タスクに拡張可能 特徴③実際のコンテストを題材に
16 • 『Python ではじめる Kaggle スタートブック』 (講談社、2020 年) • 『Kaggle
で勝つデータ分析の技術』 (技術評論社、2019 年) • 『統計的学習の基礎』(共立出版) 補完① Kaggle 全般やテーブル形式の データセットを扱う方法
17 • 『Kaggle Grandmasterに学ぶ 機械学習 実践アプローチ』 (マイナビ出版) • 『深層学習 改訂第2版』(講談社)
• 『画像認識』(講談社) • 『Vision Transformer入門』(技術評論社) • 『深層学習による自然言語処理』(講談社) • 『IT Text 自然言語処理の基礎』(オーム社) 補完②深層学習や画像認識・自然言語処理
18 • 開発ツールの説明は必要最小限にとどめている • 公式ドキュメントやチュートリアルなどを必要に 応じて参照 ◦ https://docs.docker.com/ ◦ https://yutaroogawa.github.io/pytorch_tuto
rials_jp/ 補完③ Docker や PyTorch
お気軽にご質問ください AMA (Ask me anything) 『Kaggleに挑む深層学習 プログラミングの極意』