Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
[Nishika] Narou_z Animal_2nd Solution
Search
Nishika-Inc
January 24, 2022
Technology
300
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
[Nishika] Narou_z Animal_2nd Solution
Nishika 小説家になろうコンペ
z Animal
2位ソリューション
Nishika-Inc
January 24, 2022
Transcript
10 slides
小説家になろう ブクマ数予測 〜”伸びる”タイトルとは?〜 ソリューション 最終スコア2位: Animal z
改善プロセス CV 暫定スコア 最終スコア 実質スコア 変化幅 トップトークン特徴量など (モデル:LoghtGBM) 0.7822 0.6885
0.6856 0.6870 BERTモデル特徴量 (whole,v2) 0.7661 0.6772 0.6652 0.6712 -0.0158 スパンモデル特徴量(1,2年) 0.7625 0.6677 0.6549 0.6613 -0.0099 Optunaチューニング(LGBM) 0.7516 0.6648 0.6508 0.6578 -0.0035 CatBoost(メインモデル) 0.7059 0.6347 0.6301 0.6324 -0.0254 ミス修正・再現確認など (スパンモデルCBに変更) 0.7059 0.6375 0.6358 0.6366 +0.0042 スパンモデルLGBM(1,2年) 0.7039 0.6335 0.6310 0.6322 -0.0044 (logloss)
改善効果が大きかったもの • トップトークン特徴量(後述:CV-0.02超) • CatBoost(-0.0254)
トップトークン評価(CV) LightGBM 変化幅 CatBoost 変化幅 トップトークン特徴量なし 0.8068 0.743 トップトークン特徴量あり 0.7781
-0.0287 0.7214 -0.0216
トップトークン抽出方法 • ブックマーク度1以上のトップトークンを抽出 【手順】 ① ブックマーク度ごとに各行の title, story, keyword からユニークトークンを抽出
② ブックマーク度ごとにトップトークンを抽出 (title: top200, story: top500, keyword: top200) ③ ユニーク化(title, story, keyword ごとにまとめる)
ブックマーク度別トークン抽出データ • ブックマーク度が高いほど抽出率が上昇 title story keyword トークン数 抽出率 トークン数 抽出率
トークン数 抽出率 1 53,877 0.62% 441,495 0.15% 96,903 0.32% 2 25,446 1.32% 215,279 0.32% 41,270 0.74% 3 14,607 2.22% 112,229 0.62% 20,358 1.47% 4 6,397 4.83% 56,164 1.23% 9,287 2.99% 抽出数 339 695 310
重要度上位トークン(CatBoost) • keyword > story > title で重要度が高い傾向 Rank title
重要度 story 重要度 keyword 重要度 1 ので 0.086 婚約 0.303 冬童話2021 1.072 2 ない 0.057 令嬢 0.301 R15 0.536 3 たち 0.047 ...... 0.273 日常 0.452 4 VS 0.047 する 0.269 ざまぁ 0.371 5 たら 0.044 参加 0.224 異能力バトル 0.345 6 令嬢 0.042 それ 0.207 近未来 0.293 7 転生 0.041 ます 0.202 シリアス 0.272 8 追放 0.040 ある 0.198 IF戦記 0.235 9 幼馴染 0.037 この 0.190 私小説 0.220 10 物語 0.035 って 0.182 婚約 0.203
BERTモデル・スパンモデル追加 • BERTモデル単独では性能が低いものの、特徴量化でスコア改善 (性能が低い割にスコア上昇に貢献、CV:0.9-1.1程度) • スパンモデルも、メインモデルより性能はやや劣るものの、 特徴量化でスコア改善 (訓練データ不足を0パディングで対応、LB:0.642-0.648程度)
CatBoost • モデル変更のみで大幅にスコア改善 【特徴】 • カテゴリカル変数に強い • 過学習を減少させる 【個人的感想】 •
パラメータチューニングが困難
最後に • 特徴量を増やしてスコアを上げていくやり方は効率的 (性能の低いモデルも無駄にはならない) • コードの整理と再現のコストが大きいのが課題 • どうもありがとうございました
More Decks by Nishika-Inc
See All by Nishika-Inc
汎用の音声認識を「現場の言葉」に寄せる — 業界特化モデル開発の実践
nishikainc
0
27
話者分離を例とした_UX改善のための評価指標_データセット作成の重要性_山口_.pdf
nishikainc
0
34
Slack + Notion + AIで作る不具合対応ワークフロー
nishikainc
0
48
AIプロダクト開発におけるClaudeCode活用ガイド
nishikainc
0
64
会議AIエージェント「SecureMemo」シリーズ紹介 − なぜ私たちは精度に一番こだわるのか
nishikainc
0
99
会議AIエージェントに話者認識AIを乗せる難しさと重要性
nishikainc
0
160
ASRは精度だけでは足りない − 専門用語の誤認識にどう向き合うか
nishikainc
0
160
Nishika_テックチーム_ご紹介資料 / Nishika_TechTeam_Introduction
nishikainc
0
2.1k
Nishika_Bussei_大好きオフトゥン_1st_solution.pdf
nishikainc
0
250
Other Decks in Technology
See All in Technology
AIが会計業務の伴走者に。 マネーフォワード クラウド会計MCPサーバーで実現するAI前提の新しい業務プロセス
nobitabashi
0
160
JAWSコミュニティに 参加して1年経った結果
ssakita
0
160
【Oracle AI SPOTLIGHT ウェビナー】【特別開催:日本語で解説!】Oracle AI World 2026 最新情報フィードバック
oracle4engineer
PRO
1
230
gem install とrequire のむこうがわ
ydah
0
110
Where Should Platform Complexity Live? Lessons from a Cross-Team PR Preview Platform
taiki45
0
110
会社説明資料_最新版
demaecan
0
32k
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
120
Steering と Hook (チームの決まりを守らせる) | 目指せ Kiro マスター 06
inariku
PRO
2
130
内製アプリとClaudeスキルのセキュリティチェック、 Backlogの課題で回しています。
ayaka_egaaa
0
200
Datadog の権限統制 〜Org 統合に向けて調べた注意点 / JDDUG-Meetup_24
visional_engineering_and_design
1
160
小さなエージェントから始めてみよう!実践コンテキストエンジニアリング
iwamot
PRO
0
130
少ない人手 限られた予算 それでも守る 消せない・見つける・戻れる オールハザード型BCP on AWS / 20261107 Mitsutoshi Matsuo
shift_evolve
PRO
0
390
Featured
See All Featured
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
460
Primal Persuasion: How to Engage the Brain for Learning That Lasts
tmiket
0
520
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
SEO Brein meetup: CTRL+C is not how to scale international SEO
lindahogenes
2
3k
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
davidcarrasco
1
300
XXLCSS - How to scale CSS and keep your sanity
sugarenia
250
1.3M
How to train your dragon (web standard)
notwaldorf
96
6.9k
A Modern Web Designer's Workflow
chriscoyier
699
190k
Balancing Empowerment & Direction
lara
6
1.4k
Odyssey Design
rkendrick25
PRO
3
950
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850
Organizational Design Perspectives: An Ontology of Organizational Design Elements
kimpetersen
PRO
1
880