BEST BODY JAPAN参戦記

Transcript

1. • 名前 ：しぃたけ（@cpp_take） • 趣味 ：息子・kaggle（2,３年参加してない） • 称号 ：Competition Master 自 己 紹 介
2. ボディメイクのコンペティション BEST BODY JAPAN参戦記
3. •BEST BODY JAPAN参戦記 •本題 ア ジ ェ ン ダ ← 5分 ← ここまで我慢して
4. B E S T B O DY JA PA N と は Best Body Japan（以下BBJ）はボディメイクの大会の一つ。ボディビル、フィジークと違い 健康的なかっこよさや美しさ、健康的な身体を競う健康美コンテスト。（Not ボディビル） ゴリマッチョ 細マッチョ BBJ フィジーク ボディビル ▪評価観点 ・健康美の度合 ・筋肉つき過ぎは減点 (詳細は次項) ▪評価観点 ・筋肉の発達 ・逆三角形度合 (脚は審査対象外) ▪評価観点 ・全身の筋肉の発達
5. B B J 評 価 基 準 よくわからん BBJ公式から抜粋した評価基準
6. 肉 体 の 推 移 健康美を目指して約三カ月間、ガチボディメイクを実施 減量初日（3月後半） 大会１週間前 大会当日（7月6日） ・トレーニング ・脂質制限 ・カロリー制限 最終調整 ・水抜き ・塩抜き ・カーボアップ 体重:71kg 体脂肪:18％ 体重:65kg 体脂肪:6~7％ 体重:63kg 体脂肪:5％ 更衣室で知らない人から ヒューヒュー言われ始める
7. 結 果 予選敗退
8. B B J 審 査 フ ロ ー 前後左右の４方向で審査 予選審査・ファイナル審査の2stage制。予選は規定ポーズ、フリーポーズの２つで採点を行い、 上位１０人をファイナルに選出。ファイナル審査では規定ポーズのみで採点を実施。 規定ポーズ フリーポーズ ピックアップ審査 規定ポーズのみ 予選審査 ファイナル審査 ステージ中央、左右の計3回 ・決勝に上げるか微妙なラインの選手 4~5人を選んで再選別を行う 自分はここまで選ばれたが競り負けた リランキング 以下の3つの審査を行い、ファイナル審査に進む10人を選ぶ 選ばれた10人を、勝ち残り方式で選別 ・最後まで残った人が優勝
9. 当 日 の 様 子 規定ポーズ フリーポーズ ※規定ポーズの画像は生成されたものです
10. •BEST BODY JAPAN参戦記 •本題 ア ジ ェ ン ダ
11. 本 題 Kaggler達をボディメイクの大会に 出場させるにはどうすればよいか
12. 背 景 kagglerは筋トレ・減量に関心があることは自明であるが、大会に誘った人間全員に断られた。 この原因をkagglerの深層心理レベルまで分析し、対策を提案する。 一緒に大会出ましょう! いやぁ、ちょっと… 妙だな…
13. 課 題 分 析 Kagglerは以下に示すスキーマに集まる習性があることは広く認知されている。 kaggle モデリング の方針はこ れで行く！ モデルを変える？ LR下げようか？ スコア アップ！ Private LB メダル ゲット！ 課題・評価指標理解 モデルトレーニング・チューニング CV・Public LB 確認 Private LBオープン
14. 課 題 分 析 Kagglerは以下に示すスキーマに集まる習性があることは広く認知されている。 ボディ メイク ▪モデルトレーニング 課題・評価指標理解 モデルトレーニング・チューニング CV・Public LB 確認 Private LBオープン kaggle モデリング の方針はこ れで行く！ モデルを変える？ LR下げようか？ スコア アップ！ Private LB メダル ゲット！ ここがない ▪BBJ評価指標 ▪チューニング ▪順位発表 赤枠部分を埋めれば、ボディメイクは実質Kaggleとなりkagglerは勝手に集まってくる。
15. つ ま り こ う い う こ と 断った皆さんの深層心理はこうなっている 一緒に大会出ましょう! いやぁ、ちょっと… LBが ないからなぁ
16. 開 発 し ま し た Best Body LeaderBoard!!!!!!
17. B E S T B O DY L e a d e r B o a r d と は BESTBODY LeaderBoardは、VLM as a Judge※を利用して肉体をスコア化し、結果を順 位表にしたもの。LB大好きなkagglerはこれでボディメイクから逃げられない。 サブミット画像 VLM as a Judge スコアリング リーダーボード化 ※LLMのvisionモデルを利用して、入力された画像を評価・採点を行う手法
18. 評 価 方 法 LLM（VLM） as a Judgeの一般的な評価はスコアベースとペアワイズ比較の大きく2つがある が、どちらも課題があるためそのまま利用はできない。 スコア ベース 概要 評価精度 ペア ワイズ 数値化 評価対象をLLMに入力し、 点数を出力させる手法。 この人の身体は何点ですか? 80点 低 マッチョの画像は大体高得点 になるので差がつかない 可 A A・Bどちらの方がいい身体ですか? A B 高 相対評価のためスコアベース より納得感のある評価結果となる 不可 (そのままでは) ２つの評価対象をLLMに比較 させ、優れている方を選ばせる 手法。
19. スコアベースとペアワイズ比較を組み合わせたハイブリッド方式を採用することで、相対評価による 納得感のあるスコアを出力させることが可能となった ハイブ リッド 方式 -30点 Aを0点としたとき、Bの 肉体は何点ですか? A B 2つの評価対象をLLMに比較さ せ、Aを0点とした際、Bは何点か を評価させる手法。 評 価 方 法 スコア ベース 評価精度 ペア ワイズ 数値化 評価対象をLLMに入力し、 点数を出力させる手法。 ２つの評価対象をLLMに比較 させ、優れている方を選ばせる 手法。 この人の身体は何点ですか? 80点 低 マッチョの画像は大体高得点 になるので差がつかない 可 A A・Bどちらの方がいい身体ですか? A B 高 相対評価のためスコアベース より納得感のある評価結果となる 不可 (そのままでは) 高 上記2つのいいとこどり 可 概要 採用
20. 評 価 観 点 LLM as a Judgeを利用する際は、評価観点（サーブリック）を明確にする必要がある。 当初の案:BBJの評価基準に合わせる 流石に無理 採用案 肩 腕 胸 背中 腹 ボディメイクの一般的な評価箇所 肩・腕・胸・背中・腹を-10~10点で評価 総合50点満点でスコア化
21. デ モ 画像とユーザー名を入力して「評価 を実行」をクリック ベースライン画像は生成した 架空のマッチョを利用
22. デ モ 各部位ごとの得点と、総合得点を表示 部位ごとの得点は理由もあわせて出力
23. デ モ リーダーボードに出力
24. ハ マ っ た ポ イ ン ト Gpt-4oで評価を実施していると、10回に3～4回程度、「評価ができません」といった旨の出 力がされ、スコアリングができないトラブル発生。 トラブル概要 評価できません 画像入力 出力 原因 OpenAIのLLMに備わっている、フィルタリング 機能に引っかかった可能性が高い。 具体的に言うと以下の2点 ・人を比較して数値化する行為が、人種差 別と判断される可能性 ・性的コンテンツに間違われている可能性 これはOpenAIが正しい 対策 モデルを以下に変更 変更前:gpt-4o 変更後:gpt-4-turbo gpt-4oはフィルターが機能が厳しいらしく、 微妙なラインの内容は弾かれる傾向がある。 turboにすることで精度は下がったが、出 力は安定した
25. ま と め • VLM as a Judgeを使って、肉体をスコア化してくれるアプリケーションを開発しました。 遊びたい人・ボディメイクに興味出た方おられたら声かけてください。 • 最新技術でバカなことをする流れが個人的にすごく好きです。この流れを引き継いでく れるつよつよkagglerが現れるのを楽しみにしてます。