IkaLog_v2.1

ʮεϓϥτΡʔϯʯϦΞϧλΠϜը૾ղੳπʔϧ ʮ*LB-PHʯͷཪଆW +VOF 5BLFTIJ)BTFHBXB !IBTFHBX 本スライド内で紹介するゲームタイトル「スプラトゥーン」は任天堂株式会社の著作物です。

!IBTFHBXʹ͍ͭͯ ௕୩઒ɹ໠ )"4&("8"5BLFTIJ UXJUUFS!IBTFHBX 2004 |
2011 2011 | 2014 2014 | SEサービスプリセールス @ So+ware Research Associates, Inc. システム構築、客先のシステム運用、提案でキャリアをスタート → プリセールス〜PMを担当するインフラエンジニアシステムアーキテクト @ Trigence Semiconductor, Inc. エンベデッド開発支援からITシステム管理まで多岐に対応セールスエンジニア @ Fusion-‐io, Inc. 高速半導体ストレージ ioDrive / ioMemory シリーズの SE として活動

ஶॻʗدߘ

هࣄ঺հʢʁʣ Լه̎ຊͷهࣄ ϖʔδڧ ͕ ·ͱΊͯऩ࿥͞Ε·ͨ͠ɻ *4#/ Ձ֨ ԁ
•  4PGUXBSF%FTJHO ୈೋಛू αʔόͷ໨ར͖ʹͳΔํ๏લฤ •  4PGUXBSF%FTJHO ୈೋಛू αʔόͷ໨ར͖ʹͳΔํ๏ޙฤ

ϓϨθϯςʔγϣϯʗϒʔεग़లঢ়گ ٕज़ղઆϓϨθϯςʔγϣϯ –  ͞͞Έͷձ –  RQTUVEZ –  αΠϘ΢ζʢגʣΤϯδχΞ༷޲͚ϓϥΠϕʔτηογϣϯ –  ژ౎࢈ۀେֶίϯϐϡʔλཧ޻ֶ෦ɹϥϯνηογϣϯ
–  CQTUVEZ ϓϩδΣΫτͷ঺հϒʔεग़లʗඇΤϯδχΞ޲͚ϓϨθϯςʔγϣϯ –  ؔ੢ΦʔϓϯϑΥʔϥϜεςʔδاը –  04$౦ژ ౙ य़ ϒʔεग़ల –  04$໊ݹ԰ ϒʔεग़ల

͸͡Ίʹ εϓϥτΡʔϯɺͦͯ͠*LB-PHͱ͸

εϓϥτΡʔϯͱ͸ʁ 様々なステージとルール •  １６のステージ、４つのルール •  勝利に向けチームで立ち向かう
多様な楽しみ方 •  90以上のブキから好きなものを選んでプレイ

*LB-PHͷ͘͠Έ •  )%.*ΩϟϓνϟσόΠεΛར༻ͯ͠ ήʔϜը૾ΛऔΓࠐΈɺը૾ೝࣝ •  ਺஋ʗจࣈྻσʔλͱͯ͠ೝࣝ •  ͓޷Έͷํ๏Ͱ஝ੵɺग़ྗ Nintendo
WiiU ＆スプラトゥーン { “kills”: 5, “deaths”: 1 } IkaLog 映像解析結果ログファイル出力外部ツール連携外部Webサイト連携蓄積／出力先

*LB-PHͷར༻Πϝʔδ HDMI キャプチャデバイス IkaLog 実行用PC

*LB-PHͷը૾ೝࣝྫ

֤छιϑτ΢ΣΞͱͷ࿈ܞʢσϞϏσΦʣ

ϓϥΨϒϧͰ༷ʑͳ࢖͍ํʹରԠ 録画ソフト自動制御 AmaRecTV カラーLED連動 Fluentd 転送スプラトゥーン戦績記録SNS CSV/JSONファイル保存
スクリーンショット保存 SNS投稿 IkaLog

*LB-PHͷΞʔΩςΫνϟ ikalog.Engine GameStart GameKill GameDead Result Judge ResultDetail CVCapture
CVFile DirectShow AVFoundaYon Screen Screenshot StatInk TwiZer ikalog.scenes 画像認識およびイベント発行 ikalog.inputs ビデオ入力ソース ikalog.outputs アクション InklingsTracker OpenCV, ビデオ入力フレームワークログファイル、サイト連携、アプリ連携など OpenCV,もしくは独自のラッパ

&NCFEFE*LB-PHʢϥΠϒϥϦϞʔυʣ •  *LB-PHࣗମ͕1ZUIPOϞδϡʔϧͱ࣮ͯ͠૷͞Ε͍ͯΔ •  1ZUIPOίʔυ͔Β*LB-PHΛ࣮ߦͯ͠ɺ৘ใΛड͚औΕΔ •  ࡞ͬͯΈͨΞϓϦέʔγϣϯͷྫ ΞϓϦέʔγϣϯ આ໌
*LB3FOBNFQZ εϓϥτΡʔϯͷϏσΦΛ෼ੳ εςʔδʗϧʔϧʗউഊͷ͍ͭͨ ϑΝΠϧ໊ʹϦωʔϜ͢Δ *LB$MJQTQZ εϓϥτΡʔϯͷϏσΦΛ෼ੳ ఢΛ౗ͨ͠ʗ౗͞Εͨγʔϯ͚ͩΫϦοϓ͠ɺ l๩͍͠ਓz޲͚ͷαϚϦϜʔϏʔΛੜ੒

ʢྫʣ*LB-PHϞδϡʔϧΛར༻ͨ͠ ɹɹɹ:PV5VCFίϝϯτཝͷࣗಈੜ੒ hZps://www.youtube.com/watch?v=iVMmSDWHmEo 各シーンへのリンク味方・敵の構成、成績等

*LB-PH͕ग़ྗ͢ΔσʔλͷෳࡶԽ IkaLogの当初のスコープ・ステージ／ルール検出、勝敗（２択）・スクリーンショット保存追加された検出内容・目標（ガチホコ／ガチヤグラ）の位置検出
・プレイヤーの死因（凶器）検出・時系列のスコア検出・プレイヤーのランク、所持金などの数値検出・全プレイヤーの生死ステータスのモニタリング・ロビー（パブリック／プライベートタッグ）検出・スペシャル蓄積・利用検出・目標に対するチームのイベント・装着ギアの検出今後追加する（かもしれない）検出・コミュニケーション検出（ナイス／カモン）

TUBUJOL ઓ੷4/4 •  *LB-PHϢʔβͷͻͱΓ!GFUVT@IJOB͞Μ͕ ։ൃɺӡӦ͢Δ8FCαΠτ •  *LB-PH͔ΒͷϓϨΠσʔλΛड͚औΓɺද ࣔɾूܭ͢Δ

λΠϜϥΠϯදࣔɹʢ̍ʗ̎ʣ ʢήʔϜதʹԿ͕͓͖͔ͨΛlݟ͑ΔԽlʣ 自分が倒されて行動不能だった時間イカ（味方／敵　計８匹）の生死状況チームのスペシャル発動、キル／デス
自分の塗り面積

λΠϜϥΠϯදࣔɹʢ̎ʗ̎ʣ ʢήʔϜதʹԿ͕͓͖͔ͨΛlݟ͑ΔԽlʣ 目標物の確保状況敵チームのポイント
自チームのポイント逆転の瞬間

TUBUJOL ʢશϢʔβͷϓϨΠ݁Ռ͔Βͷ౷ܭʣ

TUBUJOL ήʔϜϧʔϧʹΑΔ,%ͱউ཰ͷ૬ؔ

TUBUJOL ϒΩͷ౷ܭ

TUBUJOL εςʔδʹΑͬͯҟͳΔ,0উͪʗෛ͚཰

*LB-PH TUBUJOLͷ%"6ɺॲཧήʔϜ਺ データソース hZps://stat.ink/enYre/user 【ピーク】 24時間あたり 370ユーザ、約15,000ゲームを分析
毎日約200ユーザが利用 24時間あたり平均4500ゲームを処理

*LB-PHͷΤίγεςϜ ユーザー開発者 hasegaw/ikaLog stat.ink ダウンロード記録送信
hasegaw 一部データ (QA用) 　開発、　stat.inkデータに　　よる機械学習 Windows版実行ファイル生成（本スライド中の画像の一部はイメージであり実際のものとは異なります。） PR モツ鍋

։ൃ։࢝ͷܦҢͱ جຊతͳ͘͠Έ

*LB-PH։ൃͷܦҢ •  εϓϥτΡʔϯϓϨΠϠʔಉ࢜Ͱ ϞπುΛ৯΂͍ͯͨΒɺઓ੷ͷ౷ܭͷ࿩ʹ •  ήʔϜʹ͸ɺઓ੷ͷ౷ܭػೳ͸ଘࡏ͠ͳ͍ •  खಈͰ&YDFMΛ࢖͍ઓ੷Λ੔ཧ͍ͯ͠Δਓ΋

ͱ͋ΔΠΧͷઓಆه࿥

ͱ͋ΔΠΧͷઓಆه࿥ 0" 2" 4" 6" 8" 0" 1" 2"
3" 4" 5" 6" 7" 8" 9" 10" Kill Win/Lose Win" Lose" 0" 1" 2" 3" 4" 5" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10" 11" DeathWin/Lose" Win" Lose" 0.0%$ 2.0%$ 4.0%$ 6.0%$ 8.0%$ 10.0%$ 12.0%$ 14.0%$ *5$ *4$ *3$ *2$ *1$ 0$ 1$ 2$ 3$ 4$ 5$ K*D

*LB-PH։ൃ։࢝ ͜͜·Ͱ͢ΔͳΒ ࣗಈԽͰ͖ΔπʔϧΛ࡞Ζ͏ʂ

ήʔϜΛධՁ͢ΔͨΊͷओͳϝτϦοΫ •  εςʔδ •  ϧʔϧ • 
φϫόϦɺΨνΤϦΞɺΨνϠάϥɺΨνϗίότϧ •  ήʔϜͷ݁Ռ •  উͪʗෛ͚ •  ࢖༻ͨ͠ϒΩ •  γϡʔλʔʗνϟʔδϟʔʗεϩογϟʔʗϩʔϥʔͷ̐λΠϓ •  ֤ϒΩʹରͯ͠ѥछ͕̍ʙ̎छྨ •  Ωϧ਺ʗσε਺

*LB-PHʹΑΔදࣔ಺༰ͷࣝผॲཧ ソース映像マスク画像加算画像 + = = 正しいマスクを加算すると画像が真っ白になる違うマスクを加算すると画像が真っ白にならない

਺ࣈͷೝࣝͱػցֶश

਺ࣈͷೝࣝ •  ήʔϜதͰ࢖ΘΕ͍ͯΔϑΥϯτ͸̎छྨ –  ը໘্ʹݱΕΔ਺ࣈϑΥϯτ͸̍छྨ –  ϑΥϯτ͕൑͍ͬͯΔͷ͔ͩΒɺೝࣝͰ͖Δ͸ͣ •  ࢼߦࡨޡͷޙɺطଘ0$3Τϯδϯͷར༻͸அ೦ – 
ػցֶशϕʔεͷೝࣝΤϯδϯΛ࣮૷

5FTTFSBDU0$3Λ ධՁͨ͠ࡍͷ՝୊ •  ೝࣝ֬཰ɿ •  ΋ͱ΋ͱจষΛಡΈऔΔͨΊͷ΋ͷ •  ʙจࣈͷจࣈɺ਺ࣈͷೝࣝ͸ۤख •  ೝࣝਫ਼౓
•  ͳͲΛؒҧ͑Δ͜ͱ͕͋Δ •  কདྷతʹ໰୊͕ى͖ͨࡍɺΞϧΰϦζϜʹ ख͕ग़ͤͳ͍ʢग़ͳ͍ʣ •  ιϑτ΢ΣΞ΁ͷ૊ΈࠐΈ্ͷ՝୊ •  1ZUIPOYͷεΫϦϓτ্͔Βར༻ͮ͠Β͔ͬͨ •  طଘCJOEJOHͰ͸GPSLFYFDͷཛྷ ˠ طଘͷจষ޲͚0$3ΤϯδϯΑΓ΋ ୯७Ͱ໨తʹదͨ͠ೝࣝํࣜΛݕ౼ 文字として認識されないことも

L// ,ۙ๣๏ ͷߟ͑ํ • • • • ▪ ▪
▪ ▪ ? ▲ ▲ ▲ ▲ ? ? ? ? とてもシンプルな機械学習標本　　　　の傍にあるサンプルがどれかで分類する。 K=1 の場合は最寄りのサンプルがあるクラスに分類される。 K=3 の場合は近くに3つのサンプルがあるクラスに分類される。

L//ʹΑΔਤܗϚονϯάͷྫ •  (JU)VCʹιʔε͋Γ –  IUUQTHJUIVCDPNIBTFHBXPQFODW@LOO@FYBNQMF •  ࡾͭͷύλʔϯ˓˚˘Ͱը૾Λੜ੒͠ɺ L//Ͱֶश͢Δ
•  ϥϯμϜʹ˓˚˘͔Βը૾Λੜ੒͠ɺͦͷը ૾ͷछྨΛ൑ఆ͢Δ –  ,//Λ༻͍ͯͦΕʹ͍ۙը૾Λݟ͚ͭग़͢ –  ݟ͚ͭͨը૾ͷछྨ͔Βɺ໰୊ਤܗͷछྨΛಛఆ

L//ʹΑΔਤܗϚονϯάͷྫ 問題図形をランダムに生成 K近傍法を用いて、学習済みの図形から、もっとも近い図形を調べる仕分ける
◦ △ □ ◦ 学習済み図形 ◦ △ □

σϞ෩ܠ

,//Ͱݟ͚ͭͨʮҰ൪͍ۙจࣈը૾ʯͰ ը૾Λஔ͖׵͑ •  ֤೔ຊޠϑΥϯτจࣈΛ1/(ܗࣜʹม׵ •  ্هσʔλΛ,//Ͱֶश •  ը૾Λೖྗ͠άϨʔεέʔϧʹม׵
•  ը૾ΛจࣈαΠζʹ͋Θͤͯ෼ׂɺ,//Ͱ ֤ྖҬʹ΋ͬͱ΋͍ۙจࣈϑΥϯτΛௐ΂Δ •  ը૾Λจࣈʹஔ͖׵͑

,//Ͱݟ͚ͭͨʮҰ൪͍ۙจࣈը૾ʯͰ ը૾Λஔ͖׵͑ hZps://github.com/hasegaw/opencv_knn_example/

਺ࣈͷೝࣝ ̍ʣը໘্ͷ਺ࣈ෦෼ʢҐஔݻఆʣΛ੾Γൈ͖ ̎ʣॎɾԣͷώετάϥϜΛੜ੒֤͠จࣈͷҐஔΛಛఆ ̏ʣจࣈΛݕग़༻αϯϓϧͷαΠζʢ౳෯ʣʹϦαΠζɺ ೋ஋Խ
̐ʣ,//ʹΑΓط஌ͷݕग़༻αϯϓϧͱরΒ͠߹Θͤͯ ೝࣝ͢Δ

kNN による数値認識を実装後、はじめてのテスト結果。１０の位は文字画像の位置ズレで誤認識が生じているが、１の位は１００％認識できた

ࢮҼͷೝࣝ

ࢮҼͷೝࣝ ը໘্ʹදࣔ͞ΕΔϝοηʔδΛࣝผ͠ɺ ࢮҼͱͳͬͨ૬खϒΩΛ൑அ͢Δ •  ਺ࣈೝࣝͱͷڞ௨఺ –  ໨తͷ৘ใ͕ന৭ͳͷͰೋ஋Խ͠΍͍͢ –  จࣈྻͷҐஔΛಛఆ͠ɺ੾Γൈ͖Ͱ͖Δ
•  ਺ࣈೝࣝͱͷ૬ҧ఺ –  ΞχϝʔγϣϯʹΑΓɺৗʹαΠζ͕มԽ –  ݴޠʹΑΓදࣔҐஔɺදࣔ಺༰ʹҧ͍͕͋Δ

ࢮҼͷೝࣝʢ̏ʣࢮҼͷϦετ

ࢮҼͷೝࣝʢ̏ʣ •  جຊ͸਺ࣈͷೝࣝͱҰॹ –  จࣈ୯ҐͰ͸ͳ͘จࣈྻΛҰ૊ͱͯ͠ॲཧ –  จࣈྻ͸ࠨدͤͯ͠ॲཧʢͨ͠΄͏͕͍͍ͷ͔͸Α͘൑͍ͬͯͳ͍ʣ •  ೝࣝ཰͸ͦΕ΄Ͳߴ͘ͳ͍͕ɺೝࣝճ਺Ͱਫ਼౓Λ֬อ – 
*LB-PH͸ݱࡏຖඵϑϨʔϜ΄Ͳղੳ͍ͯ͠Δ –  ԼهྫͰ͸ɺࢮҼͷϝοηʔδ߹ܭGΛղੳ͠ɺ ࠷ଟස౓͸HBM@EFDP G ͩͬͨˠ݁Ռతʹਖ਼ղ votes={ 'supershot': 6, 'carbon_deco': 1, 'bucketslosher': 1, 'octoshooter_replica': 1, 'splashshield': 1, 'sshooter_collabo': 5, 'hotblaster': 2, 'pablo': 1, 'nzap89': 6, 'sharp_neo': 3, 'hotblaster_custom': 2, '96gal_deco': 18, '52gal': 1, 'hokusai': 1 }

֤ϓϨΠϠʔͷ࢖༻ϒΩͷೝࣝ

εϓϥτΡʔϯͷϒΩ •  ̍̕छྨͷϒΩ͔Β޷͖ͳ΋ͷΛબ΂Δ •  ϒΩͷબ୒Ͱ༏ྼ͕ൃੜ –  εςʔδ –  ϧʔϧ – 
ઓུɺઓज़ •  ෼ੳ͍ͨ͠ը૾ೝࣝ

εϓϥτΡʔϯͷϒΩը૾Ϧετ スプラトゥーンのブキ　５９種類（スライド作成当時）

ը૾൑ผʹ͓͍ͯͷνϟϨϯδ •  ϒΩը૾͕খ͍͞ʢYυοτɾ֎࿮ࠐΈʣ •  දࣔ৚݅ʢഎܠɾඃΔը૾ʣ͕มΘΔ •  ޡ൑ఆ͢Δͱޙͷ౷ܭ݁ՌʹଟେͳӨڹ͕ग़Δ •  Ұճͷ൑ఆʹ࢖͑Δͷ͸ը૾̍ຕͷΈ
他の装備品が被っている保護色（まだマシ）保護色（マジつらい）

ϒΩೝࣝίʔυͷมભ ੈ୅ ಛ௃ɺར఺ ՝୊ ͢΂ͯͷਖ਼ղը૾Λอ͓͖࣋ͯ͠ɺ ೖྗը૾Λൺֱ ήʔϜஶ࡞෺ͷ಺༰Λͦͷ·· σʔλʹؚΊͯ഑෍͢Δඞཁ͕ ͋Δ
ୈੈ୅ ը૾ͷ৭૬ώετάϥϜΛಛ௃ྔͱͨ͠ ౷ܭతख๏ʢͷͪʹ,ۙ๣๏΁੾ସʣɻ ೝࣝ཰ɹ̔̌ˋҎԼ ୈੈ୅ ୈҰੈ୅ͷಛ௃ྔͷ··ɺ෼ྨΞϧΰϦ ζϜΛ,//ʹ੾Γସ͑ ೝࣝ཰͕एׯѱԽ ୈੈ୅ ಛ௃ྔΛ৭૬ώετάϥϜ͔Βzը૾ͷෳ ࡶ͞zʹมߋ ɾϥϓϥγΞϯϑΟϧλͳͲΛ௨ͯ͠ը ૾ͷಛ௃ྔΛࢉग़ Ϣʔβͷ؀ڥʢσόΠεɺઃఆࠩ ҟɺઃఆϛεʣʹΑΓೝࣝ཰͕େ ෯௿Լ ୈੈ୅ ɾϥϓϥγΞϯϑΟϧλॲཧޙͷΞϧΰ ϦζϜݟ௚͠ ਖ਼نԽɺϓʔϦϯά૚૬౰ͷॻ͖௚͠ Ϣʔβͷઃఆ໰୊͕ͳ͍ݶΓ͸΄ ΅ਖ਼֬ͳೝ͕ࣝՄೳ͕ͩ ̍̌̌ˋͰ͸ͳ͍ ୈੈ୅ ৞ΈࠐΈχϡʔϥϧωοτϫʔΫ $//ʣ ʹΑΔਂ૚ֶशͷಋೖ ෼ྨॲཧʹཁ͢Δ$16࣌ؒ ֶशσʔλͷαΠζɺ഑෍ํ๏

ୈ ੈ୅ ৭૬ώετάϥϜʹΑΔϒΩಛ௃ྔͷࢉग़ （まだバグがあった頃のバージョンの表示なので色がずれているけども）こんなかんじで特徴量を抽出していた

ୈੈ୅ ϥϓϥγΞϯϑΟϧλΛ༻͍ͨಛ௃ྔͷࢉग़ 入力画像ラプラシアンフィルタ適用グレースケール特徴量画像
（合計64ドット) Thanks @itoooon

৽͍͠ಛ௃ྔࢉग़ํ๏Ͱͷ෼ྨ݁Ռʢ̍ʣ

৽͍͠ಛ௃ྔࢉग़ํ๏Ͱͷ෼ྨ݁Ռʢ̎ʣ 手元のキャプチャ環境で用意したテストデータは12000弱正解の一覧は作っていないので目視で確認多分、分類できている

Ϣʔβ؀ڥʹґଘ͢Δೖྗը૾ ʢղ૾౓ͷҧ͍ͷྫʣ

৽͍͠ಛ௃ྔࢉग़ํ๏Ͱͷ՝୊ •  ؀ڥʹΑͬͯಛ௃ྔ͕มԽ͢ΔཁҼ –  ΩϟϓνϟσόΠεͷը࣭ಛੑ •  ৭߹͍ɺίϯτϥετɺΨϯϚ –  8JJ6ͷग़ྗղ૾౓ • 
QQ –  ͦͷଞɺέʔϒϧ΍࢖༻ػࡐͷӨڹʹΑΓ৴߸ʹϩε͕ੜ͡Δ •  Ϣʔβͷར༻ܗଶʹΑΓಛ௃ྔ͕มԽ͢ΔཁҼ –  Ωϟϓνϟؔ࿈ιϑτͰ8JJ6ը૾Λؒ઀औΓࠐΈ –  ຊདྷͱ͸ҟͳΔղ૾౓΍ΦϑηοτͰೖྗ͞Εɺ ಛ௃ྔ͕มԽ

ղ૾౓͓Αͼதؒղ૾౓ʹΑΔ ಛ௃ྔʢը૾ͷෳࡶ͞ʣ΁ͷӨڹ IkaLog内部処理フォーマットユーザが縮小した画像 720p ??? 1080p 720p Good!
Not bad…

ୈੈ୅ਂ૚ֶशʹΑΔϒΩ൑ఆ Thanks @itoooon

ୈੈ୅rਂ૚ֶशʹΑΔϒΩ൑ఆ •  ৞ΈࠐΈχϡʔϥϧωοτ $// Λ༻͍ͨը૾ͷΫϥελ Ϧϯά –  %*(*54 CZO7*%*" $B⒎FͰ1SPPGPG$PODFQUΛ࣮૷
–  "MFY/FU (PPHMF/FUͳͲͷطଘωοτΛར༻ •  ڻҟతͳਖ਼౴཰ –  ༷ʑͳϢʔβ͕౤ߘͨ͠σʔλͰ΋΄ͱΜͲޡ൑ఆͳ͠ ʢ਺ສϒΩ͋ͨΓޡ൑ఆ͸̎̌ҎԼʣ •  ֶश͸(1(16ඞਢɺϚονϯά͸$16΋Մ PO(16 dNT PO$16X*OUFM.,-dNT PO$16 dNTఔ౓ Thanks @itoooon

ୈੈ୅Ϣʔβ؀ڥ΁ͷσϓϩΠͷ՝୊ モデルデータの肥大化 CPU 性能バランス導入の手間 1秒以内に
8ブキ判定可能 400MB~ (AlexNet) 100MB (GoogleNet) 配布方法は？コスト対効果 8ブキの判定に〜5秒かかる Core2 Duoから最新CPUまでユーザが分布ニコ生や録画（SWエンコーダ）のためにCPUに余力を残す必要も 1MB (KNN) Chainer を Windows で動かすのは大変　Py2EXE 化も課題が多そう KNN なら OpenCV に含まれているユーザ向けとしての配布はせず手元での開発効率アップのために DNN 利用

*LB-PHʹ͓͚Δ%//ͷར༻ঢ়گ ゲーム終了時のスクリーンショット stat.ink から投稿データを深夜バッチで受け取り約4000枚/日認識対象となるブキ画像
約24000サンプル/日 Chainer による DNN で自動分類し、注目したいサンプルを絞り込むスクリーンショットからサンプルを生成ブキ精度向上にあたり注目したいサンプル（1000以下）実際に IkaLog が利用するブキ認識モデルの強化、テストに利用

8FC$BNαϙʔτͷݕ౼

8FCDBNαϙʔτ •  )%.*ΩϟϓνϟσόΠεΛ ͍࣋ͬͯΔਓ͸গͳ͍ •  ήʔϜ࣮گΛ͢ΔχίੜओͳͲͳΒ ͍࣋ͬͯΔ͕ʜ •  ৽ͨʹߪೖ͠Α͏ͱ͢Δͱɺ໿̎ສԁͷ౤ࢿ • 
)%.*Ωϟϓνϟͷ୅ΘΓʹ 8FCΧϝϥΛར༻Ͱ͖ͳ͍͔ Λݕ౼ͨ͠

8FCDBNαϙʔτʢΠϝʔδʣ 1) TV、ディスプレイに Webcam を向ける 2) WiiU
のホーム画面を表示 3) IkaLog で Webcam を介して　　ワープキャリブレーション 4) 以後 IkaLog は画面と認識した範囲に対して処理を行う

0QFO$7αϯϓϧɹpOE@PCKQZ

)%.*Ωϟϓνϟͱؒ઀Ωϟϓνϟͷൺֱ HDMIキャプチャ (H264録画) Webcamによる間接キャプチャ雑なカラーコレクション適用済み

8FCDBNܦ༝ͷೖྗঢ়گ •  ʮط஌ͷը૾ʯʢ8JJ6ϗʔϜը໘ʣΛ ը໘্ʹग़ͯ͠ɺΩϟϦϒϨʔγϣϯ •  Q Y ͷը໘ΛQY͙Β͍ͷਫ਼ ౓ͰऔΓࠐΊΔ • 
ന৭͕ ʹͳΒͳ͍ͨΊ ԿΒ͔ͷରࡦ͕ඞཁ –  ΧϥʔόϥϯεɺΨϯϚௐ੔ –  *LB-PH಺ͷը૾ݕग़ͷεϨογϣϧυมߋɺ ೝࣝΞϧΰϦζϜࣗମͷมߋͳͲ

8FCDBNରԠΛऔΓ΍Ίͨཧ༝ ήʔϜͷه࿥ΛʮखଧͪʯͰ͖Διϑτͷଘࡏ –  "OESPJEΞϓϦʮΠΧϨίʯ͕TUBUJOLʹରԠ ೝࣝੑೳͱͷόϥϯε –  ։ൃΛਐΊͯ΋)%.*Ωϟϓνϟ࣌ͱಉ͡ೝࣝਫ਼౓͸ग़ͤͳ͍ –  ೝࣝର৅ͷ૿Ճˠ։ൃ޻਺͕๲ΒΉ ։ൃίετͷׂʹɺෑډ͕Լ͕Βͳ͍
–  *LB-PH͕૝ఆ͢Δը࣭ͷ8FCDBN͸ͦΕͳΓʹߴՁ •  ʴ̍ສԁͷॳظ౤ࢿͰɺ)%.*ΩϟϓνϟσόΠεͷߪೖ͕ࢹ໺ʹ •  8FCDBNରԠͷͨΊʹ։ൃऀଆ͕࣋ͪग़͢޻਺ͷ΄͏͕ѹ౗తʹେ͖͍ ˠ ͔͑ͬͯϢʔβΛΨοΧϦͤ͞ΔՄೳੑ͕ߴ͍ ήʔϜͷϦΞϧλΠϜ௥੻Λॆ࣮ͤ͞Δํ޲΁ํ਑స׵

*LB-PHͷํ޲ੑ $ More Users $$$ Less Users
More Metrics Less Metrics IkaLog (IniYal Version) ・画面認識・自動記録 IkaLog (latest Version) ・より多くの　認識項目・タイムライン分析・Android App ・手動入力・特殊ハード不要 IkaLog (WebCam対応) 当初のプラン・HDMIキャプチャデバイスを　WebCamで代替・認識率・認識項目は減少

TUBUJOL౤ߘϢʔβ਺ $ More Users $$$ Less Users
More Metrics Less Metrics 100 users/day IkaLog (latest Version) 200 users/day

8FCDBNରԠͷ՝୊఺ͱ ͜Ε·ͰʹಘΒΕͨ஌ݟ •  ΋͠ɺ͜ͷΑ͏ͳʮมͳ࢖͍ํʯΛ͢Δͱ͖͸ ࣗಈௐ੔ػೳΛΦϑʹͰ͖Δ8FCDBN͕Φεεϝ –  Χϥʔόϥϯε͕ݻఆͰ͖Δ͜ͱ –  ίϯτϥετ͕ݻఆͰ͖Δ͜ͱ – 
ΦʔτϑΥʔΧεΛΦϑʹͰ͖Δ͜ͱ •  ϓϥζϚ57͸໌Δ͗ͯ͢8FCDBNͷ μΠφϛοΫϨϯδ͕௥͍͔ͭͳ͍ʁ&-ӷথ͸ʁ •  ৽͠ΊͷεϚʔτϑΥϯͷΧϝϥ΋ඇৗʹ༏ल

Αͦ͞͏ͳ8FC$BNͷҰྫ Logicool の Webcam はカラーバランス、コントラスト、フォーカスを固定できるのでこのような用途に向いている（アキヨドで試して購入した）
ただし上記の固定機能は Windows 専用。 Mac では実装されていない（怒

Ϛϯϝϯϛʂ ͋Γ͕ͱ͏͍͟͝·ͨ͠ʣ

IkaLog_v2.1

IkaLog_v2.1

More Decks by Takeshi HASEGAWA

Other Decks in Technology

Featured

Transcript