Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
にゃーんとわんわん
Search
Doarakko
December 11, 2020
Programming
0
1.1k
にゃーんとわんわん
Doarakko
December 11, 2020
Tweet
Share
More Decks by Doarakko
See All by Doarakko
Vercel Edge Functions を使って作る画像メーカー
doarakko
0
10
JOIN して1ヶ月のエンジニアに聞いた Liiga の良いところ 3 選
doarakko
0
74
わんわおーん
doarakko
0
60
職場を明るくする
doarakko
0
200
コードレビューの時間を削減しました
doarakko
0
83
仕事中に隠れてテレビ番組表を見るぞ
doarakko
0
100
GitHub Project の運用を自動化しました
doarakko
0
100
GitHub Actions に入門しました
doarakko
0
1.2k
積ん読を消化するために
doarakko
0
1.1k
Other Decks in Programming
See All in Programming
Folding Cheat Sheet #1
philipschwarz
PRO
0
210
From Spring Boot 2 to Spring Boot 3 with Java 22 and Jakarta EE
ivargrimstad
0
870
オブジェクト指向のリ・オリエンテーション~歴史を振り返り、AI時代に向きなおる~
hanyudaeiiti
9
5.6k
Micro Frontends for Java Microservices - Devnexus 2024
mraible
PRO
0
420
二郎系ラーメンのコールで学ぶ AST 解析
memory1994
PRO
7
1.6k
AWS Application Composerで始める、 サーバーレスなデータ基盤構築 / 20240406-jawsug-hokuriku-shinkansen
kasacchiful
1
250
1인 개발자로 행복하게 살기 - GDG 송도 헬로월드 2024
benjaminkim
1
5.6k
Doctrine ORMでValue Objectを扱う方法4選 #phpstudy / 4 ways to handle Value Objects with Doctrine ORM
77web
4
110
コードレビューで学ぶ!Kotlinオブジェクト指向デザインパターン
akkie76
2
170
VSCodeでのDatabricks開発もお勧めしたい/I would also recommend Databricks development with VSCode.
kazumain
0
240
Blue/Greenデプロイの導入による 運用フローの改善
kudoas
1
350
雑に思考を整理する技術と効能
konifar
55
25k
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
15
1.4k
Mobile First: as difficult as doing things right
swwweet
216
8.6k
Building an army of robots
kneath
300
41k
Building Applications with DynamoDB
mza
88
5.6k
Unsuck your backbone
ammeep
662
57k
Scaling GitHub
holman
457
140k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
240
1.2M
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
154
14k
StorybookのUI Testing Handbookを読んだ
zakiyama
11
4.6k
Fireside Chat
paigeccino
20
2.6k
A Tale of Four Properties
chriscoyier
150
22k
Transcript
にゃーんとわんわん @Doarakko
・2019年12月入社(2社目) ・エンジニア歴1.5年 - 仕事: Go, PHP - 趣味: Python, C++
・AtCoder 緑 ・海外サッカーをよく見ます 自己紹介 2
3
4
Slackbot を使ってます 5 ・Slack 標準搭載のボット ・誰でも簡単に使える ・改行で区切るとランダムで返る ・画像 URL は展開される
手動追加面倒くさい & 文字数制限あり 6
Bot 作りました 7 ⚽ GitHub: https://github.com/Doarakko/iyashi
Heroku 全体の構成と流れ:画像投稿 8 bot ML model postgres ① ② ③
④ ⑤
Heroku 全体の構成と流れ:にゃーん 9 bot ML model postgres ① ② ③
④ にゃーん
使用したもの Slack Bot ・Heroku:Bot を動かしている場所 ・slackbot:Python で簡単に Slack Bot を作成するためのライブラリ
動物の画像認識モデル ・PyTorch:機械学習のライブラリ ・flickr API:動物画像の収集 ・Google Colab:モデル作成の作業場所 10
・超簡単に Slack Bot を作れる ・特定のメッセージに対して、送信・返信・絵文字をつけられる Python のライブラリ slackbot 11 https://github.com/lins05/slackbot
1. データ収集 2. 画像のノイズ除去 3. 前処理 4. 転移学習 5. モデル評価
モデル作成手順 12
flickr API を使って各動物 600 枚の画像を収集(合計 3,000 枚) モデル作成手順(1 / 5):データ収集
13 flickr: 写真共有サイト
モデル作成手順(2 / 5):画像のノイズ除去 14 今回はサボりました
モデル作成手順(3 / 5):前処理 15 今回行ったもの ・画像サイズをあわせる ・正規化 よく行うもの ・ 写真から顔を切り取る(for
顔認識モデル) ・オリジナルを回転した画像を生成(水増し) ・位置の補正
モデル作成手順(4 / 5):転移学習 16 過学習:模擬試験は 90 点だったけど本番は 30 点 ・学習済みモデルのパラメータをそのまま使用
・最終層以外のパラメータを学習させないため過学習を抑えられる ・クラス数にあわせて最終層を変更 https://www.youtube.com/watch?v=yv0SzIvIhGk
モデル作成手順(4 / 5):転移学習 17 ・ImageNet で学習させた ResNet-18 を使用 ・ResNet は最大
152 層(今回は一番小さいものを使用) PyTorch から簡単に学習済みのモデルを使えます https://www.researchgate.net/figure/Proposed-Mod ified-ResNet-18-architecture-for-Bangla-HCR-In-th e-diagram-conv-stands-for_fig1_323063171
モデル作成手順(5 / 5):モデル評価 18 ・合計 3,000 枚の画像をランダムに分ける(各クラスごとの画像枚数は均等に) - 学習用:2,000 枚
- バリデーション用:500 枚 - テスト用:500 枚 テスト用のデータに対して Accuracy 0.9820 各データは必ず独立させる(例:学習用とテスト用で同じデータを使わない)
1. データ収集 2. 画像のノイズ除去 3. 前処理 4. 転移学習 5. モデル評価
モデル作成手順(再掲) 19
ルールベース 1:80 % (仮) ・「ネコ」がほとんど(弊社)なので全て「ネコ」として判定 ルールベース 2:90 % (仮) ・A
さんは「イヌ」を飼っている → A さんから投稿された画像は全て「イヌ」として判定 ・B さんは「ネコ」と「イヌ」を飼っている → ランダムで判定 機械学習:98 % ・実装難易度、工数、スペシャリスト、運用コスト、 etc 機械学習本当に必要ですか? 20 本当に機械学習が必要なのか、他に方法がないかしっかりと考える必要がある
付録:誰でもどこでもコーディングフリーで with Heroku Button 21 JSON ファイルを書くだけで簡単にツールを配布可能 ⚽ https://github.com/Doarakko/iyashi
⚽ https://speakerdeck.com/8823scholar/herokuhasi-ndafalseka
にゃーんとわんわん @Doarakko