enebularx TensorFlowx LINE Chatbotでcocossdとmobilenetを比較した

2020/12/01 enebular developer meetup
enebularx TensorFlowx LINE Chatbotでcocossdとmobilenetを比較した
#enebular #TensorFlow #cocossd #mobilenet

Transcript

1. enebular x TensorFlow x LINE Chatbotで cocossdとmobilenetを比較した
2. 三木啓司 ProtoOut Studioスクール1期生 医薬品研究受託会社に勤務(事業推進）
3. https://qiita.com/youtoy/items/102c9ab8b5f25d542056 Node-RED x Teachable Machine
4. https://qiita.com/kazuhitoyokoi/items/e4da2dc1c39c0a11569e Node-RED x tensorflow
5. https://www.youtube.com/watch?v=vDpCk92S-7M enebularとTeachable Machineハンズオン(ランチ時間開催) 2020/08/11 enebular x Teachable Machine x LINE
6. @kazuhitoyokoi @h-takauma 今回(@MikH) 今回 がおまるさん作のflow内のTeachable Machine nodeを、tensorflow nodeに 入れ替えた enebular x tensorflow x LINE
7. const className = msg.payload; const className = msg.payload[0].class; Teachable Machine用 functionのコードの1行目を書き換える Tensorflow用 削除 ほぼノンコーディングで、機械学習不要で、画像判定LINEチャットボットができた
8. 2種のモデル(cocossd と mobilenet)を比較してみた。 2種のモデルを 試してみた
9. Object detection model that aims to localize and identify multiple objects in a single image. The model is capable of detecting 80 classes of objects. (SSD stands for Single Shot MultiBox Detection).returns an array of bounding boxes with class name and confidence level. https://github.com/tensorflow/tfjs-models/blob/master/coco-ssd/README.md MobileNets are small, low-latency, low-power models parameterized to meet the resource constraints of a variety of use cases. They can be built upon for classification, detection, embeddings and segmentation similar to how other popular large scale models, such as Inception, are used. MobileNets trade off between latency, size and accuracy while comparing favorably with popular models from the literature. https://github.com/tensorflow/tfjs-models/tree/master/mobilenet Object Detection (coco-ssd) MobileNets coco: Common Objects in Context ssd: single shot detector
10. person, bicycle, car, motorcycle, airplane, bus, train, truck, traffic light, fire hydrant, stop sign, parking meter, bird, cat, dog, horse, sheep, cow, elephant, bear, zebra, giraffe, backpack, umbrella, handbag, tie, suitcase, frisbee, skis, snowboard, sports ball, kite, baseball glove, skateboard, surfboard, tennis racket, bottle, wine glass, cup, fork, knife, spoon, bowl, banana, apple, sandwhich, orange, broccoli, carrot, pizza, donut, cake, chair, couch, potted plant, bed, dining table, toilet, tv, laptop, mouse, remote,, keyboard, cell phone, microwave, oven, toaster, sink, refrigerator, book, clock, vase, scissor, teddy bear, hair drier, toothbrush coco-ssdが認識する80のcommon object
11. cocossd mobilenet 犬の種類知ってる dogのみ
12. cocossd mobilenet 猫の種類知ってる catのみ
13. cocossd mobilenet mouse知らない 認識する80object に入っていない hamster とか isopod (ワラジムシ） とか 間違う
14. cocossd mobilenet birdのみ 種類を 知っている
15. cocossd mobilenet giraffeのみ 詳しい種類を 回答しているが 間違ってる
16. cocossd mobilenet truckのみ 種類を 知っている
17. cocossd mobilenet busのみ 種類を 知っている
18. cocossd mobilenet ランボルギーニは truckに見えるらしい 種類を 知っている
19. cocossd mobilenet bicycleのみ 種類を 知っている rapeseed （菜の花） 大きく 間違っている
20. cocossd mobilenet trainのみ 種類を 知っている
21. cocossd mobilenet 日本の信号 知らない いろいろな 単語を 知っている
22. cocossd mobilenet personのみ 服の種類を 回答する personとは 言わない
23. cocossd mobilenet surfboardのみ 間違い。 surfboard を知らない。 can opener に見えるらしい 間違い。 surfboard を知らない。 letter opener に見えるらしい
24. enebular x TensorFlow(mobilenet) x LINE Chatbotは 持ち歩いて使いたいので、最後に、Heroku へDeploy した HEROKU