Node-REDとAutomatorでプライバシーマスク作成を自動化する

by Kawazu

Slide 1

Slide 1 text

Node-REDとAutomatorでプライバシーマスク作成を自動化する河津正和

Slide 2

Slide 2 text

河津正和 ● セーフィー株式会社所属 ● バックエンドエンジニア/テクニカルディレクター ● 本業の他に個人でも仕事を受けてます ○ サービス立ち上げ系 ○ 開発運用系 ● LT主催のコミュニティをいくつか運営してます ○ Technical Director Meetup ○ CivicTechLT Twitter：@kawazu255_ Qiita：kawazu255 note：kawazu255

Slide 3

Slide 3 text

こんなことありませんか？？一般参加者の人を募ってオンラインイベントを行うアーカイブをYouTubeに残したい！参加者の顔が映ってる・・ぼかしを入れたい！

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

動画内の人の顔に自動でぼかしを入れられるシステム欲しいモチベーション

Slide 6

Slide 6 text

画像から人の顔を判別しぼかしを入れる処理をノーコードで作れるか試行錯誤した話今日お話しすること

Slide 7

Slide 7 text

No content

Slide 8

Slide 8 text

Macのため使用できず・・・ (すみません)

Slide 9

Slide 9 text

Automator

Slide 10

Slide 10 text

Automatorとは？様々なワークフローを自動化して簡単に作業を効率化できる、Macの標準アプリケーション

Slide 11

Slide 11 text

Automatorレシピ例 ● お気に入りのWebサイトから画像を探して自動的に特定のフォルダに保存 ● Finderで特定フォルダの中にある大量のファイルの名前を一瞬で変更 ● Wordファイルを瞬時にPDFファイルにする

Slide 12

Slide 12 text

特定のディレクトリに画像を格納画像にぼかしがかかる処理を作ってみる！

Slide 13

Slide 13 text

フォルダアクション特定のフォルダに項目が追加されることで、処理が実行される

Slide 14

Slide 14 text

特定のフォルダに項目が追加されたら発火別のフォルダにファイルコピーブラー(ぼかし)処理を入れる

Slide 15

Slide 15 text

Demo

Slide 16

Slide 16 text

人の顔は判別できない顔にのみぼかしを入れたい

Slide 17

Slide 17 text

No content

Slide 18

Slide 18 text

処理フロー 1. 特定のディレクトリに画像ファイルを置く 2. Node-REDにて顔画像判定 3. 顔座標をJSONファイル形式で特定のディレクトリに保存 4. AutomatorがJSON設置を検知 5. 顔部分のみにぼかし処理を入れて保存

Slide 19

Slide 19 text

Slide 20

Slide 20 text

※enebular editorを使いましょう

Slide 21

Slide 21 text

※enebular editorを使いましょう Watchノード特定のディレクトリにファイルの追加があるか監視する

Slide 22

Slide 22 text

※enebular editorを使いましょう ﬁle inノードファイルの読み込みを行う Watchノードと連携すれば、特定ディレクトリに追加されたファイルをそのまま読み込める

Slide 23

Slide 23 text

※enebular editorを使いましょう posenetノード顔のパーツの位置や骨格の位置(ボーン)を取得できる node-red-contrib-tensorﬂow モジュールが必要参考：https://qiita.com/kazuhitoyokoi/ite ms/e4da2dc1c39c0a11569e

Slide 24

Slide 24 text

※enebular editorを使いましょう ﬁleノード特定のディレクトリにファイル出力ができるノードここでは、posenetノードで解析された結果をJSON形式で保存する

Slide 25

Slide 25 text

Slide 26

Slide 26 text

特定のフォルダに JSONファイルが追加されたら発火 JSONからぼかし領域を割り出しぼかし処理を入れる ※ここで全ノーコード方針を断念(くやしい)

Slide 27

Slide 27 text

Demo

Slide 28

Slide 28 text

ちなみに・・・ ● node-red-contrib-image-toolsというノードで、Node-RED上で画像処理を行うことができる。 ● 中身はJimpというライブラリを使用していて、ぼかし(blur)処理もある ● ただ、ノード追加時にエラーになってしまって未確認 ○ ノードの追加が1件しかできない(OSX Big Sur) ● 上手くいけば、Node-REDで完結して、かつノーコードで顔認識&ぼかし処理までいけるかも

Slide 29

Slide 29 text

やってみた感想 ● 自動化したい処理に対してノーコードを組むには、いろんな調査や試行錯誤が必要 ○ ノーコードを諦めざるを得なくなる場合も ● どのツールでど何ができて何ができないのかというのは、触ってみることでわかってくる ● 100%欲しかったものができなかったとしても、プロトタイプという位置付けにはなる ○ コードを書かなければいけない箇所がはっきりする ○ 業務でテスト導入して、そもそも使われる機能かを判断する