20210414_ビジュアルプログラミングIoTLT vol.7 Power Automate Desktop + Azure 画像認識 + obniz ワンフットシーバス 田中正吾

私の話はスライドを後ほど共有します。 話す内容に注力いただいて大丈夫です！

田中正吾（たなかせいご） 屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を 中心にインタラクティブコンテンツを主に行い現 在に至る。 最近ではWEBフロントエンドをベースにしなが らも、情報とインターフェースが合わさるアプ ローチという視点でIoTやMixed Realityといった 技術も取り入れながら活動しています。

今日は Power Automate Desktop で Azure 画像認識した説明を obniz に送るデモ！

Power Automate Desktopが 画像をローカルから読んでAzure 画像認識

obniz のメッセージング機能で Power Automate Desktop からデータを待って、

Power Automate Desktop で Azure 画像認識した説明を obniz が表示！

まず、動画デモ！

Power Automate Desktop

Microsoft から手元（デスクトップ）を 自動化（Automate）するツール Windows 10 ユーザーであれば（制限はあれども）無料提供と最近発表されました。

こんな画面

ビジュアルプログラミングできる

いろいろなアクションがある。手元に強い。

Azure 画像認識のアクションもある

Azure 画像認識を Azure クラウドで取得して サブスクリプションキーを反映する仕組み

こんな画像をデスクトップから読む

Web 連携もできるので obniz ともイケる メッセージング機能で HTTP GET でデータ送れる

こんな感じで Azure 画像認識で取得した 説明テキストを1つずつ送ってます

デモしてみる！

やってみて考えたこと ➔ 思ったより簡単に使えて楽しい ◆ やっぱりビジュアルプログラミングは取っつきやすいですねえ ◆ クセはあるけどそれも楽しさの一つですねえ ➔ HTTPで外に出れば何とかなる精神が刺激（個人的感想） ◆ 細かい設定がまだ乗りこなせてないが HTTP GET / POST くらいなら乗りこなせる ➔ OCRのような機能ともつながるので面白そう ◆ 他クラウドの機械学習やOCR機能にもつながるっぽい ◆ 結局、クラウドにはデータを渡すけど手元でやってる感は出てて面白い ◆ 実はローカル実行の lobe 連携もやろうと思ったけど base64 変換がまだ突破できてない ➔ 手元のデータをネットワークに吸い上げられる楽しさ ◆ このあたり結構苦労していたのでありがたい ◆ PDF・Excel・テキストファイルなど読み込める ◆ ただしネットワークに送るための機能は、がんばる必要がありそう（それはそれで面白い）

エクストラ 時間があれば

Web サービスの呼び出しアクションの中身 エンコードとかコンテンツタイプとかいろいろできる。

Excel のデータを読んであれこれしたり https://twitter.com/1ft_seabass/status/1367294104229449729

さらに設備に命令したりもできる可能性 https://twitter.com/1ft_seabass/status/1374241210592755714

ご清聴いただきまして ありがとうございました！