20210414_ビジュアルプログラミングIoTLT vol.7

20210414_ビジュアルプログラミングIoTLT vol.7 Power Automate Desktop + Azure 画像認識 + obniz
ワンフットシーバス田中正吾

私の話はスライドを後ほど共有します。話す内容に注力いただいて大丈夫です！

田中正吾（たなかせいご）屋号：ワンフットシーバス 2004年よりフリーランス。以後、FLASH制作を中心にインタラクティブコンテンツを主に行い現在に至る。最近ではWEBフロントエンドをベースにしながらも、情報とインターフェースが合わさるアプローチという視点でIoTやMixed Realityといった技術も取り入れながら活動しています。

今日は Power Automate Desktop で Azure 画像認識した説明を obniz に送るデモ！

Power Automate Desktopが画像をローカルから読んでAzure 画像認識

obniz のメッセージング機能で Power Automate Desktop からデータを待って、

Power Automate Desktop で Azure 画像認識した説明を obniz が表示！

まず、動画デモ！

Power Automate Desktop

Microsoft から手元（デスクトップ）を自動化（Automate）するツール Windows 10 ユーザーであれば（制限はあれども）無料提供と最近発表されました。

こんな画面

ビジュアルプログラミングできる

いろいろなアクションがある。手元に強い。

Azure 画像認識のアクションもある

Azure 画像認識を Azure クラウドで取得してサブスクリプションキーを反映する仕組み

こんな画像をデスクトップから読む

Web 連携もできるので obniz ともイケるメッセージング機能で HTTP GET でデータ送れる

こんな感じで Azure 画像認識で取得した説明テキストを1つずつ送ってます

デモしてみる！

やってみて考えたこと ➔ 思ったより簡単に使えて楽しい ◆ やっぱりビジュアルプログラミングは取っつきやすいですねえ ◆ クセはあるけどそれも楽しさの一つですねえ ➔ HTTPで外に出れば何とかなる精神が刺激（個人的感想） ◆
細かい設定がまだ乗りこなせてないが HTTP GET / POST くらいなら乗りこなせる ➔ OCRのような機能ともつながるので面白そう ◆ 他クラウドの機械学習やOCR機能にもつながるっぽい ◆ 結局、クラウドにはデータを渡すけど手元でやってる感は出てて面白い ◆ 実はローカル実行の lobe 連携もやろうと思ったけど base64 変換がまだ突破できてない ➔ 手元のデータをネットワークに吸い上げられる楽しさ ◆ このあたり結構苦労していたのでありがたい ◆ PDF・Excel・テキストファイルなど読み込める ◆ ただしネットワークに送るための機能は、がんばる必要がありそう（それはそれで面白い）

エクストラ時間があれば

Web サービスの呼び出しアクションの中身エンコードとかコンテンツタイプとかいろいろできる。

Excel のデータを読んであれこれしたり https://twitter.com/1ft_seabass/status/1367294104229449729

さらに設備に命令したりもできる可能性 https://twitter.com/1ft_seabass/status/1374241210592755714

ご清聴いただきましてありがとうございました！

20210414_ビジュアルプログラミングIoTLT vol.7

20210414_ビジュアルプログラミングIoTLT vol.7

1ft-seabass
PRO

More Decks by 1ft-seabass

Other Decks in Technology

Featured

Transcript