Node-REDの開発事例紹介

Transcript

1. Node-REDのノードの開発と 事例紹介 後地拓真
2. 自己紹介 •後地（うしろじ）です • 大阪府立大学工学域機械系学類の四回生 • Node-RED MCUの補足書の執筆者です • ノードの作成について書きました • 技術的なことはホームページに書いています • 「趣味的ロボット研究所」 • https://404background.com/ https://norahack-led.booth.pm/items/5721173
3. いろいろやってます
4. ①ノードの開発 ②Unreal Engine、ROSとの連携
5. ①ノードの開発 ②Unreal Engine、ROSとの連携
6. Node-RED MCUについて • Node-REDでマイコンのプログラムを作成できる • ESP32系、Raspberry Pi Picoなどに対応
7. Node-RED MCUの課題 • Node-REDには多くのノードがある • その全てが、Node-RED MCUで使えるわけでは無い • 必要なファイルが少しだけ違う 無ければ作ればいい！
8. サーボモータ用のノードが無い！ • パルス幅を考えないといけない！ • 角度を渡したら回転してほしい！
9. Servoノード https://flows.nodered.org/node/@background404/node-red-contrib-mcu-servo • 角度を入力すると、計算を行ってPWM outノードに渡す
10. これまで作成したノード • python-venvノード • whisperノード • VoiceVoxノード • Servoノード • Serialノード https://flows.nodered.org/user/background404
11. python-venvノード • Pythonのコードを実行できるノード • インストール時に仮想環境を作成 https://flows.nodered.org/node/@background404/node-red-contrib-python-venv
12. whisperノード • OpenAIのWhisperをローカルで実行できる • 音声ファイルから文字起こしをすることができる • 言語やモデルも選択可能 https://flows.nodered.org/node/@background404/node-red-contrib-whisper
13. VoiceVoxノード • voicevox_coreを利用できるノード • 文字列を渡すと、日本語の音声ファイルを出力する • 現在はWindowsのみで動作 https://flows.nodered.org/node/@background404/node-red-contrib-voicevox-core
14. ①ノードの開発 ②Unreal Engine、ROSとの連携
15. Unreal EngineとROSについて • Unreal Engineはゲームエンジン • シミュレーションのグラフィック処理を行う • ROSはロボットを制御するためのソフトウェア • 制御に必要な計算を行う • 特に運動学の計算をするためMoveItを利用する ⇒組み合わせてシミュレーションを行う
16. Unreal Engineとの連携 • HTTP Blueprint、HTTP Remote Control APIを利用した双方向 通信が可能
17. ROSとの連携 • ROS Bridge、rosノードによる通信が可能 • 現状ではROSからNode-REDへの一方的な通信を確認
18. 全体の構成 • MoveItで計算した数値を実機とUEに送信することで、同時に 操作する
19. Node-RED + Unreal Engine + ROS https://youtu.be/XNlZTDqnUVI
20. 最後に • ノードを開発・公開することで、第三者が簡単に利用できる • 専門の知識が無くても利用できる • 海外の開発者からフィードバックを得られる • Node-REDはハードウェアと連携できる • マイコン、ROS、ロボットなど • さらにシミュレーションとの連携へ
21. 公開記事 Node-RED MCU用のノードを作成してみる その１（LINE Notify） https://404background.com/program/node-create/ Node-RED MCU用のノードを作成してみる その２（Servoノード） https://404background.com/program/node-create-2/ Node-RED MCU用のノードを作成してみる その3（Serialノード） https://404background.com/program/node-create-3/ Node-REDのノードを作成してみる その１（python-venv） https://404background.com/program/node-create-python-venv/ Node-REDのノードを作成してみる その2（whisperノード） https://404background.com/program/node-create-whisper/ Node-REDのノードを公開してみる https://404background.com/program/node-red-publish/
22. 公開記事 WSL2を使ってみる その３（Ubuntu 20.04、ROS Noetic、Open Manipulator） • https://404background.com/program/wsl2-3/ WSL2を使ってみる その４（Ubuntu 16.04、ROS Kinetic、Open Manipulator） • https://404background.com/program/wsl2-4/ Unreal Engine 5を使ってみる その６（ロボットアーム、ブループリント） • https://404background.com/ue5/unreal-engine-5-6/ Unreal Engine 5を使ってみる その７（Open Manipulator） • https://404background.com/ue5/unreal-engine-5-7/ Unreal Engine 5を使ってみる その８（HTTP Request、Remote Control Web Interface、Node-RED） • https://404background.com/ue5/unreal-engine-5-8/ Unreal Engine 5を使ってみる その9（Remote Control API、Node-RED） • https://404background.com/ue5/unreal-engine-5-9/ WSL2のROSとWebSocket通信（ROS Bridge、Node-RED、Gazebo） • https://404background.com/program/ros-bridge/