半自動楽器ロボによる演奏支援システムの開発

半自動楽器ロボによる演奏支援システムの開発今回の演奏動画 https://www.nicovideo.jp/series/190935 https://twitter.com/goukoutaki 1 Tokyo BISH Bash #07 2022年7月6日(水)＠ZOOM
16:00～16:30 熊本大学上瀧剛こうたき

2 自己紹介（上瀧） 1980年福岡生(42歳) 2007年熊本大学工学部修了（博士） 2007～2010年日立製作所生産技術研究所 2010年熊本大学工学部情報電気
助教 2017～2020年 JSTさきがけ研究員（暦本総括） 2018年熊本大学准教授 2022年同教授専門：画像処理・コンピュータビジョン、ロボティクス MIRU長尾賞（最優秀論文賞）、IEICE論文賞、IEICE ISS論文賞、ISCIE産業技術賞国際会議：IEEE CVPR , ICCV, SIGGRAPH SEM こうたき崩落前第１候補第２候補第３候補 GPS position Contour err = 7.92mm Contour err = 11.95mm Contour err = 12.28mm 3D rotated Original NHKBSスペシャル人工知能学会全国大会JSAI2020（招待講演）将棋AI(クマ将棋2013）

3 例）フルートカラオケシステム・運指はロボットが自動で押さえてくれる・ゲームの要領で、タイミングに合わせて息を吹くだけで楽曲が演奏できる初心者でも演奏を楽しむことができるここのタイミングで息を吹く research content

4 背景：全自動楽器演奏ロボット鑑賞・人との合奏、楽器の発音メカニズム解析が目的サザエさん（筒美京平）トヨタ＠愛知万博 WAS 自動ピアノ自動ベース全自動楽器演奏ロボットの研究は1980年代から数多くあるどちらかというと・・・
research content

5 本発表：半自動楽器ロボット（電脳楽器）あえて全自動ではなく、半分は人間が演奏するアルトサックスソプラノサックスフルートトランペットバスクラリネット大正琴ベース
ギター試作した電脳楽器たち【メリット】・人間と楽器との直接的なインタラクション可能・初心者でも楽器演奏を楽しむことができる。振動を感じ取れる。・ソフトウェア音源とは異なる、アコースティックな響き。 research content

6 技術課題既にある全自動楽器ロボの一部の機能を抜けばいい？ → そうとは限らない！半自動楽器は「半分は人間が演奏する」という性質上、以下が必須。＜そのほかの要望＞・既存の楽器を傷つけずに、簡単に取り付けられる・安価・メンテナンスがしやすい
①手持ち可能（小型・軽量・安全・手とロボの干渉がない） ②ロボと演奏者の時間の同期手段の確立本研究では・・・上記①～②を解決 research content

7 ①手持ち可能な楽器ロボ当初は先行例と同様にソレノイドで運指機構を試作。しかし・・・・大きい・重たい・設置自由度がない・大電力(200W以上消費) ・発熱（樹脂が溶ける・管への影響大）問題が多いことが発覚。別の手段を模索。手持ちは厳しい・・・プルソレノイド：30x60mm、250g、24V・15W ⇒16個つけると、4kg、240W
(+これを支えるフレームが必要) ・・・の割には、ストローク長が短く、押さえるパワーも弱い。（リニアではない） research content

8 ①手持ち可能な楽器ロボ解決手段：マイクロサーボ＋つぶし玉・ナイロンコートワイヤー機構 22mm つぶし玉ナイロンコートワイヤーモータの回転でワイヤーをひっぱり、キーを押さえる本来は手芸用
高い耐久性・柔軟性・実績専用工具もある research content

9 ①手持ち可能な楽器ロボサーボホーンにワイヤーを取り付ける例（4倍速）この技法がなければ楽器ロボは実現できなかったと言っても過言ではない狭い空間内の煩雑なワイヤー処理が簡単・高速・十分な強度で可能となった research content

10 ②ロボと演奏者の時間の同期手段の確立半分は人間が演奏する、という性質上、機械と人間との同期が重要 ⇒音と視覚を利用 ⇒音楽ゲーム（音ゲー）システムを採用・synthesia ・本来はピアノ練習ソフト・タブレットで動く・MIDIデータを音ゲー化・特定チャンネルをMIDI出力可
（ロボをMIDI外部音源として扱える）・Bluetooth MIDIも可能（無線化）既存のシステムがそのまま使えた ※実際には機械遅延が調整でいないため、その後、cubaseに置き換えた（ただしGUIは貧弱） research content

11 演奏例管楽器初心者が演奏しているので、お聞苦しい点があるかと思いますが、ご了解ください。 research content

12 演奏例：フルート同じ運指でもオクターブの吹き分けが必要（なんとなく高い音を強めに吹いている） research content

13 演奏例：アルトサックス 2020年12月・リード楽器・ドラムは完全自動演奏・Lowキーはモーターのパワーが足りない research content

14 演奏例：ソプラノサックス・ソプラノは吹くのが難しかった（特に高音）・ピッチもずれている⇒スマート頭部管開発のモチベーション research content

演奏例：テナーサックス 2022年6月だれでもコルトレーン

16 演奏例：トランペット・運指が3本のみであり、容易に作成できた・ピストンに必要なストローク長が長いため小型サーボではパワー・スピード不足・金管は吹くほうが難しいため発表者では全く演奏できなかった（GUIで表示するとしたら、５～６種類の指示を与える） research content

17 演奏例：バスクラリネット・通常のクラリネットはオープンキーでロボ化ができなかったのでカバードキーのバスクラをロボ化・サックスと異なり円筒状であり、設計はサックスより容易・閉管であり運指はサックスより複雑（しかしロボなので関係ない）・キーのストローク長もサックスよりも短い・吹くのは難しかった・・・（息量が必要・レジスタキーを跨ぐ発音は無理） research content

18 演奏例：大正琴・SNSで偶然存在を知った・既に楽器自体が機械化されておりロボ化は容易・27フレットまであり、弦1本あたりの音域が広い（ギターは22フレット程度） research content

19 演奏例：大正琴・エレキ大正琴もあり、ベース大正琴があることを知る（ただし、指で弾くものではないらしい）・マイクロサーボではパワー不足なため、大き目のサーボモータをつけた・アクリル板では剛性不足のため、ステンレス板を加工した research content

20 演奏例：大正琴・ロボを2台繋いで、アンサンブル可能であることを確認・手前のモニターにGUIを表示させて、それを見ながら演奏・左の学生は弦楽器の未経験者（音ゲーは得意） research content

21 演奏例：大正琴多重録音での例 research content

22 演奏例：ピアニカ・基本的に大正琴と同じ・作成が簡単な割には完成度が高い。・誰でも吹けて、ピッチも安定、和音も出せる。・音楽体験には非常に良い。 research content

23 演奏例：エレキベース・ワイヤーではなく、直接サーボホーンで弦を押さえてみた（結構ムチャな作り）・1本の弦だけ押弦。２２フレットまで。 research content

24 演奏例：エレキギター・大正琴のキー機構を模倣・ただし、こちらは複数の弦を独立して押弦可能・モーターパワー不足、ネックの固定が不十分で改善の余地あり research content

25 演奏例：ギター・ボタンで複雑なコードを押えることができる・既存のギターを傷つけることなく装着可能

演奏例（ギター） Fコードの克服

27 今後の展望 Future Outlook ・完成度をあげる。人間の演奏に近づける。パワーや速度、設計の問題。・電源や安全性向上スマホ用のモバイルバッテリ―で屋外で動くことは確認。パワーを使うサックス等はドローン用の 2セルのリポバッテリーで動く（安全性に問題）
・広く知ってもらう。 youtubeなどの利用。作り方の公開、キット販売など。原価は安いです。ピアニカで楽器含めて1万円ちょっと。 37回再生・・・

半自動楽器ロボによる演奏支援システムの開発

半自動楽器ロボによる演奏支援システムの開発

y-kawagu

More Decks by y-kawagu

Other Decks in Technology

Featured

Transcript