半自動楽器ロボによる演奏支援システムの開発 今回の演奏動画 https://www.nicovideo.jp/series/190935 https://twitter.com/goukoutaki 1 Tokyo BISH Bash #07 2022年7月6日(水)＠ZOOM 16:00～16:30 熊本大学 上瀧剛 こうたき 

2 自己紹介（上瀧） 1980年 福岡生(42歳) 2007年 熊本大学工学部修了（博士） 2007～2010年 日立製作所生産技術研究所 2010年 熊本大学工学部情報電気 助教 2017～2020年 JSTさきがけ研究員（暦本総括） 2018年 熊本大学 准教授 2022年 同教授 専門：画像処理・コンピュータビジョン、ロボティクス MIRU長尾賞（最優秀論文賞）、IEICE論文賞、IEICE ISS論文賞、ISCIE産業技術賞 国際会議：IEEE CVPR , ICCV, SIGGRAPH SEM こう たき 崩落前 第１候補 第２候補 第３候補 GPS position Contour err = 7.92mm Contour err = 11.95mm Contour err = 12.28mm 3D rotated Original NHKBSスペシャル 人工知能学会全国大会JSAI2020（招待講演） 将棋AI(クマ将棋2013） 

3 例）フルートカラオケシステム ・運指はロボットが自動で押さえてくれる ・ゲームの要領で、タイミングに合わせて息を吹くだけで楽曲が演奏できる 初心者でも演奏を楽しむことができる ここのタイミングで 息を吹く research content 

4 背景：全自動楽器演奏ロボット 鑑賞・人との合奏、楽器の発音メカニズム解析が目的 サザエさん（筒美京平） トヨタ＠愛知万博 WAS 自動ピアノ 自動ベース 全自動楽器演奏ロボットの研究は1980年代から数多くある どちらかというと・・・ research content 

5 本発表：半自動楽器ロボット（電脳楽器） あえて全自動ではなく、半分は人間が演奏する アルトサックス ソプラノサックス フルート トランペット バスクラリネット 大正琴 ベース ギター 試作した電脳楽器たち 【メリット】 ・人間と楽器との直接的なインタラクション可能 ・初心者でも楽器演奏を楽しむことができる。振動を感じ取れる。 ・ソフトウェア音源とは異なる、アコースティックな響き。 research content 

6 技術課題 既にある全自動楽器ロボの一部の機能を抜けばいい？ → そうとは限らない！ 半自動楽器は「半分は人間が演奏する」という性質上、以下が必須。 ＜そのほかの要望＞ ・既存の楽器を傷つけずに、簡単に取り付けられる ・安価 ・メンテナンスがしやすい ①手持ち可能（小型・軽量・安全・手とロボの干渉がない） ②ロボと演奏者の時間の同期手段の確立 本研究では・・・上記①～②を解決 research content 

7 ①手持ち可能な楽器ロボ 当初は先行例と同様にソレノイドで運指機構を試作。しかし・・・ ・大きい・重たい・設置自由度がない ・大電力(200W以上消費) ・発熱（樹脂が溶ける・管への影響大） 問題が多いことが発覚。別の手段を模索。 手持ちは厳しい・・・ プルソレノイド：30x60mm、250g、24V・15W ⇒16個つけると、4kg、240W (+これを支えるフレームが必要) ・・・の割には、 ストローク長が短く、押さえるパワーも弱い。 （リニアではない） research content 

8 ①手持ち可能な楽器ロボ 解決手段：マイクロサーボ ＋ つぶし玉・ナイロンコートワイヤー機構 22mm つぶし玉 ナイロンコートワイヤー モータの回転でワイヤーをひっぱり、キーを押さえる 本来は手芸用 高い耐久性・柔軟性・実績 専用工具もある research content 

9 ①手持ち可能な楽器ロボ サーボホーンにワイヤーを取り付ける例（4倍速） この技法がなければ楽器ロボは実現できなかったと言っても過言ではない 狭い空間内の煩雑なワイヤー処理が簡単・高速・十分な強度で可能となった research content 

10 ②ロボと演奏者の時間の同期手段の確立 半分は人間が演奏する、という性質上、機械と人間との同期が重要 ⇒音と視覚を利用 ⇒音楽ゲーム（音ゲー）システムを採用 ・synthesia ・本来はピアノ練習ソフト ・タブレットで動く ・MIDIデータを音ゲー化 ・特定チャンネルをMIDI出力可 （ロボをMIDI外部音源として扱える） ・Bluetooth MIDIも可能（無線化） 既存のシステムがそのまま使えた ※実際には機械遅延が調整でいないため、その後、cubaseに置き換えた（ただしGUIは貧弱） research content 

11 演奏例 管楽器初心者が演奏しているので、お聞苦しい点があるかと思いますが、ご了解ください。 research content 

12 演奏例：フルート 同じ運指でもオクターブの吹き分けが必要 （なんとなく高い音を強めに吹いている） research content 

13 演奏例：アルトサックス 2020年12月 ・リード楽器 ・ドラムは完全自動演奏 ・Lowキーはモーターのパワーが足りない research content 

14 演奏例：ソプラノサックス ・ソプラノは吹くのが難しかった（特に高音） ・ピッチもずれている⇒スマート頭部管開発のモチベーション research content 

演奏例：テナーサックス 2022年6月 だれでもコルトレーン 

16 演奏例：トランペット ・運指が3本のみであり、容易に作成できた ・ピストンに必要なストローク長が長いため 小型サーボではパワー・スピード不足 ・金管は吹くほうが難しいため発表者では全く演奏できなかった （GUIで表示するとしたら、５～６種類の指示を与える） research content 

17 演奏例：バスクラリネット ・通常のクラリネットはオープンキーでロボ化ができなかったので カバードキーのバスクラをロボ化 ・サックスと異なり円筒状であり、設計はサックスより容易 ・閉管であり運指はサックスより複雑（しかしロボなので関係ない） ・キーのストローク長もサックスよりも短い ・吹くのは難しかった・・・（息量が必要・レジスタキーを跨ぐ発音は無理） research content 

18 演奏例：大正琴 ・SNSで偶然存在を知った ・既に楽器自体が機械化されておりロボ化は容易 ・27フレットまであり、弦1本あたりの音域が広い（ギターは22フレット程度） research content 

19 演奏例：大正琴 ・エレキ大正琴もあり、ベース大正琴があることを知る（ただし、指で弾くものではないらしい） ・マイクロサーボではパワー不足なため、大き目のサーボモータをつけた ・アクリル板では剛性不足のため、ステンレス板を加工した research content 

20 演奏例：大正琴 ・ロボを2台繋いで、アンサンブル可能であることを確認 ・手前のモニターにGUIを表示させて、それを見ながら演奏 ・左の学生は弦楽器の未経験者（音ゲーは得意） research content 

21 演奏例：大正琴 多重録音での例 research content 

22 演奏例：ピアニカ ・基本的に大正琴と同じ ・作成が簡単な割には完成度が高い。 ・誰でも吹けて、ピッチも安定、和音も出せる。 ・音楽体験には非常に良い。 research content 

23 演奏例：エレキベース ・ワイヤーではなく、直接サーボホーンで弦を押さえてみた （結構ムチャな作り） ・1本の弦だけ押弦。２２フレットまで。 research content 

24 演奏例：エレキギター ・大正琴のキー機構を模倣 ・ただし、こちらは複数の弦を独立して押弦可能 ・モーターパワー不足、ネックの固定が不十分で改善の余地あり research content 

25 演奏例：ギター ・ボタンで複雑なコードを押えることができる ・既存のギターを傷つけることなく装着可能 

演奏例（ギター） Fコードの克服 

27 今後の展望 Future Outlook ・完成度をあげる。人間の演奏に近づける。 パワーや速度、設計の問題。 ・電源や安全性向上 スマホ用のモバイルバッテリ―で屋外で動くことは確認。 パワーを使うサックス等はドローン用の 2セルのリポバッテリーで動く（安全性に問題） ・広く知ってもらう。 youtubeなどの利用。作り方の公開、キット販売など。 原価は安いです。ピアニカで楽器含めて1万円ちょっと。 37回再生・・・