KABAF Butchi's Math Night - Music Disclosed in Mathematics - timbre -

Transcript

1. ぶっち博士の数学ナイト 数学で紐解く音楽 〜音色編〜 Music Disclosed in Mathematics -Timbre- KABAF 2019-02-22

   カマコン 岩淵 勇樹

2. アウトライン Outline 本日のお品書き そもそも「音」とは？ 音色とは フーリエ変換 解析信号 研究紹介

3. 自己紹介 Self introduction 岩淵 勇樹（ぶっち） IWABUCHI Yu(u)ki / Butchi 金沢大学自然科学研究科修了

   博士（工学） Ph.D. in Engineering 面白法人カヤックにてエンジニア7年目

4. 活動の紹介 Introduction of works 幾何学図形を元にした音楽 「フラクタル音楽」 （Fractal Music） Instagram carpet_fractal

5. そもそも 「音」とは？ About “sound” 各分野における「音」 認知科学的な「音」 物理的な「音」 工学的な「音」 音を構成する3要素

6. 認知科学的な「音」 Sounds about cognitive science 聴覚としての知覚 鼓膜を伝って知覚される Blausen.com staff (2014).

   "Medical gallery of Blausen Medical 2014". WikiJournal of Medicine 1 (2). DOI:10.15347/wjm/2014.010. ISSN 2002-4436. [link]

7. 物理的な「音」 Sounds about physics 振動 空気の圧力の粗密が 波となって伝わる https://commons.wikimedia.org/wiki/File:CPT-sound-physical- manifestation.svg

8. 工学的な「音」 Sounds about engineering 時間を軸とした1次元信号 つまりグラフで表せる

9. 音を構成する3要素 Three major factors of sound 音量 loudness 音高 pitch

   音色 ← 今日の話題はこれ timbre ※「ねいろ」と「おんしょく」ではニュアンスが異なるようです

10. 音色とは About timbre JIS Z 8106:2000 801-29-09 音色（ねいろ） timbre 聴覚に関する音の属性の一つで，物理的に異なる二つの音が，たとえ同じ音の大き

    さ及び高さであっても異なった感じに聞こえるとき，その相違に対応する属性。 • 音の三大要素のうち、「音量」と「音高」以外 • 具体的な定義がない！ Timbre is an attribute except for loudness and pitch.

11. 音色を理解するための概念 Keywords for understanding about timbre • スペクトル (spectrum) •

    フーリエ変換 (Fourier transform) • 加算合成 (additive synthesis)

12. 波形 Waveform 音をグラフで表したときの波の形のこと

13. 周期信号 Periodic signal ずっと同じ音色が聞こえるとき → 波形が周期的

14. プリミティブな音色 Primitive timbres 正弦波 矩形波 三角波 鋸波 後述のシンセサイザーでもよく使われる

15. フーリエ変換 Fourier Transform スペクトル フーリエ変換の定義 プリミティブな音色 波形の元は正弦波

16. この数列は何？ What is this sequence? • ハーモニカ (Harmonica): 14, 20,

    13, 3, 4, … • バイオリン (Violin): 26, 11, 2, 1, 1, … • トランペット (Trumpet): 0, 13, 0, 20, 0, …

17. フーリエ変換 Fourier tansform • 音のグラフは周波数が違う波の足し合わせ • sinとかcosとかの和になる

18. フーリエ変換 Fourier tansform • 周波数が基本周波数、2倍、3倍、… • 後述の「倍音」に関連

19. フーリエ変換 Fourier Transform この例の場合、{6, 0, 0.9, 0, 0.1, …} が音色を決定づける倍音成分の配列

20. スペクトル Spectrum • 音楽プレイヤーの視覚エフェクトでよく見るやつ https://github.com/dpayne/cli-visualizer

21. スペクトル Spectrum • 周波数ごとの音高をグラフ化 • これが先ほどの「スペクトル」の正体

22. 楽器ごとのスペクトルから 固有の数列が得られる

23. 倍音成分の数列 • 正弦波 (Sine wave): 10, 0, 0, 0, 0,

    … • 三角波 (Triangle wave): 6, 0, 0.9, 0, 0.1, … • ハーモニカ (Harmonica): 14, 20, 13, 3, 4, … • バイオリン (Violin): 26, 11, 2, 1, 1, … • トランペット (Trumpet): 0, 13, 0, 20, 0, …

24. 倍音とは Overtones 基本音となる周波数の何倍か How many times frequency from fundamental tone

25. スペクトルの復習 周波数（音高）ごとの強さをグラフ化 Plot amplitude by frequency

26. 音色の作り方 How to generate timbres 加算合成 シンセサイザー 減算合成 音作りは組み合わせ

27. シンセサイザー Synthesizer https://www.youtube.com/watch?v=n3K_fZDvINs

28. 音作りは組み合わせ Synthesis is combination https://www.youtube.com/watch?v=vvBl3YUBUyY

29. 加算合成 Additive Synthesis • 初期のシンセサイザーやパイプオルガン • 倍音を加算して音を作る方式 • フーリエ変換の原理に基づけば 任意の音色を合成可能

    https://www.youtube.com/watch?v=YsZKvLnf7wU https://commons.wikimedia.org/wiki/File:Pipe.organ.console.arp.jpg

30. 減算合成 Subtractive synthesis • 最初に複雑な（＝高周波を含む）音色を作り、 削っていく合成方法 • 加算合成よりも深みのある音色を合成可能 https://www.youtube.com/watch?v=se31yZHNLLI

31. 解析信号 Analytic Signal ぶっち博士の博士論文

32. 博士論文 Doctor thesis 「図形と音声の変換手法とその応用に関する研究」 “A study on transforming methods between

    shape and audio and their applications” https://www.butchi.jp/documents/d-thesis/

33. 「音色」の入力インタフェース • 主にツマミやボタン・スライダ • 自由な音作りには慣れが必要

34. タッチパネル製品の普及 • スマートフォン（iPhone、Android端末） • タブレット端末（iPad等） • ゲーム機（ニンテンドーDS、Wii U、PlayStation Vita） タッチ操作に最適な新しいインタフェースが必要

35. アウトライン • 音声信号を可視化 • 閉曲線図形から音色を生成 • 平面的な入力インタフェースを生かした 音色入力の方法を提案

36. 音のかたちとは？（発想の原点） 正弦波＝

37. 音のかたちとは？（発想の原点） 正弦波＝

38. オイラーの公式 Euler's formula eiθ = cos θ + i sin

    θ θ = π → eiπ = -1 (⇐ cos π + i sin π) https://ja.wikipedia.org/wiki/オイラーの公式

39. オイラーの公式の図解 The animation of Euler’s formula eiθ = cos θ

    + i sin θ 実部 実部 虚部 実部 実部 虚部

40. 円運動 Circular motion eiθ =

41. オイラーの公式 Euler's formula eiθ = cos θ + i sin

    θ e-iθ = cos(-θ) + i sin(-θ) = cos θ - i sin θ

42. 正弦波の複素数表記の図解 The animation of exponential sine wave e-iθ eiθ cos

    θ 実部 実部 虚部 実部

43. 正弦波のスペクトル Spectrum of sine wave e-iθ eiθ

44. 解析信号フィルタ Analytics signal filter e-iθ eiθ

45. 複素指数関数とスペクトル Complex exponential and spectrum フーリエ級数により、任意の関数は正弦波の和で表せる e-iθ eiθ e2iθ e3iθ

    e-2iθ e-3iθ

46. 解析信号フィルタ Analytics signal filter 任意の関数の解析信号は、負周波数成分を除去したもの e-iθ eiθ e2iθ e3iθ e-2iθ

    e-3iθ

47. 音声信号の複素化 Complexification of audio signal 実数部: 元の音声信号 虚数部: ヒルベルト変換した音声信号

48. 解析信号（音を形にする） Analytic signal (sounds to shapes)

49. CloSynth: 解析信号シンセサイザ CloSynth: Analytics signal synthesizer 解析信号＋解析信号＝解析信号 制御点をドラッグする度に解析信号を付加 ツマミのないシンセサイザ

50. CloSynthの実行画面 Execution screen of CloSynth

51. まとめ Conclusion • 解析信号を用いて、図形と音声の相互変換の手法を提案した ◦ 音色を閉曲線図形として見ることが可能になった • 解析信号を用いたシンセサイザを開発した ◦ 直感的であるとはいえないが、

    GUIを有効活用したインタフェースを実現できた

52. 研究紹介 博士論文 bion 倍音距離 コトダマの可視化 ぶっち博士渾身の成果

53. bion

54. bion: 螺旋と放射

55. bionと倍音

56. bionと倍音 ド ミ ソ

57. デモ https://butchi.github.io/bion-sound/

58. 倍音距離: 最近の独自研究 音と音の間に距離を定義する ex: ドとオクターブ上のドは距離0、ドとソは近い、ドとド#は遠い etc… → 和音や音律を数学的に解析できる

59. コトダマの可視化 鎌倉が舞台の映画『きみの声をとどけたい』から 着想を得た、声と音楽の可視化 デモ: https://kotodamabu.github.io/interaction-ipsj-2018/ インタラクション2018「コトダマの可視化に関する一手法」 岩淵 勇樹, 小松原 宏識,

    西田 涼麻, 中丸 潤

60. まとめ • 音色は倍音列で表現可能 • フーリエ変換で音色の解析が可能 • 解析信号で音色の可視化が可能

61. ご清聴ありがとうございました