Tweet
Tweet

Slide 1

Slide 1 text

ぶっち博士の数学ナイト 数学で紐解く音楽 〜音色編〜 Music Disclosed in Mathematics -Timbre- KABAF 2019-02-22 カマコン 岩淵 勇樹

Slide 2

Slide 2 text

アウトライン Outline 本日のお品書き そもそも「音」とは？ 音色とは フーリエ変換 解析信号 研究紹介

Slide 3

Slide 3 text

自己紹介 Self introduction 岩淵 勇樹（ぶっち） IWABUCHI Yu(u)ki / Butchi 金沢大学自然科学研究科修了 博士（工学） Ph.D. in Engineering 面白法人カヤックにてエンジニア7年目

Slide 4

Slide 4 text

活動の紹介 Introduction of works 幾何学図形を元にした音楽 「フラクタル音楽」 （Fractal Music） Instagram carpet_fractal

Slide 5

Slide 5 text

そもそも 「音」とは？ About “sound” 各分野における「音」 認知科学的な「音」 物理的な「音」 工学的な「音」 音を構成する3要素

Slide 6

Slide 6 text

認知科学的な「音」 Sounds about cognitive science 聴覚としての知覚 鼓膜を伝って知覚される Blausen.com staff (2014). "Medical gallery of Blausen Medical 2014". WikiJournal of Medicine 1 (2). DOI:10.15347/wjm/2014.010. ISSN 2002-4436. [link]

Slide 7

Slide 7 text

物理的な「音」 Sounds about physics 振動 空気の圧力の粗密が 波となって伝わる https://commons.wikimedia.org/wiki/File:CPT-sound-physical- manifestation.svg

Slide 8

Slide 8 text

工学的な「音」 Sounds about engineering 時間を軸とした1次元信号 つまりグラフで表せる

Slide 9

Slide 9 text

音を構成する3要素 Three major factors of sound 音量 loudness 音高 pitch 音色 ← 今日の話題はこれ timbre ※「ねいろ」と「おんしょく」ではニュアンスが異なるようです

Slide 10

Slide 10 text

音色とは About timbre JIS Z 8106:2000 801-29-09 音色（ねいろ） timbre 聴覚に関する音の属性の一つで，物理的に異なる二つの音が，たとえ同じ音の大き さ及び高さであっても異なった感じに聞こえるとき，その相違に対応する属性。 ● 音の三大要素のうち、「音量」と「音高」以外 ● 具体的な定義がない！ Timbre is an attribute except for loudness and pitch.

Slide 11

Slide 11 text

音色を理解するための概念 Keywords for understanding about timbre ● スペクトル (spectrum) ● フーリエ変換 (Fourier transform) ● 加算合成 (additive synthesis)

Slide 12

Slide 12 text

波形 Waveform 音をグラフで表したときの波の形のこと

Slide 13

Slide 13 text

周期信号 Periodic signal ずっと同じ音色が聞こえるとき → 波形が周期的

Slide 14

Slide 14 text

プリミティブな音色 Primitive timbres 正弦波 矩形波 三角波 鋸波 後述のシンセサイザーでもよく使われる

Slide 15

Slide 15 text

フーリエ変換 Fourier Transform スペクトル フーリエ変換の定義 プリミティブな音色 波形の元は正弦波

Slide 16

Slide 16 text

この数列は何？ What is this sequence? ● ハーモニカ (Harmonica): 14, 20, 13, 3, 4, … ● バイオリン (Violin): 26, 11, 2, 1, 1, … ● トランペット (Trumpet): 0, 13, 0, 20, 0, …

Slide 17

Slide 17 text

フーリエ変換 Fourier tansform ● 音のグラフは周波数が違う波の足し合わせ ● sinとかcosとかの和になる

Slide 18

Slide 18 text

フーリエ変換 Fourier tansform ● 周波数が基本周波数、2倍、3倍、… ● 後述の「倍音」に関連

Slide 19

Slide 19 text

フーリエ変換 Fourier Transform この例の場合、{6, 0, 0.9, 0, 0.1, …} が音色を決定づける倍音成分の配列

Slide 20

Slide 20 text

スペクトル Spectrum ● 音楽プレイヤーの視覚エフェクトでよく見るやつ https://github.com/dpayne/cli-visualizer

Slide 21

Slide 21 text

スペクトル Spectrum ● 周波数ごとの音高をグラフ化 ● これが先ほどの「スペクトル」の正体

Slide 22

Slide 22 text

楽器ごとのスペクトルから 固有の数列が得られる

Slide 23

Slide 23 text

倍音成分の数列 ● 正弦波 (Sine wave): 10, 0, 0, 0, 0, … ● 三角波 (Triangle wave): 6, 0, 0.9, 0, 0.1, … ● ハーモニカ (Harmonica): 14, 20, 13, 3, 4, … ● バイオリン (Violin): 26, 11, 2, 1, 1, … ● トランペット (Trumpet): 0, 13, 0, 20, 0, …

Slide 24

Slide 24 text

倍音とは Overtones 基本音となる周波数の何倍か How many times frequency from fundamental tone

Slide 25

Slide 25 text

スペクトルの復習 周波数（音高）ごとの強さをグラフ化 Plot amplitude by frequency

Slide 26

Slide 26 text

音色の作り方 How to generate timbres 加算合成 シンセサイザー 減算合成 音作りは組み合わせ

Slide 27

Slide 27 text

シンセサイザー Synthesizer https://www.youtube.com/watch?v=n3K_fZDvINs

Slide 28

Slide 28 text

音作りは組み合わせ Synthesis is combination https://www.youtube.com/watch?v=vvBl3YUBUyY

Slide 29

Slide 29 text

加算合成 Additive Synthesis ● 初期のシンセサイザーやパイプオルガン ● 倍音を加算して音を作る方式 ● フーリエ変換の原理に基づけば 任意の音色を合成可能 https://www.youtube.com/watch?v=YsZKvLnf7wU https://commons.wikimedia.org/wiki/File:Pipe.organ.console.arp.jpg

Slide 30

Slide 30 text

減算合成 Subtractive synthesis ● 最初に複雑な（＝高周波を含む）音色を作り、 削っていく合成方法 ● 加算合成よりも深みのある音色を合成可能 https://www.youtube.com/watch?v=se31yZHNLLI

Slide 31

Slide 31 text

解析信号 Analytic Signal ぶっち博士の博士論文

Slide 32

Slide 32 text

博士論文 Doctor thesis 「図形と音声の変換手法とその応用に関する研究」 “A study on transforming methods between shape and audio and their applications” https://www.butchi.jp/documents/d-thesis/

Slide 33

Slide 33 text

「音色」の入力インタフェース ● 主にツマミやボタン・スライダ ● 自由な音作りには慣れが必要

Slide 34

Slide 34 text

タッチパネル製品の普及 ● スマートフォン（iPhone、Android端末） ● タブレット端末（iPad等） ● ゲーム機（ニンテンドーDS、Wii U、PlayStation Vita） タッチ操作に最適な新しいインタフェースが必要

Slide 35

Slide 35 text

アウトライン ● 音声信号を可視化 ● 閉曲線図形から音色を生成 ● 平面的な入力インタフェースを生かした 音色入力の方法を提案

Slide 36

Slide 36 text

音のかたちとは？（発想の原点） 正弦波＝

Slide 37

Slide 37 text

音のかたちとは？（発想の原点） 正弦波＝

Slide 38

Slide 38 text

オイラーの公式 Euler's formula eiθ = cos θ + i sin θ θ = π → eiπ = -1 (⇐ cos π + i sin π) https://ja.wikipedia.org/wiki/オイラーの公式

Slide 39

Slide 39 text

オイラーの公式の図解 The animation of Euler’s formula eiθ = cos θ + i sin θ 実部 実部 虚部 実部 実部 虚部

Slide 40

Slide 40 text

円運動 Circular motion eiθ =

Slide 41

Slide 41 text

オイラーの公式 Euler's formula eiθ = cos θ + i sin θ e-iθ = cos(-θ) + i sin(-θ) = cos θ - i sin θ

Slide 42

Slide 42 text

正弦波の複素数表記の図解 The animation of exponential sine wave e-iθ eiθ cos θ 実部 実部 虚部 実部

Slide 43

Slide 43 text

正弦波のスペクトル Spectrum of sine wave e-iθ eiθ

Slide 44

Slide 44 text

解析信号フィルタ Analytics signal filter e-iθ eiθ

Slide 45

Slide 45 text

複素指数関数とスペクトル Complex exponential and spectrum フーリエ級数により、任意の関数は正弦波の和で表せる e-iθ eiθ e2iθ e3iθ e-2iθ e-3iθ

Slide 46

Slide 46 text

解析信号フィルタ Analytics signal filter 任意の関数の解析信号は、負周波数成分を除去したもの e-iθ eiθ e2iθ e3iθ e-2iθ e-3iθ

Slide 47

Slide 47 text

音声信号の複素化 Complexification of audio signal 実数部: 元の音声信号 虚数部: ヒルベルト変換した音声信号

Slide 48

Slide 48 text

解析信号（音を形にする） Analytic signal (sounds to shapes)

Slide 49

Slide 49 text

CloSynth: 解析信号シンセサイザ CloSynth: Analytics signal synthesizer 解析信号＋解析信号＝解析信号 制御点をドラッグする度に解析信号を付加 ツマミのないシンセサイザ

Slide 50

Slide 50 text

CloSynthの実行画面 Execution screen of CloSynth

Slide 51

Slide 51 text

まとめ Conclusion ● 解析信号を用いて、図形と音声の相互変換の手法を提案した ○ 音色を閉曲線図形として見ることが可能になった ● 解析信号を用いたシンセサイザを開発した ○ 直感的であるとはいえないが、 GUIを有効活用したインタフェースを実現できた

Slide 52

Slide 52 text

研究紹介 博士論文 bion 倍音距離 コトダマの可視化 ぶっち博士渾身の成果

Slide 53

Slide 53 text

bion

Slide 54

Slide 54 text

bion: 螺旋と放射

Slide 55

Slide 55 text

bionと倍音

Slide 56

Slide 56 text

bionと倍音 ド ミ ソ

Slide 57

Slide 57 text

デモ https://butchi.github.io/bion-sound/

Slide 58

Slide 58 text

倍音距離: 最近の独自研究 音と音の間に距離を定義する ex: ドとオクターブ上のドは距離0、ドとソは近い、ドとド#は遠い etc… → 和音や音律を数学的に解析できる

Slide 59

Slide 59 text

コトダマの可視化 鎌倉が舞台の映画『きみの声をとどけたい』から 着想を得た、声と音楽の可視化 デモ: https://kotodamabu.github.io/interaction-ipsj-2018/ インタラクション2018「コトダマの可視化に関する一手法」 岩淵 勇樹, 小松原 宏識, 西田 涼麻, 中丸 潤

Slide 60

Slide 60 text

まとめ ● 音色は倍音列で表現可能 ● フーリエ変換で音色の解析が可能 ● 解析信号で音色の可視化が可能

Slide 61

Slide 61 text

ご清聴ありがとうございました